Zaawansowane systemy decyzyjne

Transkrypt

1 Zaawansowane systemy decyzyjne Andrzej PIECZYŃSKI Wydział Elektrotechniki, Informatyki i Telekomunikacji

2 Zaawansowane systemy decyzyjne Plan wykładów 1. Wprowadzenie. Podejmowanie decyzji w warunkach niepełnej, niepewnej i nieprecyzyjnej informacji. Parametryczne i nieparametryczne problemy decyzyjne. 2. Zastosowanie przybliżonych i rozwiniętych systemów ekspertowych. Teoria możliwości. 3. Zastosowanie zbiorów przybliżonych i rozmytych w bazach wiedzy. Optymalizacja drzew decyzyjnych. 4. Odkrywanie wiedzy w bazach danych, eksploracja danych. Przygotowanie wstępne danych. 5. Zastosowanie miękkich obliczeń w wydobywaniu wiedzy z danych (data mining). 6. Zastosowanie sieci neuronowych w podejmowaniu decyzji. Sieci neuronowe w grupowaniu i klasyfikacji. 7. Ekstrakcja wiedzy z danych z wykorzystaniem sieci neuronowych. 8. Rozmyte systemy decyzjne. Systemy neuronowo-rozmyte i ewolucyjno-rozmyte w tworzeniu bazy wiedzy.

3 Zaawansowane systemy decyzyjne Plan wykładów 9. Klasyfikatory rozmyte. 10. Neuronowo-rozmyte systemy decyzyjne różnego typu. 11. Zastosowanie zbiorów przybliżonych we wspomaganiu decyzji. 12. Zbiory przybliżone oparte na dominacji. 13. Indukcja wzorców klasyfikacji w postaci reguł decyzyjnych. 14. Projektowanie systemów wspomagania decyzji. Hybrydowe systemy ekspertowe. 15. Kolokwium zaliczeniowe.

4 Zaawansowane systemy decyzyjne Literatura [1 ] Bubnicki Z. i in.: Techniki informacyjne w badaniach systemowych. - Wydawnictwo Naukowo-Techniczne, Warszawa,2007. [2 ] Łęcki J.: Systemy neuronowo-rozmyte. - Wydawnictwo Naukowo-Techniczne, Warszawa, [3 ] Kacprzyk J.: Wieloetapowe sterowanie rozmyte. - Wydawnictwo Naukowo-Techniczne, WNT, Warszawa, [4 ] Nowicki R. K.: Rozmyte systemy decyzyjne w zadaniach z ograniczona wiedza. - Akademicka Oficyna Wydawnicza Exit, Warszawa, [5 ] Pieczyński A.: Reprezentacja wiedzy w diagnostycznych systemach ekspertowych. - Lubuskie Towarzystwo Naukowe, Zielona Góra, [6 ] Piegat A.: Modelowanie i sterowanie rozmyte. - Akademicka Oficyna Wydawnicza EXIT, Warszawa, 1999.

5 Zaawansowane systemy decyzyjne Literatura - cd. [7 ] Rutkowska D.: Inteligentne systemy obliczeniowe, Algorytmy genetyczne i sieci neuronowe w systemach rozmytych. - Akademicka Oficyna Wydawnicza, Warszawa, [8 ] Rutkowska D., Piliński M., Rutkowski L.: Sieci neuronowe, algorytmy genetyczne i zbiory rozmyte, - Wydawnictwo Naukowe PWN, Warszawa, 1999.

6 Zaawansowane systemy decyzyjne Podejmowanie decyzji w warunkach niepełnej, niepewnej i nieprecyzyjnej informacji

7 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 1 Rodzaje informacji 1. Ze względu na obiektywność: subiektywna (zależna od źródła informacji), obiektywna, 2. ze względu na wiarygodność: niepełna, niepewna, nieprecyzyjna, niejednoznaczna.

8 Wykład, semestr III, rok akademicki 2012/2013 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 2 Rodzaje informacji - powiazania informacja niepewna j nie a zn c a informacja zn o n ed niepewna a łn pe nie informacja nieprecyzyjna c Andrzej PIECZYN SKI

9 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 3 Informacja niepewna - definicja i miara pewności: 1. nie znane jest prawdopodobieństwo prawdziwości stwierdzenia 2. metody pomiaru: ocena prawdopodobieństwa: zdarzenia niezależne zdarzenia zależne P [A B] = P [A] P [B] (1) P [A B] = P [A B] P [B] Teoria Dempstera-Shefera znana pod nazwa evidence theory może być traktowana jako rozszerzenie rachunku prawdopodobieństwa (2)

10 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 4 Informacja niepewna - definicja i miara pewności: Teoria Dempstera-Shefera: podzbiorom przestrzeni zdarzeń przypisuje się podstawowa miarę prawdopodobieństwa (BPA, ang. Basic Probability Assignement) oznaczana często m, różnica pomiędzy rachunkiem prawdopodobieństwa polega na tym, iż miara m nie musi być określona na wszystkich elementach przestrzeni zdarzeń a jedynie na niektórych z podzbiorów. nowe miary: miara przekonania (belief) BEL(A) = B A m(b) (3) miara wiarygodności (plausability) P L(A) = A B m(b) (4)

11 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 5 Informacja nieprecyzyjna: 1. Miary nieprecyzyjności: Teoria biorów przybliżonych Wprowadzone zostaja nowe pojęcia górnego i dolnego ograniczenia zbioru, Wprowadzenie tych pojęc pozwala na zastapienie pojęcia nieprecyzyjnego dwoma pojeciami precyzyjnymi, aczkolwiek niepewnymi. Teoria zbiorów rozmytych

12 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 6 Teoria biorów przybliżonych: Niech (U, A, V, f) będzie systemem iformacyjnym.(u - uniwersum, A - atrybuty, V - dziedzina atrybutów, f - funkcja informacyjna, P - podzbiór atrybutów P A). 1. P-dolne przybliżenie: 2. P-górne przybliżenie: 3. relacja nierozróżnialności: P (X) = {x U : P (x) X} (5) P (X) = {x U : P (x) X } (6) I(P ) = {(x, y) U U : f(a, x) = f(a, y), a P } (7) Jeśli (x, y) I(P ) to obiekty te sa nierozróżnialne ze względu na podzbiór atrybutów P.

13 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 7 Teoria biorów przybliżonych: Niech (U, A, V, f) będzie systemem iformacyjnym.(u - uniwersum, A - atrybuty, V - dziedzina atrybutów, f - funkcja informacyjna, P - podzbiór atrybutów P A). 1. P-brzeg: BN p (X) = P (X) P (X) (8) 2. Współczynnik dokładności przybliżenia: X liczebność zbioru. α p (X) = P (X) P (X) (9) 3. Dolne przybliżenie P (X) zbioru X jest zbiorem obiektów, które można z pewnościa zaliczyć do X na podstawie zbioru atrybutów P. 4. Górne przybliżenie P (X) zbioru X jest zbiorem obiektów, które moga być tylko uznane za być może należace do X na podstawie zbioru atrybutów P

14 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 8 Zbiory rozmyte - definicje

15 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 9 Zbiory rozmyte - rozmywanie

16 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 10 Zbiory rozmyte - wnioskowanie

17 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 11 Zbiory rozmyte - wyostrzanie Wybór właściwego elementu na podstawie rozmytego zbioru wyjściowego. y COA = n i=1 n i=1 y i w i w i (10)

18 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 12 Teoria możliwości 1. sprzeczność zasad statystycznej teorii z zasadami podejmowania decyzji w warunkach niepełnej i nieprecyzyjnej informacji (stwierdzenia języka naturalnego), 2. w języku naturalnym wyrażana jest informacja w skróconej formie - występuje rozmytość stosowanych pojęć: temperatura jest niska, wysokie ciśnienie krwi. 3. zgodność ciśnienia pacjenta ze stwierdzeniem wysokie ciśnienie, nie mówimy o prawdopodobieństwie wystapienia takiego ciśnienia. 4. podejście pierwsze - posybilistyczne (możliwościowe - miara oparta na teorii zbiorów rozmytych), 5. podejście drugie - probabilistyczne (miara prawdopodobieństwa ([0,1])

19 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 13 Teoria możliwości - rozkład możliwości 1. rozkład możliwości to fundamentalna funkcja podobnie jak rozkład prawdopodobieństwa, Niech X będzie zmienna z przestrzeni X. Niech A to zbiór rozmyty z funkcja przynależności µ A (x) - podzbiór przestrzeni X. 2. Stwierdzeniu można przyporzadkować rozkład możliwości Π X = A 3. funkcja rozkładu możliwości π X (x) = 0 X = x jest niemożliwe, p X jest A (11) π X (x) = µ A (x). (12) π X (x) = 1 X = x jest w pełni możliwe (całkowicie dozwolone).

20 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 14 Teoria możliwości - rozkład możliwości 1. rozmyte ograniczenie - zbiór A może być rozmytym ograniczeniem (elastycznym) nałożonym na X. 2. µ A (x) stopień spełnienia rozmytego ograniczenia reprezentowanego przez zbiór A, 3. 1 µ A (x) wartość o jaka musimy rozciagn ać elastyczne ograniczenia, aby x reprezentowało X. 4. dla dwóch rozkładów możliwości spełniajacych nierówność: π X(x) < π X (x) x X (13) rozkład π X (x) zawiera bardziej ścisła wiedzę dotycz ac a zmiennej X.

21 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 15 Teoria możliwości - prawdopodobieństwo 1. mała wartość prawdopodobieństwa nie wymusza małej wartości możliwości i odwrotnie, 2. rozkład możliwości nie sumuje się do wartości 1, 3. zdarzenie niemożliwe jest jednocześnie nieprawdopodne - zasada zgodności prawdopodobieństwa i możliwości. 4. Stopień zgodności między rozkładami prawdopodobieństwa i możliwości γ [0, 1] N γ = π i P i (14) i=1 π i - rozkład możliwości, P i - rozkład prawdopodobieństwa, 5. stopień zgodności - własności: γ = 0 rozkłady całkowicie niezgodne, γ = 1 rozkłady o pełnej zgodności.

22 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 16 Informacja niepewna [1] 1. Niepewność jest jedna z głównych cech złożonych i inteligentnych systemów decyzyjnych. 2. Koncepcja tzw. zmiennych niepewnych jest szczególnie przydatna w przypadku problemów analizy i podejmowania decyzji w klasie systemów niepewnych, 3. Zmienna niepewna jest opisywana za pomoca tzw. rozkładu pewności, podanego przez eksperta i charakteryzujacego jego wiedzę na temat przybliżonych wartości zmiennej. 4. wskaźnik pewności (logika niepewna typu L) Niech Ω -pewien zbiór elementów (np. siłowniki), X R k zbiór wektorów liczbowych (cecha siłownika), funkcja g : Ω X, P (x) relacja określajaca wartość logiczna (logika dwuwartościowa lub rozmyta).

23 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 17 Informacja niepewna [1] 1. Dla własności miękkiej określamy fukcję: G ω (x) = x(ω) = x dla x X X (15) oznacza to x jest w przybliżeniu równe x 2. Wartość logiczna G ω (x) oznacza się przez h ω (x) i nazywa rozkładem pewności. 3. Funkcja rozkładu pewności: w przypadku ciagłym h(x) jest funkcja ciagł a w X, w przypadku dyskretnym X = {x 1, x 2, x m }.

24 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 18 Parametryczny problem decyzyjny [1] Mamy obiekt opisany relacja: R(u, y, z; x) U Y Z (16) gdzie: x X jest nieznanym wektorowym parametrym z założeniem, że jest wartościa zmiennej niepewnej opisanej rozkładem h(x) podanym przez eksperta. Dla własności y D y Y (wymaganej przez użytkownika) definiujemy problem: Parametryczny problem decyzyjny Dla danych R, z, h x (x)id y należy znaleźć decyzję ũ maksymalizujac a wskaźnik pewności własności: zbiór wszystkich możliwych wyjść należy do D y dla przybliżonej wartości zmiennej x. ũ = arg max max h x(x) (17) u U x D x (u,z) gdzie: D x (u, z) = {x X : D y (u, z; x) D y } oraz D y (u, z; x) = {y Y : (u, y, z) R}

25 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 19 Nieparametryczny problem decyzyjny [1] Przyjmijmy, że (u, y, z) to wartości zmiennych niepewnych (u, y, z). Wiedza o obiekcie jest w postaci warunkowego rozkładu pewności h y (y u, z) danego przez eksperta. Nieparametryczny problem decyzyjny Dane sa: h y (y u, z) oraz h y (y) należy wyznaczyć: h u (u z) (18)

26 Zaawansowane systemy decyzyjne W:I Informacja niepełna, niepewna i nieprecyzyjna - 20 Nieparametryczny problem decyzyjny [1] Zadanie realizowane jest w dwóch krokach: 1. znaleźć rozkład h uz (u, z) z równania: h y (y) = max u U,z Z min{h uz(u, z), h y (y u, z)} (19) 2. wyznaczyć rozkład h u (u z) z równania: h uz (u, z) = min{h z (z), h u (u z)} (20) Rozkład h u (u z) nazywany jest wiedza o podejmowaniu decyzji lub niepewnym algorytmem decyzyjnym

27 Zaawansowane systemy decyzyjne Regułowe systemy ekspertowe

28 Zaawansowane systemy decyzyjne Klauzula HORNA W:II Regułowe systemy ekspertowe - 1 Klauzula HORNA Reguły o jednym wniosku A i B i C przesłanki D wniosek zalety 1. bardzo upraszczają automatyzację wnioskowania, 2. bardzo efektywny mechanizm wnioskowania, 3. proste, zrozumiałe i przejrzyste reguły.

29 Zaawansowane systemy decyzyjne Fakty W:II Regułowe systemy ekspertowe - 2 Fakty Zdania logiczne mające wartość prawdy. Pozyskiwanie faktów. 1. zdobywane przez system automatycznie, 2. zdobywane od użytkownika w dialogu na początku lub w trakcie.

30 Zaawansowane systemy decyzyjne Zagnieżdżanie reguł W:II Regułowe systemy ekspertowe - 3 Zagnieżdżanie reguł Występuje wtedy gdy wnioski jednych reguł są przesłankami drugich Przesłanki dopytywalne: nie są wnioskami innych reguł 1. A i B i C W 2. D i E i F V Przesłanki niedopytywalne: są wnioskami innych reguł 1. A i B i C W 2. D i E i W V Przetwarzanie reguł: dla reguł 1 i 2 można otrzymać A i B i C i D i E V Ocena stosowania zagnieżdżonych reguł Zalety: - są dokładniejsze występują wnioski pośrednie, - lepiej odpowiadają strukturze wiedzy dziedzinowej, - są przejrzyste i czytelne. Wady: - wzrasta złożoność systemów wnioskujących, - wzrasta złożoność systemów diagnozujących sprzeczności i nadmiarowości bazy reguł.

31 Zaawansowane systemy decyzyjne Negacja wniosków W:II Regułowe systemy ekspertowe - 4 Negacja wniosków W prawidłowo budowanej bazie nie stosuje się wniosku i jego negacji Przykład: Jeżeli dostanę urlop to pojadę na wczasy, Jeżeli nie będzie ładna pogoda to nie pojadę na wczasy, Jeżeli nie będę miał pieniędzy to nie pojadę na wczasy, Prawidłowo: Jeżeli dostanę urlop i będzie ładna pogoda i będę miał pieniądze to pojadę na wczasy

32 Zaawansowane systemy decyzyjne W:II Regułowe systemy ekspertowe - 5 Klasyfikacja bazy reguł Klasyfikacja baz reguł Kryterium struktury zagnieżdżania reguł: A. Elementarne bazy reguł (BE) przesłanki niedopytywalne nie mogą wystąpić w postaci zanegowanej 1. A i B i nc W 2. W i nd i E V 3. V i I U B. Rozwinięte bazy reguł (BR) przesłanki dopytywalne mogą występować w postaci zanegowanej 1. A i B i C W 2. nw i nd i E V 3. nv i I U Kryterium pewności reguł: A. Dokładne bazy reguł (BD) wnioski przyjmują wartości prawda lub fałsz. B. Przybliżone bazy reguł (BP) wnioski przyjmują wartości z określonym stopniem pewności (0,1).

33 ł Wykład, semestr III, rok akademicki 2012/2013 Zaawansowane systemy decyzyjne W:II Regułowe systemy ekspertowe - 6 Klasyfikacja bazy reguł Klasyfikacja baz reguł Podział baz reguł BD BP BE BR BED BRD BEP BRP Hierarchia baz reguł BED BRD BED BEP BRP

34 Zaawansowane systemy decyzyjne W:II Regułowe systemy ekspertowe - 7 Sprzeczności w bazach reguł Sprzeczności w bazach reguł A. Typu zewnętrznego: wniosek reguły jest tożsamy (bezpośrednio lub pośrednio) z jedną z jej przesłanek lub z negacja jednej z jej przesłanek. Dla bazy RD pojedynczej: 1. L i A P z reguły 3 i 2 mamy 4. B i C i np i D L 2. B i C i Z L ponadto z 1 i 4 otrzymano 3. np i D Z 5. B i C i np i D i A B. Typu wewnętrznego: przesłanki reguły są (bezpośrednio lub pośrednio) sprzeczne. Dla bazy RD pojedynczej: 1. A i D i K Z z reguły 2 i 1 otrzymano 2. C i nd i P K 3. A i C i nd i D Z P

35 Zaawansowane systemy decyzyjne W:II Regułowe systemy ekspertowe - 8 Nadmiarowości w bazach reguł ü Reguły i przesłanki wyrażające to samo, co inne reguły i przesłanki ü Reguły zwierające dla pewnych wniosków bardziej złożone zestawy aniżeli inne reguły dla tych samych wniosków. Nadmiarowość typu pierwszego występowanie reguł wielokrotnych Dla BED: 1.C i D X 3. K i L D 2. E i F C 4. E i F i K i L X Nadmiarowość typu drugiego występowanie reguł subsumowanych Dla BED: 1. C i D i E X 2. C i D X Reguła 1 jest subsumowana (zawarta) w regule 2, obie reguły mają ten sam wniosek a przesłanki reguły 2 są podzbiorem przesłanek reguły 1

36 Zaawansowane systemy decyzyjne W:II Regułowe systemy ekspertowe - 9 Nadmiarowości w bazach reguł Nadmiarowość typu trzeciego występowanie reguł o niepotrzebnych przesłankach. Dla BED: 1. C i D i E X 1. C i D i ne X Reguły te można zastąpić jedną regułą 1. C i D X

37 Zaawansowane systemy decyzyjne W:II Regułowe systemy ekspertowe - 10 Baza ograniczeń Baza ograniczeń zawiera zbiory przesłanek dopytywalnych wykluczających się. Często przesłanki dopytywalne tworzą zbiory przesłanek wykluczających się: jeżeli jedna z danego zbioru jest prawdziwa to pozostałe prawdą być nie mogą. Przykład. szybkość pojazdu jest większa od 100 km/h szybkość pojazdu jest niższa od 50 km/h i szybkość pojazdu jest w przedziale od 50 km/h i do 100 km/h Wprowadzenie szybkość do bazy pojazdu wiedzy jest informacji w przedziale o takich od 50 zbiorach km/h do przesłanek 100km/h. wykluczających się (baza ograniczeń) pozwala budować bardziej inteligentne SE. System taki: 1. gdy uznaje za prawdę jedną z kilku przesłanek wykluczających się, 2. gdy uznaje za nieprawdę jedną z dwóch dychotomicznych (dwie przesłanki wzajemnie się wykluczające) przesłanek nie powinien już pytać o pozostałe dane zbioru przesłanek Baza wiedzy może zawierać: Ř bazę reguł element konieczny do poprawnego funkcjonowania SE, Ř bazę ograniczeń element poprawiający (niekonieczny) funkcjonalność SE.

38 Zaawansowane systemy decyzyjne W:II Regułowe systemy ekspertowe - 11 Sprzeczności w bazach reguł i bazach ograniczeń Sprzeczności powstające w interakcji bazy reguł i bazy ograniczeń. Tego typu sprzeczności oznaczane są jako typu 2. Istotą sprzeczności tego typu jest występowanie reguły o przesłankach wzajemnie wykluczających się. Przykład: baza reguł 1. K i L i M X baza ograniczeń przesłanki wykluczające się: [K,M]. Sprzeczności tego typu nie są tak groźne jak typu 1. Mogą jednak prowadzić do niezauważenia pewnych reguł i brak analizy wniosków dla tych reguł.

39 Zaawansowane systemy decyzyjne W:II Regułowe systemy ekspertowe - 12 Nadmiarowość w bazach reguł i bazach ograniczeń Nadmiarowość wynikająca z interakcji bazy reguł i odpowiadającej jej bazy ograniczeń nazywana jest nadmiarowością typu 2. Przykład: 1. K i L i M V 2. K i L i N V dla przyporządkowanej bazy ograniczeń [M,N], wtedy obydwie reguły można zastąpić jedną regułą: 1. K i L V Przy redukcji nadmiarowości tego typu należy postępować jak w przypadku nadmiarowości typu 1.

40 Zaawansowane systemy decyzyjne W:II Regułowe systemy ekspertowe - 13 Baza rad i pliki rad Baza rad plik tekstowy zawierający uporządkowane pary ( numer reguły, plik tekstowy z radą). Baza rad katalog plików tekstowych rad dla danej bazy reguł. Baza rad poprawia komunikatywność SE. Nie jest elementem niezbędnym do poprawnego wnioskowania SE

41 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 14 Struktura funkcjonalna systemu wnioskującego INTERPRETER REGUŁ SYSTEM STERUJĄCY SYSTEM WYJAŚNIAJĄCY Interpreter reguł - określa wartość logiczną ( prawda, nieprawda, współczynnik pewności) wniosków reguł. Napisanie interpretera reguł stanowi zasadnicze zadanie przy tworzeniu SE. System sterujący - wyznacza kolejność testowania reguł bazy wiedzy. Jego funkcjonowanie zależy od metody wnioskowania ( w przód lub wstecz). System wyjaśniający- uzasadnia użytkownikowi przebieg wnioskowania i generuje raporty wnioskowania

42 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 15 Bazy reguł - elementarne Rodzaje wnioskowania Bazy reguł - rozwinięte dokładne BED przybliżone BEP dokładne BRD przybliżone BRP Wnioskowanie - elementarne Wnioskowanie - rozwinięte dokładne w przód, wstecz SW_ED przybliżone w przód, wstecz SW_EP dokładne w przód, wstecz SW_RD przybliżone w przód, wstecz SW_RP

43 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 16 Wnioskowanie elementarne dokładne (WED) W elementarnej bazie reguł występują wyłącznie niezanegowane przesłanki niedopytywalne. Mogą wystąpić równocześnie przesłanki dopytywalne w postaci prostej (np. A) i zanegowanej (np. na). W takiej sytuacji należy, dla uproszczenia wnioskowania, dodatkowo w bazie ograniczeń zdefiniować dychotomiczną listę przesłanek wykluczających się w postaci [A, na]. Założenia zamkniętego świata. We wszystkich SE dokładnych zakłada się, że prawdą jest tylko to, co wynika z reguł i faktów bazy reguł, o o graniczeń bazy ograniczeń oraz faktów przekazanych przez użytkownika systemu. Milcząco uważa się bazę reguł, bazę ograniczeń i przekazane przez użytkownika za kompletne Dla elementarnej bazy reguł, w bazie danych, nie zapamiętuje się wniosków nieprawdziwych.

44 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 17 Cele i zasady wnioskowania elementarnego dokładnego (WED) Cele: A. Wyznaczenie wszystkich wniosków prawdziwych dla początkowych prawdziwych przesłanek dopytywalnych, dla danej BED. Wnioski zostają zapisane do DBD. Wnioski nieprawdziwe zostają zignorowane. B. Potwierdzenie lub zaprzeczenia iż dana hipoteza wynika z danego początkowego zbioru przesłanek dopytywalnych i BDE Zasada: WED wymaga stosowania tylko jednej zasady poprawnego wnioskowania modus pones.

45 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 18 Przykład wnioskowania elementarnego dokładnego w przód: Dynamiczna baza danych prawda(fakt) E F G I E F G I X E F G I X B E F G I X B U E F G I X B Y E F G I X B Y H nowy fakt: X nowy fakt: B nowy fakt: U nowy fakt: Y nowy fakt: H Reguły: 1. E i F X 2. X i U Y 3. E i B U 4. Y i F H 5. G i I B 1. E i F X 2. X i U Y 3. E i B U 4. Y i F H 5. G i I B 1. E i F X 2. X i U Y 3. E i B U 4. Y i F H 5. G i I B

46 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 19 Przykład wnioskowania elementarnego dokładnego wstecz: Dynamiczna baza danych prawda(fakt) Reguły: E G I brak: U 1. E i F X 2. X i U Y czy jest: E B 3. E i B U E G I jest E, brak B 4. Y i F H 5. G i I B E G I Jest G i I, więc jest B, więc jest U czy jest: G I 1. E i F X 2. X i U Y 3. E i B U 4. Y i F H 5. G i I B

47 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 20 Cele i zasady wnioskowania rozwiniętego dokładnego (WRD) Cele: A. Wyznaczenie wszystkich wniosków prawdziwych i nieprawdziwych dla początkoweg o zbioru prawdziwych i nieprawdziwych przesłanek dopytywalnych oraz dla danej BRD. Cel ten jest osiągany przez wnioskowanie w przód. B. Potwierdzenie lub zaprzeczenia iż dana hipoteza wynika z danego początkowego zbioru prawdziwych i nieprawdziwych przesłanek dopytywalnych i BRD. Cel ten jest osiągany przez wnioskowanie Zasada: WRD wymaga również stosowania tylko jednej zasady poprawnego wnioskowania modus pones.

48 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 21 Przykład wnioskowania rozwiniętego dokładnego w przód: Dynamiczna baza danych rbd(nr reguły, fakt) (0,E) (0,nF) (0,G) (0,nH) (0,nI) (0,E) (0,nF) (0,G) (0,nH) (0,nI) (1,nX) nowy fakt nx Reguły: 1. E i F X 2. nx i nd Y 3. E i B U 4. ny U 5. G i ni X (0,E) (0,nF) (0,G) (0,nH) (0,nI) (5,X) (2,nY) (4,U) nowy fakt U Wnioskowanie wstecz (od hipotezy do przesłanek). Zasada stosowania podobna jak dla WED wstecz przy rozwinięciu weryfikowania hipotez w oparciu o wnioski nieprawdziwe (nfakt).

49 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 22 Wnioskowanie rozwinięte dokładne (WRD) Wnioskowanie oparte na bazach reguł rozwiniętych dokładnych BRD Zastosowano bazę, w której dopuszczalne są przesłanki niedopytywalne Zastosowano bazę, w postaci w której zanegowanej dopuszczalne są przesłanki niedopytywalne Przykład: Uzasadnienie w postaci potrzeby zanegowanej. poszukiwania. innej innej formy formy wnioskowania wnioskowania niż WED. Przyjmijmy niż WED. następującą Przyjmijmy następującą BED: BED: zaoszczędzę więcej pieniędzy wyjadę na zagraniczną wycieczkę dostanę zaoszczędzę nagrodę więcej w pracy pieniędzy wyjadę wyjadę na zagraniczną na wycieczkę wygram dostanę nagrodę w milionerach w pracy wyjadę na na zagraniczną wycieczkę Po wygram zastosowaniu w milionerach WED w przód wyjadę i zadaniu na zagraniczną kilku pytań wycieczkę otrzymano: Po dostanę zastosowaniu nagrodę WED w pracy w przód -i zadaniu NIE kilku pytań otrzymano: dostanę wygram nagrodę w milionerach w pracy - NIE - NIE wygram zaoszczędzę w milionerach więcej pieniędzy - NIE - NIE i zaoszczędzę nie uzyskano więcej żadnej pieniędzy wiążącej - odpowiedzi NIE systemu ekspertowego, a odpowiedź i nie uzyskano jest żadnej oczywista: wiążącej odpowiedzi systemu ekspertowego, a odpowiedź nie jest wyjadę oczywista: na zagraniczną wycieczkę nie wyjadę na zagraniczną wycieczkę

50 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 23 Wnioskowanie rozwinięte dokładne (WRD) Ważny wniosek: Nie spełnienie reguł zasługuje na uwagę i wynikające z nich zanegowane wnioski winny być zapamiętane. DBD: Do baz zapisuje się zarówno fakty i nfakty. Wnioskowanie rozwinięte nie jest monotoniczne (można zmieniać wartość wniosku). Baza ograniczeń: zawiera jedynie zbiory przesłanek dopytywalnych wykluczających się lecz o niedychotomicznym charakterze. Aby uwzględnić uzyskane fakty i nfakty uzyskane w danym przebiegu procesu wnioskowania, pr zeprowadza się następną analizę reguł od początku. Testowanie kończy się gdy żadne nowe wnioski nie są generowane.

51 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 24 Wnioskowanie elementarne przybliżone (WEP) Wstęp: 1. Logika dwuwartościowa prawda i nieprawda, 2. Podejście probabilistyczne statystyka matematyczna (wymagane duże zbiory danych), 3. Zbiory rozmyte i logika rozmyta, wnioskowanie przybliżone, 4. Metody bazujące na współczynnikach pewności Współczynniki pewności: 1. Każdej przesłance przypisany jest współczynnik pewności (ang. Certainty Factor CF), CF = 1 przesłanka całkowicie pewna (sprzyjające wnioskowi), CF = 0.5 przesłanka być może prawdziwa, CF = 0 przesłanka o pewności niemożliwej do określenia, CF = -0.5 przesłanka być może nieprawdziwa, CF = - 1 przesłanka, której nieprawdziwość jest całkowicie pewna (niesprzyjające wnioskowi) 2. Każdej regule przyporządkowany jest współczynnik pewności. Stanowi on wzmocnienie wniosku reguły. CF = 1 przesłanki całkowicie wzmacniają pewność wniosku, CF = 0.5 przesłanki w połowie wzmaciają pewność wniosku, CF = 0 przesłanki nie mają wpływu na pewność wniosku, CF = -0.5 przesłanki w połowie osłabiają pewność wniosku, CF = - 1 przesłanki całkowicie osłabiają pewność wniosku

52 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 25 Wnioskowanie elementarne przybliżone (WEP) Cechy wnioskowania przybliżonego: 1. Współczynnik pewności przesłanki dopytywalnej zanegowanej równy jest dopełnieniu do 0 współczynnika pewności przesłanki M(CF) Ű na( CF). 2. Z listy przesłanek wykluczających się - tylko jeden ma CF=1, pozostałe mają wartość CF= Współczynnik pewności koniunkcji przesłanek CF(D i F i H i...) = min(cf(d), CF(F), CF(H),...). 4. Współczynnik pewności wniosku określa jako CF(W)=CF_reguły CF_przesłanek 5. Współczynnik pewności sumy logicznej jednakowych wniosków, z których conajmniej jeden jest dodatni CF(wn.)= CF_1(wn) + CF_2(wn) - CF_1(wn)*CF_2(wn). *

53 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 26 Wnioskowanie elementarne przybliżone (WEP) Cechy wnioskowania przybliżonego (cd.): 6. Współczynnik pewności sumy logicznej jednakowych wniosków, z których oba są ujemne CF(wn. ) = CF_1(wn.) + CF_2(wn.) + CF_1(wn.) * CF_2(wn.) 7. Dla większej liczby reguł z jednakowymi wnioskami postępuje się podobnie. Wartość współczynnika pewności wyznacza się dla pierwszych dwóch a następnie dołącza się następne i wyznacza się CF dla otrzymanej pary

54 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 27 Cele i zasady wnioskowania elementarnego przybliżonego (WEP) Cele: 1. Wyznaczenie współczynników pewności wniosków wszystkich reguł dla początkowego zbioru CF przesłanek dopytywalnych, bazy wiedzy. Wnioskowanie realizowane metodą w przód 2. Wyznaczanie współczynnika pewności wybranego. wniosku hipotezy dla początkowego zbioru CF przesłanek dopytywalnych, bazy ( wiedzy. ) Wnioskowanie realizowane metodą wstecz. Zasady: 1. Wnioskowanie to nie korzysta z zasady Modus Pones 2. Korzysta ono z następujących DBD:. ü prbd(nr_reguły, fakt, CF_faktu) dla danej reguły, ü wyp_prbd(fakt, CF_faktu) dla wszystkich reguł.

55 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 28 Przykład wnioskowania elementarnego przybliżonego w przód: Dynamiczna baza danych wyp_prbd(fakt, CF) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (X,0.28) nowy fakt (X,0.28) Reguły: 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (X,0.37) nowy fakt (X,0.12) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (X,0.37) (Y,0.2) (U,0.24) nowy fakt (U,0.16)

56 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 29 Przykład wnioskowania elementarnego przybliżonego wstecz: Oceniana jest hipoteza U Dynamiczna baza danych wyp_prbd(fakt, CF) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) Jest (E,0.4) Brak (Y,CF_Y) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) tzn: należy znaleźć parę (U,CF_U) Brak U,CF_U Czy jest (E,CF_E) i (Y,CF_Y) Czy jest (X,CF_X) i (G,CF_G) Reguły: 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X Jest (G,0.2) Brak (X,CF_X) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (Y,0.2) (U,0.1) Jest (E,0.4) i (F,0.8) wiec jest (Y,0.2) więc jest (U,0.1) Wynik wypadkowy U,0.244 Czy jest (E,CF_E) i (F,CF_F) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (Y,0.2) (U,0.1) Jest (Y,0.2) więc j est (U,0.16) 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X Czy jest (Y,CF_Y)

57 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 30 Wnioskowanie rozwinięte przybliżone (WRP) Wstęp: 1. W bazach reguł mogą występować zanegowane warunki niedopytywalne, 2. Regułom przypisywane są współczynniki pewności, 3. Współczynniki pewności przypisuje się także wnioskom zanegowanym, Współczynniki pewności: Uzupełnienie do warunków zastosowanych przy wnioskowaniu elementarnym przybliżonym: 1. Jeśli wniosek reguły W ma współczynnik pewności CF(W), to wniosek zanegowany nw ma współczynnik pewności: CF(nW) = -CF(W) 2. WRP korzysta z następujących DBD: prbd(nr_reguły, fakt, CF_faktu), wyp_prbd(( fakt, CF_faktu; (n fakt, CF_nfaktu)),

58 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 31 Wnioskowanie rozwinięte przybliżone (WRP) Cele i zasady wnioskowania rozwiniętego przybliżonego (WEP) Cele: 1. Wyznaczenie współczynników pewności wszystkich reguł dla początkowego zbioru współczynników pewności warunków dopytywalnych oraz dla danej bazy wiedzy. Wnioskowanie w przód. 2. Wyznaczenie współczynników pewności wybranego wniosku ( hipotezy) lub negacji wniosku ( hipotezy negowanej ) dla początkowego zbioru współczynników pewności warunków dopytywalnych oraz dla danej bazy wiedzy. Wnioskowanie wstecz. Zasady: Wnioskowanie WEP nie korzysta z zasady Modus Pones. Opiera się na zasadach wnioskowania przy użyciu współczynników pewności.

59 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 32 Przykład wnioskowania rozwiniętego przybliżonego w przód: Dynamiczna baza danych wyp_prbd(fakt, CF) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (X,0.28) nowy fakt (X,0.28) Reguły: 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (X,0.37) nowy fakt (X,0.12) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (X,0.37) (Y,0.2) (U,0.24) nowy fakt (U,0.16)

60 Zaawansowane systemy decyzyjne W:III Regułowe systemy ekspertowe - 33 Przykład wnioskowania elementarnego przybliżonego wstecz: Oceniana jest hipoteza U tzn: należy znaleźć parę (U,CF_U ) Dynamiczna baza danych wyp_prbd(fakt, CF) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) Jest (E,0.4) Brak (Y,CF_Y) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) Czy jest (E,CF_E) i (Y,CF_Y) Czy jest Brak U,CF_U (X,CF_X) i (G,CF_G) Reguły: 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X Jest (G,0.2) Brak (X,CF_X) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (Y,0.2) (U,0.1) Jest (E,0.4) i (F,0.8) wiec jest (Y,0.2) więc jest (U,0.1) Wynik wypadkowy U,0.244 Czy jest (E,CF_E) i (F,CF_F) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (Y,0.2) (U,0.1) Jest (Y,0.2) więc jest (U,0.16) 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X Czy jest (Y,CF_Y)

61 Zaawansowane systemy decyzyjne W:IV Podejmowanie decyzji. Struktura systemu (1) Schemat blokowy systemu podejmowania decyzji

62 Zaawansowane systemy decyzyjne Typy wiedzy W:IV Inżynieria wiedzy - 1

63 Zaawansowane systemy decyzyjne W:IV Inżynieria wiedzy - 2

64 Zaawansowane systemy decyzyjne W:IV Inżynieria wiedzy Inżynier wiedzy tak jak każdy inżynier operujac materiałami i posługujac się odpowiednimi narzędziami buduje nowe wartości. 2. Jego materiałem jest wiedza, narzędziem - komputer, a wytworami - wiedza zapisana w postaci zrozumiałej dla komputera. 3. Inżynier wiedzy jest w stanie stworzyć bazy wiedzy, inteligentne systemy wyszukujace informację i wiele innych systemów, którymi można się posługiwać w Internecie albo, z których korzystaja firmy. Najczęściej nawet o tym nie wiedzac.

65 Zaawansowane systemy decyzyjne W:IV Techniki pozyskiwania wiedzy - przeszukiwanie danych - 1 Budowa drzewa decyzyjnego - przykład Założenia: 1. trzy stany obiektu: C1 - stan normalny, C2 - uszkodzenie 1, C3 - uszkodzenie atrybuty [x 1, x 2, x 3 ], 3. wartości atrybutów, x 1 u, n, d, x 2 m, s, w, x 3 p, l.

66 Zaawansowane systemy decyzyjne W:IV Techniki pozyskiwania wiedzy - przeszukiwanie danych - 2 Budowa drzewa decyzyjnego - przykład Założenia: Baza danych - x 1, x 2, x 3, stan: u, m, p, C 2, u, s, p, C 1, u, w, p, C 1, n, m, p, C 1, n, s, p, C 1, n, w, p, C 2, d, m, p, C 3, d, s, p, C 2, d, w, p, C 1, u, m, l, C 3, u, s, l, C 1, u, w, l, C 2, n, m, l, C 3, n, s, l, C 1, n, w, l, C 2, d, m, l, C 3, d, s, l, C 1, d, w, l, C 2,

67 Zaawansowane systemy decyzyjne W:IV Techniki pozyskiwania wiedzy - przeszukiwanie danych - 3 Drzewo decyzyjne

68 Zaawansowane systemy decyzyjne W:IV Techniki pozyskiwania wiedzy - Algorytm Quinlana - 1 Budowa zredukowanego drzewa decyzyjnego z danych W algorytmie każdy z obiektów, wchodzacych w skład danych, jest charakteryzowany zbiorem atrybutów. gdzie: O - zbiór obiektów, O = {O 1, O 2, O 3,, O m } (21) A = {A 1, A 2, A 3,, A n } (22) gdzie: A - zbiór atrybutów, każdy przyjmuje wartości ze zbioru skończonego.

69 Zaawansowane systemy decyzyjne W:IV Techniki pozyskiwania wiedzy - Algorytm Quinlana - 2 Algorytm Quinlana składa się z 4 kroków: Obliczanie entropii zbioru n-elementowego, Obliczanie entropii atrybutu A k, Obliczanie przyrostu informacji wprowadzonego przez każdy atrybut, Budowa drzewa i wnioski.

70 Zaawansowane systemy decyzyjne W:IV Techniki pozyskiwania wiedzy - Algorytm Quinlana - 3 Obliczanie entropii zbioru r-elementowego: Entropia - miara informacji zawarta w danych opisujacych obiekt, który może się znajdować w p stanach: Ent = r ( p i log 2 p i ) (23) i=1 gdzie: p i - prawdopodobieństwo, że obiekt jest w stanie s. Gdy entropia jest bardzo wysoka to oznacza, że w systemie zawarta jest prawie pełna informacja.

71 Zaawansowane systemy decyzyjne W:IV Techniki pozyskiwania wiedzy - Algorytm Quinlana - 4 Obliczanie entropii atrybutu A k : Określenie ilości informacji zawartej w każdym z atrybutów występujacych w zbiorze danych: [ ] lw N Ent(O/A k ) = p(a k, j) (p(o i /a k,j ) log 2 p(o i /a k,j )) j=1 i=1 (24) gdzie: lw - liczba wartości atrybutu A k, N - liczba klas, k - liczba atrybutów, p(a k, j) - prawdopodobieństwo, że a k przyjmie wartość j, p(o i /a k,j ) - prawdopodobieństwo, że wystapi klasa o i, gdy a k = j.

72 Zaawansowane systemy decyzyjne W:IV Techniki pozyskiwania wiedzy - Algorytm Quinlana - 5 Obliczanie przyrostu informacji wprowadzanego przez każdy atrybut Przyrost informacji atrybutu A k wyraża się wzorem: Budowa drzewa i wnioski Ent(A k ) = Ent Ent(O/A k ) (25) Budowę drzewa należy zaczynać od atrybutu wnoszacego największy przyrost entropii. Kolejnym atrybutem jest następny w rankingu przyrostu entropii.

73 Zaawansowane systemy decyzyjne W:IV Algorytm Quinlana - przykład - 1 u, m, p, C 2, u, s, p, C 1, u, w, p, C 1, n, m, p, C 1, n, s, p, C 1, n, w, p, C 2, d, m, p, C 3, d, s, p, C 2, d, w, p, C 1, u, m, l, C 3, u, s, l, C 1, u, w, l, C 2, n, m, l, C 3, n, s, l, C 1, n, w, l, C 2, d, m, l, C 3, d, s, l, C 1, d, w, l, C 2, Obliczanie entropii zbioru 3-elementowego: Ent = 3 ( p i log 2 p i ) (26) i=1 Dla danych otrzymano: p(c 1 ) = 8 18 p(c 2 ) = 6 18 p(c 3 ) = 4 18 Ent = 8 18 log log log = (27)

74 Zaawansowane systemy decyzyjne W:IV Algorytm Quinlana - przykład - 2 u, m, p, C 2, u, s, p, C 1, u, w, p, C 1, n, m, p, C 1, n, s, p, C 1, n, w, p, C 2, d, m, p, C 3, d, s, p, C 2, d, w, p, C 1, u, m, l, C 3, u, s, l, C 1, u, w, l, C 2, n, m, l, C 3, n, s, l, C 1, n, w, l, C 2, d, m, l, C 3, d, s, l, C 1, d, w, l, C 2, Obliczanie entropii atrybutu A 1 : Dane: lw = 3, u, n, d, Prawdopodobieństwa wartości atrybutu: p(a 1, u) = 6 18, p(a 1, n) = 6 18, p(a 1, d) = Prawdopodobieństwa wartości atrybutu przy danym stanie: p(c 1 /A 1, u) = 3 6, p(c 2/A 1, u) = 2 6, p(c 3/A 1, u) = 1 6 p(c 1 /A 1, n) = 3 6, p(c 2/A 1, n) = 2 6, p(c 3/A 1, n) = 1 6 p(c 1 /A 1, d) = 2 6, p(c 2/A 1, d) = 2 6, p(c 3/A 1, ) = 2 6 Ent(O/A 1 ) = 6 18 ( 3 6 log log log ) ( 3 6 log log log ) ( 2 6 log log log ) =

75 Zaawansowane systemy decyzyjne W:IV Algorytm Quinlana - przykład - 3 Obliczanie entropii atrybutu A 2 : Ent(O/A 2 ) = 0.94 Obliczanie entropii atrybutu A 3 : Ent(O/A 3 ) = Obliczanie przyrostu informacji wprowadzanego przez każdy atrybut Ent(A k ) = Ent Ent(O/A k ) (28) Przyrostu informacji wprowadzanego przez atrybut A 1 Ent(O/A 1 ) = = , Przyrostu informacji wprowadzanego przez atrybut A 2 Ent(O/A 2 ) = = , Przyrostu informacji wprowadzanego przez atrybut A 3 Ent(O/A 3 ) = = ,

76 Zaawansowane systemy decyzyjne W:IV Algorytm Quinlana - przykład - 4 Budowa drzewa i wnioski Budowę drzewa należy zaczynać od atrybutu wnoszacego największy przyrost entropii. Kolejnym atrybutem jest następny w rankingu przyrostu entropii.

77 Zaawansowane systemy decyzyjne Drzewo decyzyjne W:IV Przeszukiwanie danych - przykład - 5

78 Zaawansowane systemy decyzyjne W:IV Zbiory przybliżone w podejmowaniu decyzji - 1 Zbiory przybliżone - zbiory, zakładamy, że mamy pewne dane o uniwersum i dane te sa wykorzystywane przy tworzeniu zbiorów. Elementy o identycznych informacjach, sa nierozróżnialne i tworza tzw. zbiory elementarne. Suma dowolnych zbiorów elementarnych jest zbiorem definiowalnym. Zbiory, które nie sa definiowalne, sa nazywane zbiorami przybliżonymi. Dolne przybliżenie zbioru - to wszystkie elementy, które w świetle posiadanej wiedzy jednoznacznie należa do zbioru, Górne przybliżenie zbioru - to wszystkie elementy, które w świetle posiadanej wiedzy nie można wykluczyć z danego zbioru, Obszar brzegowy - brzeg - różnica między górnym a dolnym przybliżeniem,

79 Zaawansowane systemy decyzyjne W:IV Zbiory przybliżone w podejmowaniu decyzji - 2 Teoria zbiorów przybliżonych w analizie problemów decyzyjnych pozwala na: analizę danych, w których występuje porzadek preferencyjny, a atrybuty pełnia rolę kryteriów oceny, ocenę ważności kryteriów, redukcję zbioru kryteriów, przetwarzanie informacji porzadkowej bez pośrednictwa jej reprezentacji numerycznej, generowanie reguł decyzyjnych lub drzew decyzyjnych, będacych modelem preferencji odkrytym z danych, wspomaganie decyzji wielokryterialnych dotyczacych klasyfikacji, wyboru lub porzadkowania badź wspomaganie decyzji w warunkach ryzyka i niepewności.

80 Zaawansowane systemy decyzyjne W:IV Zbiory przybliżone w podejmowaniu decyzji - 3 Wnioskowanie indukcyjne a wiedza dziedzinowa (wychodzi się od pewnych faktow częściowych o badanej rzeczywistości, prowadzi do wniosków prawdopodobnych - możliwych): trzy kategorie wiedzy dziedzinowej majace wpływ na wzorce odkrywane z danych dziedziny atrybutów - wartości atrybutów maja sens dla ludzkiej percepcji (reguły asocjacyjne), podział atrybutów na warunkowe i decyzyjne - wzorce do zwiazków między wartościami tych atrybutów reguły, drzewa decyzyjne, porzadek preferencyjny w dziedzinie niektórych atrybutów i semantyczna korelacja między tymi atrybutami, narzucajaca na wzorce konieczność przestrzegania zasady dominacji(wspomaganie decyzji.

81 Zaawansowane systemy decyzyjne W:IV Zbiory przybliżone w podejmowaniu decyzji - 4 Wnioskowanie dedukcyjne a indukcyjne wnioskowanie dedukcyjne, zastosowanie:matematyka, pełna teoria. wnioskowanie zawsze prawdziwe, weryfikacja hipotez - dowód. wnioskowanie indukcyjne, zastosowanie: nauki przyrodnicze, techniczne, częściowe teorie, wnioski prawdopodobne (możliwe), weryfikacja hipotez - eksperyment.

82 Zaawansowane systemy decyzyjne W:IV Zbiory przybliżone w podejmowaniu decyzji - 5 dziedziny atrybutów: dziedziny atrybutów - wartości atrybutów maja sens dla ludzkiej percepcji, wzorce odkrywane tylko z oparciu o wiedzę dziedzinowa nazywaja się regułami asocjacyjnymi, reguły te pokazuja silne zwiazki między wartościami pewnych atrybutów bez dzielenia ich na warunkowe i decyzyjne (np. sieć semantyczna).

83 Zaawansowane systemy decyzyjne W:IV Zbiory przybliżone w podejmowaniu decyzji - 5 podział atrybutów na warunkowe i decyzyjne: połaczenie wiedzy dziedzinowej z podziałem atrybutów na warunkowe i decyzyjne, rozpatruje się podział obiektów na klasy decyzyjne za pomoca atrybutów decyzyjnych, odkrywane wzorce maja postać reguł lub drzew decyzyjnych.

84 Zaawansowane systemy decyzyjne W:IV Zbiory przybliżone w podejmowaniu decyzji - 6 porzadek preferencyjny w dziedzinie niektórych atrybutów: wskazane jest zastosowanie zasady dominacji w budowie systemów wspomagania decyzji, atrybuty z dziedzina uporzadkowan a według preferencji nazywane sa kryteriami, Semantyczna korelacja między dwoma kryteriami - oznacza, że polepszenie oceny obiektu na jednym kryterium nie powinno spowodować pogorszenia oceny na drugim kryterium, jeśli wartości pozostałych atrybutów i kryteriów sa niezmienione.

85 Zaawansowane systemy decyzyjne W:IV Zbiory przybliżone w podejmowaniu decyzji - przykład Wstawianie ocen studentom: wyniki studentów opisujemy atrybutami: algebra (A), język obcy (JO) oraz ocena końcowa (K), dziedziny tych atrybutów: zadawalajaca, dobra, bardzo dobra, jest to wiedza dziedzinowa (i). atrybuty (A), (JO) sa warunkowe a atrybut (K) jest decyzyjny, jest to wiedza z podziałem na warunkowa i decyzyjna (ii). porzadek preferencyjny: ocena bardzo dobry jest lepsza od dobry itd., atrybyty (A) i (JO) sa semantycznie skorelowane z (K), jest to wiedza z preferencjami (iii).

86 Zaawansowane systemy decyzyjne W:IV Zbiory przybliżone w podejmowaniu decyzji - zasada Pareto Semantyczna korelacja między dwoma kryteriami polepszenie oceny studenta z algebry (A) lub języka obcego (JO), przy niezmienionej dugiej ocenie nie powinno pogorszyć oceny końcowej (K) lecz ja polepszyć, semantyczna korelacja między kryteriami warunkowymi i decyzyjnymi wymaga aby: obiekt P dominujacy obiekt Q na wszystkich kryteriach warunkowych. również dominował obiekt Q na wszystkich kryteriach decyzyjnych. zasada ta zwana jest jako zasada dominacji lub zasada Pareto. jedyna obiektywna zasad wielokryterialnego porównywania obiektów.

87 Zaawansowane systemy decyzyjne W:IV Zasada Pareto - przykład Oceny studentów wyindukowane z danych: reguła 1: jeżeli A=zadawalajaca i JO=zadawalajaca to K=dobra, reguła 2: jeżeli A=dobra i JO=zadawalajaca to K=zadawalajaca, nie spełniana jest zasada dominacji, profil warunkowy reguły 2 dominuje profil warunkowy reguły 1, profil decyzyjny reguły 2 jest zdominowany przez profil decyzyjny reguły 1, sa to reguły niespójne z zasada dominacji i błędne w świetle wiedzy preferowanej, w takich sytuacjach znajduje zastosowanie teoria zbiorów przybliżonych - stosyjemy wiedzę pewna (dolne przybliżenie) i możliwa (górne przybliżenie).

88 Zaawansowane systemy decyzyjne W:IV Podejście zbiorów przybliżonych oparte na dominacji DRSA - ang. Dominance-based Rough Set Approach założenie: zbiór atrybutów decyzyjnych jest jednoelementowy D={d}, dokonuje on podziału obiektów U na skończona liczbę klas decyzyjnych Cl = Cl t, t = 1,..., n, Cl t = x U : x q = t, t = 1,..., n im wyższy numer klasy tym lepsza klasa, złożnia klas decyzyjnych: w górę: Cl t = Cl s ; t = 1,..., n, klasa co najmniej Cl t w dół: Cl t = własności: Cl 1 s t s t Cl s ; t = 1,..., n, klasa co najwyżej Cl t = U, Cl n = U, oraz dla t = 2,..., n mamy Cl t = U Cl t 1

89 Zaawansowane systemy decyzyjne W:IV Podejście zbiorów przybliżonych oparte na dominacji Przynależność obiektów należenie obiektu do klasy Cl t z watpliwości a gdy dla danego zbioru kryteriów P C zaliczenie x U do Cl t ; t = 2,..., n jest niespójne z zasada dominacji, należenie obiektu do klasy Cl t bez watpliwości gdy dla danego zbioru kryteriów P C zaliczenie x U do Cl t ; t = 2,..., n nie ma niespójności z zasada dominacji obiekt x być może należy do Cl t poniższych sytuacji: zgodnie z decyzja d obiekt x należy do Cl t, przy P C, gdy zachodzi jedna z zgodnie z decyzja d obiekt x nie należy do Cl t lecz obiekt ten jest niespójny w sensie zasady dominacji z obiektem y należacym do Cl t.

90 Zaawansowane systemy decyzyjne W:IV Podejście zbiorów przybliżonych oparte na dominacji Wiedza pewna, możliwa, watpliwa dla P C zbiór wszystkich obiektów należacych bez watpliwości do Cl t tworzy P-dolne przybliżenie złożenia klas Cl t, dla P C zbiór wszystkich obiektów być może należacych do Cl t P-górne przybliżenie złożenia klas Cl t, tworzy dla P C zbiór wszystkich obiektów należacych z watpliwości a do Cl t tworzy P-brzegi złożenia klas Cl t Z punktu widzenia odkrywania wiedzy z danych: P-dolne przybliżenia złożeń klas reprezentuja wiedzę pewna, P-górne przybliżenia złożeń klas reprezentuja wiedzę możliwa, P-brzegi złożeń klas reprezentuja wiedzę watpliw a.

91 Zaawansowane systemy decyzyjne W:V Zbiory rozmyte i sieci neuro-rozmyte w systemach decyzyjnych

92 Zaawansowane systemy decyzyjne W:V Zbiory rozmyte i sieci neuro-rozmyte w systemach decyzyjnych 1 Budowa modeli w rozmytej reprezentacji wiedzy Modele rozmyte pozwalaja na: wyliczanie wartości zmiennych procesowych (nadmiarowości mierzonych sygnałów), porównanie sygnałów mierzonych i obliczanych (nadmiarowość informacyjna). Rozmyta reprezentację wiedzy można stosować w realizacji różnych zadań postawionych przed systemem decyzyjnym: W etapie wstępnym spotyka się z rozmyta reprezentacja wartości zmiennych procesowych, co pozwala prowadzić proces decyzyjny z wykorzystaniem doradczych systemów ekspertowych, Bardzo ważnym i często realizowanym w oparciu o rozmyta reprezentację wiedzy, zadaniem jest generowanie ocen jakości decyzji,

93 Zaawansowane systemy decyzyjne W:V Zbiory rozmyte i sieci neuro-rozmyte w systemach decyzyjnych 2 Zastosowanie logiki rozmytej w systemie decyzyjnym rozmyta reprezentacja wektora residuów u(t) Obiekt y(t) + - y(t) r(t) Klasyfikator f Model rozmyty klasyfikator rozmyta reprezentacja wektora uszkodzeñ rozmyta reprezentacja zmiennych procesowych rozmyty model

94 Zaawansowane systemy decyzyjne W:V Zbiory rozmyte i sieci neuro-rozmyte w systemach decyzyjnych 3 Rozmyte sieci neuronowe w detekcji Połaczenie techniki modelowania rozmytego z metodami uczenia sieci neuronowych - Horikawa(1991). strukturę modelu (liczbę partycji, rozmieszczenie, kształt krzywych) określa ekspert, strojenie wag na podstawie danych pomiarowych i metod stosowanych w sieciach neuronowych. Ze względu na forme konkluzji wyróżnia się trzy typy sieci neuro-rozmytych: stała (singleton) - modele Mamdaniego, kombinacja liniowa wyjść - modele TSK (Takagi Sugeno Kanga), liczba rozmyta.

95 Zaawansowane systemy decyzyjne W:V Zbiory rozmyte i sieci neuro-rozmyte w systemach decyzyjnych 4 Techniki modelowania rozmytego stosowane w detekcji. modele typu Wang a Mendel a (WM), rozmyte sieci neuronowe.

96 Zaawansowane systemy decyzyjne W:V Zbiory rozmyte i sieci neuro-rozmyte w systemach decyzyjnych 5 Modele typu Wang a Mendel a (WM). MODEL ROZMYTY - BAZA REGU IF (x = A )... and... (x = A )... and... (x =A ) THEN (y=b ) 1 1i k ki n ni i x 1 x k x n BLOK ROZMYWANIA A k1 A k2 A k3 A k4 A ki OBLICZANIE ZAP ONU REGU w = (x ) i n k=1 i k k ( (x ) = max { (x )} i k j j k (x ) k k i BLOK WYOSTRZANIA B 1 B 2 B 3 B 4 GENERACJA RESIDUUM y y r = ( y - y ) ( y - y ) MAX MIN 100% COA r

97 Zaawansowane systemy decyzyjne W:V Zbiory rozmyte i sieci neuro-rozmyte w systemach decyzyjnych 6 Sieci rozmyte z wyjściem w postaci singletonu. R i : Jeśli x 1 jest A 1,i i x 2 jest A 2,i i i x n jest A n,i TO y jest y i A k (x ) i k µ 1 1 x 1 1 µ 2 µ 1 n y 1 2 y B µ 2 1 y N x 2 µ 2 2 B/A y x n µ 2 n µ N 1 µ N A 1 µ N n L1 L2 L3 L4

98 Zaawansowane systemy decyzyjne W:V Rozmyta baza wiedzy. Optymalizacja bazy wiedzy: kompletność, sprzeczność, nadmiarowość

99 Zaawansowane systemy decyzyjne W:V Baza wiedzy Wiedza definiowana jest jako znajomość zjawisk zachodzacych w środowisku, obiektach, zachowaniach ludzkich i zwierzęcych. Wiedza to także umiejętność opisu budowy, własności, parametrów obiektów z otoczenia człowieka i jego zakresu aktywności. Wiedza to także nabyte umiejętności zachowań, postępowania w aktywności codziennej oraz w sytuacjach wyjatkowych. Reprezentacja wiedzy w danym systemie informacyjnym jest ważnym, a zarazem trudnym problemem, który nie został jeszcze w pełni rozwiazany. Wiedzę można reprezentować w formie symbolicznej lub niesymbolicznej. Baza wiedzy to zbiór definicji, faktów, pojęć i relacji między nimi oraz reguł wnioskowania. Proces organizowania zebranej wiedzy wiaże się z wyborem odpowiedniej metody reprezentacji wiedzy oraz weryfikacji bazy wiedzy i mechanizmu wnioskowania.

100 Zaawansowane systemy decyzyjne W:V Regułowa baza wiedzy reguªy wnioskowania - budowane sa w formie powiazań między grupa przesłanek i wynikajac a z nich grupa konkluzji. Przyjmuja postać: je»eli (w 1 i w 2 i i w n ) to (d 1 i d 2 i i d m ), gdzie: w 1, w 2,, w n oznaczaja warunki, które musza być spełnione aby uaktywnić regułę, d 1, d 2,, d m - konkluzje określajace działanie przy aktywnej regule. warunki Horna - wyrażenia w formie predykatów. Struktura zbliżona do generalnej postaci reguł wnioskowania z dodatkowymi restrykcjami, wynikajacymi z syntaktyki rachunku predykatów. Metoda ta była przyczynkiem do budowania niektórych języków programowania (Prolog).

101 Zaawansowane systemy decyzyjne W:V Optymalizacja bazy wiedzy - kompletność Kompletność modelu rozmytego kompletność numeryczna, kompletność modelu rozmytego. Definicja 10 Model rozmyty jest kompletny jeżeli dla każdego stanu wejść x = (x 1,..., x n) przyporzadkowuje pewien stan wyjścia y. Model rozmyty nie spełnia zasady kompletności gdy istnieje choć jedna wartość wejścia x, dla której nie zdefiniowano żadnej wartości wyjścia y. Dla rozmytego modelu występuja również pojęcia kompletności podziału obszaru wejściowego oraz kompletności bazy reguł.

102 Zaawansowane systemy decyzyjne W:V Optymalizacja bazy wiedzy - kompletność Definicja 11 Rozmyty podział zakresu zmiennej wejściowej x i jest kompletny wtedy gdy spełniona jest zależność: m µ Aji (x i ) > 0, dla x i X i, (29) j=1 gdzie: m oznacza ilość zbiorów rozmytych A ji przyjętych dla zmiennej X i. Definicja 12 Baza reguł rozmytego modelu jest lingwistycznie kompletna, jeżeli lingwistycznemu stanowi (A 1k, A 2l,..., A np ) przyporzadkowano co najmniej jeden lingwistyczny stan wyjścia B j.

103 Zaawansowane systemy decyzyjne W:V Optymalizacja bazy wiedzy - kompletność Zwiazek między kompletnościa lingwistyczna a numeryczna. Lingwistycznie kompletna baza reguł może być numerycznie niekompletna jeśli rozmyty podział przestrzeni wejść jest niekompletny. D S y? Baza regu³ R1: jeœli (x=m) to (y=m) R2: jeœli (x=s) to (y=s) R3: jeœli (x=d) to (y=d) M (y) (x) 1 s m s d x x y m s d M S D 0 x zakres x

104 Zaawansowane systemy decyzyjne W:V Optymalizacja bazy wiedzy - kompletność Zwiazek między kompletnościa lingwistyczna a numeryczna. Lingwistycznie niekompletna baza reguł może być numerycznie kompletna jeśli zastosowano funkcje przynależności o odpowiednio szerokich nośnikach. D S y Baza regu³ R1: jeœli (x=m) to (y=m) R3: jeœli (x=d) to (y=d) M (y) (x) 1 m s d x x y m s d M D 0 x brak regu³y zakres x

105 Zaawansowane systemy decyzyjne W:V Optymalizacja bazy wiedzy - sprzeczność Definicja 13 Baza reguł jest niesprzeczna jeśli nie zawiera reguł sprzecznych, tzn. reguł o jednakowych przesłankach i różnych konkluzjach. W przypadku rozmytej regułowej reprezentacji wiedzy wyróżnia się różne poziomy sprzeczności reguł. silna sprzeczność reguł - występuje jeśli konkluzje sprzecznych reguł opisane sa za pomoca znacznie różniacych się wyjściowych zbiorów rozmytych, słaba sprzeczność reguł - obejmuje przypadki, gdy konkluzje opisane sa za pomoca zbiorów rozmytych o zbliżonej wartości modalnej (punkt lub zbiór punktów przestrzeni rozważań, które uzyskuja maksymalna wartość funkcji przynależności. Dla zbioru punktów wartość modalna wyznacza się jako wartość średnia).

106 Zaawansowane systemy decyzyjne W:V Optymalizacja bazy wiedzy - sprzeczność silna sprzeczność reguł BD D S y uzyskana powierzchnia Baza regu³ R1: jeœli (x=m) to (y=m) R2: jeœli (x=m) to (y=bd) R3: jeœli (x=s) to (y=s) R4: jeœli (x=d) to (y=d) M (y) (x) 1 oczekiwana powierzchnia x m s d Legenda: M -ma³y S - œredni D - du y BD - bardzo du y 0 x zakres x

107 Zaawansowane systemy decyzyjne W:V Optymalizacja bazy wiedzy - sprzeczność słaba sprzeczność reguł BD D S M (y) y (x) 1 uzyskana powierzchnia oczekiwana powierzchnia x m s d Baza regu³ R1: jeœli (x=m) to (y=m) R2: jeœli (x=s) to (y=s) R3: jeœli (x=s) to (y=d) R4: jeœli (x=d) to (y=bd) Legenda: M -ma³y S - œredni D - du y BD - bardzo du y 0 x zakres x

108 Zaawansowane systemy decyzyjne W:V Optymalizacja bazy wiedzy - sprzeczność Definicja 14 Baza m reguł R j, jest zależność: j = 1,..., m, jest kompletna i niesprzeczna, gdy spełniona m µ j (x ) = 1, x X, (30) j=1 Jeżeli suma stopni spełnienia przesłanek reguł jest mniejsza od 1, to baza reguł dla stanu wejść x jest niekompletna. Jednakże jeśli ta suma jest większa od 1, to mamy do czynienia ze sprzecznościa w regułach.

109 Zaawansowane systemy decyzyjne W:V Optymalizacja bazy wiedzy - nadmiarowość Nadmiarowość bazy reguł - występuje wtedy gdy w bazie występuje kilka a nawet kilkanaście reguł o takich samych przesłankach i konkluzjach. Taka sytuacja może wynikać z: pomyłki eksperta lub inżyniera wiedzy, wzmocnienia konkluzji nadmiarowych reguł wygenerowanych przez samouczacy się (samoorganizujacy się) model rozmyty. Dla nadmiarowości wynikajacej z: błędu człowieka - nadmiarowe reguły należy usunać, celowego wprowadzenia nadmiarowych reguł - należy przeanalizować ich funkcje i dokonać syntezy powstałej bazy w celu akumulacji efektów wzmacniania konkluzji.

110 Zaawansowane systemy decyzyjne W:V Optymalizacja bazy wiedzy - nadmiarowość - przykład Rozpatrzmy dwie identyczne reguły R 2 i R 3 w postaci: R 2 : (Jesli (x = n) to (y = D)) R 3 : (Jesli (x = n) to (y = D)), które można zastapić jedna reguła R2 o zsumowanej logicznie konkluzji w postaci: R2 : (Jesli (x = n) to (y = D D). Efektywność wzmocnienia konkluzji reguły wypadkowej R 2 uzależniona jest od zastosowanego operatora s-normy: dla sumowania realizowanego za pomoca operatora MAX - zbiór wynikowy = D = D D = D. dla innego operatora - wartość konkluzji jest wzmocniona w stosunku zależnym od zastosowanego operatora.

111 Zaawansowane systemy decyzyjne W:V Optymalizacja bazy wiedzy - podsumowanie Dla wiedzy w reprezentacji rozmytej: występuje większe prawdopodobieństwo uzyskania jej kompletności szczególnie dla złożonych procesów przemysłowych, dla których należy analizować szeroki zakres zmienności obserwowanych sygnałów, problem sprzeczności reguł, uzyskiwanych na drodze automatycznego wydobywania wiedzy z baz danych, przyjmuje łagodniejszy wymiar. W takim przypadku istnieje możliwość wyznaczenia reguły wypadkowej z odpowiednia wartościa poziomu przynależności, nadmiarowość bazy wiedzy może być eliminowana bazujac na odpowiednim operatorze t-normy. Niekiedy nadmiarowość pomaga we wzmocnieniu istotności danej reguły (wzrost wartości funkcji przynależności).

112 Zaawansowane systemy decyzyjne W:VI Niesymboliczna reprezentacja wiedzy - Sieci neuronowe

113 Zaawansowane systemy decyzyjne W:VI Globalne modele neuronowe 1 1. Z modelem globalnym - obiekt MIMO

114 Zaawansowane systemy decyzyjne W:VI Lokalne modele neuronowe 2 2. Z modelami lokalnymi - obiekt MIMO

115 Zaawansowane systemy decyzyjne W:VI Własności sieci neuronowych 5 Własności sztucznych sieci neuronowych uzasadniajace ich zastosowanie reprezentacji wiedzy: zdolność realizacji złożonych obliczeń przez równoległe przetwarzanie informacji, efektywna aproksymacja dowolnych nieliniowości, uczenie i douczanie sieci na podstawie obserwacji (pomiarów) sygnałów obiektu, wysoki stopień odporności na zakłócenia, możliwość pracy z wiedza niekompletna.

116 Zaawansowane systemy decyzyjne W:VI Sieci neuronowe w modelowaniu 6 Stosowanie sztucznych sieci neuronowych w modelowaniu wiaże się z następujacymi działaniami: definicja stanów decyzyjnych, wyznaczanie typowych obrazów odpowiednich dla poszczególnych stanów decyzyjnych, wybór struktury sieci i algorytmu uczenia, uczenia sieci na bazie obrazów uczacych, testowanie sieci dla dowolnych stanów obiektu.

117 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 1 Struktury SSN stosowane w modelowaniu: perceptron wielowarstwowy, sieci rekurencyjne, sieci neuronów dynamicznych, sieci typu GMDH.

118 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 2 Perceptron wielowarstwowy {w k } 1,k 2 {k u H } 1 {k 1 } u 2 u 3 2 H k,k {w } H-1 H y 1 u m y n warstwa wejœciowa 1-sza warstwa ukryta H-ta warstwa ukryta warstwa wyjœciowa

119 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 3 Perceptron wielowarstwowy - uwagi prosta struktura i zasada przetwarzania, długi czas uczenia, problem z uzyskaniem dobrego modelu przy długich zależnościach czasowych między wejściem i wyjściem obiektu, potrzeba znajomości rzędu modelu - dla obiektów dynamicznych, wzrost ilości wejść dla obiektów dynamicznych wysokiego rzędu.

120 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 4 Perceptron wielowarstwowy dla obiektu dynamicznego uszkodzenia f zak³ócenia d u(k) OBIEKT y(k) LO u(k) u(k-m) MODEL Perceptron wielowarstwowy y (k) m LO y(k) y(k-n) Algorytm uczenia + - e

121 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 5 Własności perceptronu wielowarstwowego złożona struktura sieci, długi czas uczenia, problem uzyskania dobrego modelu przy długich zależnościach czasowych między wejściem i wyjściem, potrzeba znajomości rzędu modelu, wzrost ilości wejść przy wzroście rzędu dynamiki obiektu.

122 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 6 Ocena przydatności detektora perceptronowego Dalsze prace nad tym problemem jakości sieci typu perceptronowego prowadzono w kierunku budowy sieci adaptacyjnych, które w procesie decyzji realizuja również proces adaptacji wag do nowych warunków pracy. Ponadto opracowano nowe struktury sieci. Do bardziej znanych należy zaliczyć: sieci Kohonena, sieci dynamiczne Hopfielda, sieci typu RBF, sieci samoorganizujace.

123 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 7 Sieci rekurencyjne - Williams-Zipser (1989). z -1 z -1 1 y (k+1) 1 u (k) 1 z -1 z -1 M M+1 y (k+1) M u (k) N m

124 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 8 Sieci rekurencyjne - Williams-Zipser - uwagi. z najbardziej ogólna architektura, z dopuszczalne połaczenie każdego neuronu z innym, z nazywane sa sieciami czasu rzeczywistego, z umożliwiaja aproksymować szeroka klasę zależności dynamicznych, w długi czas uczenia, w problemy z utrzymaniem stabilności procesu uczenia.

125 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 9 Sieci rekurencyjne - Elmana (1990). kopia aktywacji neuronów ukrytych warstwa kontekstowa z -1 z -1 x (k) 1 y (k) 1 u (k) 1 u (k) m z -1 warstwa wejœciowa warstwa ukryta x (k) 2 x (k) n warstwa wyjœciowa y (k) n

126 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 10 Sieci rekurencyjne - Elmana - uwagi. z dodatkowa warstwa kontekstowa wykorzystana do przechowywania wyjścia warstwy ukrytej, opóźnia sygnał o jeden takt, z moga modelować dynamikę s-tego rzędu (s - liczba neuronów w warstwie ukrytej), w problem uczenia, w przy zastosowaniu metody uczenia BP występuja ograniczenia dla obiektów o dynamice wyższych rzędów.

127 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 11 Sieci rekurencyjne - Hopfielda. u (k) 1 u (k) 2 z -1 z -1 z -1 x (k) 1 x (k) 2 u (k) m warstwa wejœciowa -1 x (k) n

128 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 12 Sieci rekurencyjne ze sprzężeniami skrośnymi. u (k) 1 u (k) 2 y (k) 1 u (k) m warstwa wejœciowa warstwa ukryta (i) warstwa ukryta (j) warstwa wyjœciowa y (k) n

129 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 13 Sieci rekurencyjne ze sprzężeniami skrośnymi - uwagi. z kaskadowe połaczenie warstw daje zdolności aproksymacyjne, z sprzężenia skrośne daja własności dynamiczne, w duża złożoność struktury, w długi czas adaptacji parametrów.

130 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 14 Sieci neuronów dynamicznych. zbudowane na bazie sieci jednokierunkowych wielowarstwowych, bez sprzężeń zwrotnych, zaliczane do sieci lokalnie rekurencyjnych, stosuje się dynamiczny neuron uzyskany z klasycznego McCulloch a-pitts a poprzez jego modyfikacje za pomoca sprzężeń wewnętrznych. Rodzaje modeli z dynamicznymi neuronami. ze sprzężeniem aktywacyjnym - Frasconii i in. 1992, ze sprzężeniem w synapsie - Tsoi i Back, 1994, ze sprzężeniem wyjściowym, z neuronem z pamięcia, modele z filtrem IIR - Patan, Korbicz, 2000

131 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 15 Dynamiczne sieci neuronowe o charakterystykach nieliniowych Model Wiener Model Hammersteina u i w i -1 B(z ) -1 A(z ) y i w f(u i ) i y i y(k) = B(z 1 ) A(z 1 f(u(k)) (31) ) gdzie: y(k) -odpowiedź, u(k) - wymuszenie, f( ) - nieliniowa charakterystyka statyczna. Dominuja w nim nieliniowe własności elementu wykonawczego, np. zaworu, serwomotoru -1 B(z ) -1 A(z ) s i u i s i y i -1 f(s i ) [ B(z 1 ] ) y(k) = f A(z 1 ) u(k) A(z 1 ) = 1 + a 1 z a n z n (32) B(z 1 ) = b 1 z b m z m Model Wienera stosowany jest do opisu własności kolumny destylacyjnej, procesu neutralizacji ph, układów sterowania przepływu cieczy, systemów sterowania ekstremalnego i pieców rezystancyjnych.

132 Zaawansowane systemy decyzyjne W:VI SSN w systemach decyzyjnych 16 Wyznaczanie residuum w układzie z modelem Hammersteina. Znane rozwiazania: model równoległy model szeregowo-równoległy u i System Hammersteina -1 w (z ) g(u ) i B y i i A -1 (z ) -1 B(z ) -1 A(z ) w f(u i ) i y i e i - Model nominalny r(k) = y(k) ŷ(k) (33) u i f(u ) i System Hammersteina -1 w (z ) g(u ) i B y i i A -1 (z ) w i Model nominalny -1 B(z ) A(z ) A(z ) - y i ŷ = [1 A(z 1 )]y(k) + B(z 1 )f(u(k)) r(k) = A(z 1 )y(k) B(z 1 )f(u(k)) e i (34)

133 Zaawansowane systemy decyzyjne W:VII Hybrydowe systemy decyzyjne

134 Zaawansowane systemy decyzyjne W:VII Hybrydowe systemy decyzyjne 1 Struktura systemu ekspertowego