Zaawansowane systemy decyzyjne

Zaawansowane systemy decyzyjne Andrzej PIECZYŃSKI Wydział Elektrotechniki, Informatyki i Telekomunikacji

Zaawansowane systemy decyzyjne 1 140 Plan wykładów 1. Wprowadzenie. Podejmowanie decyzji w warunkach niepełnej, niepewnej i nieprecyzyjnej informacji. Parametryczne i nieparametryczne problemy decyzyjne. 2. Zastosowanie przybliżonych i rozwiniętych systemów ekspertowych. Teoria możliwości. 3. Zastosowanie zbiorów przybliżonych i rozmytych w bazach wiedzy. Optymalizacja drzew decyzyjnych. 4. Odkrywanie wiedzy w bazach danych, eksploracja danych. Przygotowanie wstępne danych. 5. Zastosowanie miękkich obliczeń w wydobywaniu wiedzy z danych (data mining). 6. Zastosowanie sieci neuronowych w podejmowaniu decyzji. Sieci neuronowe w grupowaniu i klasyfikacji. 7. Ekstrakcja wiedzy z danych z wykorzystaniem sieci neuronowych. 8. Rozmyte systemy decyzjne. Systemy neuronowo-rozmyte i ewolucyjno-rozmyte w tworzeniu bazy wiedzy.

Zaawansowane systemy decyzyjne 2 140 Plan wykładów 9. Klasyfikatory rozmyte. 10. Neuronowo-rozmyte systemy decyzyjne różnego typu. 11. Zastosowanie zbiorów przybliżonych we wspomaganiu decyzji. 12. Zbiory przybliżone oparte na dominacji. 13. Indukcja wzorców klasyfikacji w postaci reguł decyzyjnych. 14. Projektowanie systemów wspomagania decyzji. Hybrydowe systemy ekspertowe. 15. Kolokwium zaliczeniowe.

Zaawansowane systemy decyzyjne 3 140 Literatura [1 ] Bubnicki Z. i in.: Techniki informacyjne w badaniach systemowych. - Wydawnictwo Naukowo-Techniczne, Warszawa,2007. [2 ] Łęcki J.: Systemy neuronowo-rozmyte. - Wydawnictwo Naukowo-Techniczne, Warszawa, 2008. [3 ] Kacprzyk J.: Wieloetapowe sterowanie rozmyte. - Wydawnictwo Naukowo-Techniczne, WNT, Warszawa, 2001. [4 ] Nowicki R. K.: Rozmyte systemy decyzyjne w zadaniach z ograniczona wiedza. - Akademicka Oficyna Wydawnicza Exit, Warszawa, 2009. [5 ] Pieczyński A.: Reprezentacja wiedzy w diagnostycznych systemach ekspertowych. - Lubuskie Towarzystwo Naukowe, Zielona Góra, 2003. [6 ] Piegat A.: Modelowanie i sterowanie rozmyte. - Akademicka Oficyna Wydawnicza EXIT, Warszawa, 1999.

Zaawansowane systemy decyzyjne 4 140 Literatura - cd. [7 ] Rutkowska D.: Inteligentne systemy obliczeniowe, Algorytmy genetyczne i sieci neuronowe w systemach rozmytych. - Akademicka Oficyna Wydawnicza, Warszawa, 1997. [8 ] Rutkowska D., Piliński M., Rutkowski L.: Sieci neuronowe, algorytmy genetyczne i zbiory rozmyte, - Wydawnictwo Naukowe PWN, Warszawa, 1999.

Zaawansowane systemy decyzyjne 5 140 Podejmowanie decyzji w warunkach niepełnej, niepewnej i nieprecyzyjnej informacji

Zaawansowane systemy decyzyjne 6 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 1 Rodzaje informacji 1. Ze względu na obiektywność: subiektywna (zależna od źródła informacji), obiektywna, 2. ze względu na wiarygodność: niepełna, niepewna, nieprecyzyjna, niejednoznaczna.

Wykład, semestr III, rok akademicki 2012/2013 Zaawansowane systemy decyzyjne W:I 7 140 Informacja niepełna, niepewna i nieprecyzyjna - 2 Rodzaje informacji - powiazania informacja niepewna j nie a zn c a informacja zn o n ed niepewna a łn pe nie informacja nieprecyzyjna c Andrzej PIECZYN SKI

Zaawansowane systemy decyzyjne 8 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 3 Informacja niepewna - definicja i miara pewności: 1. nie znane jest prawdopodobieństwo prawdziwości stwierdzenia 2. metody pomiaru: ocena prawdopodobieństwa: zdarzenia niezależne zdarzenia zależne P [A B] = P [A] P [B] (1) P [A B] = P [A B] P [B] Teoria Dempstera-Shefera znana pod nazwa evidence theory może być traktowana jako rozszerzenie rachunku prawdopodobieństwa (2)

Zaawansowane systemy decyzyjne 9 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 4 Informacja niepewna - definicja i miara pewności: Teoria Dempstera-Shefera: podzbiorom przestrzeni zdarzeń przypisuje się podstawowa miarę prawdopodobieństwa (BPA, ang. Basic Probability Assignement) oznaczana często m, różnica pomiędzy rachunkiem prawdopodobieństwa polega na tym, iż miara m nie musi być określona na wszystkich elementach przestrzeni zdarzeń a jedynie na niektórych z podzbiorów. nowe miary: miara przekonania (belief) BEL(A) = B A m(b) (3) miara wiarygodności (plausability) P L(A) = A B m(b) (4)

Zaawansowane systemy decyzyjne 10 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 5 Informacja nieprecyzyjna: 1. Miary nieprecyzyjności: Teoria biorów przybliżonych Wprowadzone zostaja nowe pojęcia górnego i dolnego ograniczenia zbioru, Wprowadzenie tych pojęc pozwala na zastapienie pojęcia nieprecyzyjnego dwoma pojeciami precyzyjnymi, aczkolwiek niepewnymi. Teoria zbiorów rozmytych

Zaawansowane systemy decyzyjne 11 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 6 Teoria biorów przybliżonych: Niech (U, A, V, f) będzie systemem iformacyjnym.(u - uniwersum, A - atrybuty, V - dziedzina atrybutów, f - funkcja informacyjna, P - podzbiór atrybutów P A). 1. P-dolne przybliżenie: 2. P-górne przybliżenie: 3. relacja nierozróżnialności: P (X) = {x U : P (x) X} (5) P (X) = {x U : P (x) X } (6) I(P ) = {(x, y) U U : f(a, x) = f(a, y), a P } (7) Jeśli (x, y) I(P ) to obiekty te sa nierozróżnialne ze względu na podzbiór atrybutów P.

Zaawansowane systemy decyzyjne 12 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 7 Teoria biorów przybliżonych: Niech (U, A, V, f) będzie systemem iformacyjnym.(u - uniwersum, A - atrybuty, V - dziedzina atrybutów, f - funkcja informacyjna, P - podzbiór atrybutów P A). 1. P-brzeg: BN p (X) = P (X) P (X) (8) 2. Współczynnik dokładności przybliżenia: X liczebność zbioru. α p (X) = P (X) P (X) (9) 3. Dolne przybliżenie P (X) zbioru X jest zbiorem obiektów, które można z pewnościa zaliczyć do X na podstawie zbioru atrybutów P. 4. Górne przybliżenie P (X) zbioru X jest zbiorem obiektów, które moga być tylko uznane za być może należace do X na podstawie zbioru atrybutów P

Zaawansowane systemy decyzyjne 13 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 8 Zbiory rozmyte - definicje

Zaawansowane systemy decyzyjne 14 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 9 Zbiory rozmyte - rozmywanie

Zaawansowane systemy decyzyjne 15 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 10 Zbiory rozmyte - wnioskowanie

Zaawansowane systemy decyzyjne 16 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 11 Zbiory rozmyte - wyostrzanie Wybór właściwego elementu na podstawie rozmytego zbioru wyjściowego. y COA = n i=1 n i=1 y i w i w i (10)

Zaawansowane systemy decyzyjne 17 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 12 Teoria możliwości 1. sprzeczność zasad statystycznej teorii z zasadami podejmowania decyzji w warunkach niepełnej i nieprecyzyjnej informacji (stwierdzenia języka naturalnego), 2. w języku naturalnym wyrażana jest informacja w skróconej formie - występuje rozmytość stosowanych pojęć: temperatura jest niska, wysokie ciśnienie krwi. 3. zgodność ciśnienia pacjenta ze stwierdzeniem wysokie ciśnienie, nie mówimy o prawdopodobieństwie wystapienia takiego ciśnienia. 4. podejście pierwsze - posybilistyczne (możliwościowe - miara oparta na teorii zbiorów rozmytych), 5. podejście drugie - probabilistyczne (miara prawdopodobieństwa ([0,1])

Zaawansowane systemy decyzyjne 18 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 13 Teoria możliwości - rozkład możliwości 1. rozkład możliwości to fundamentalna funkcja podobnie jak rozkład prawdopodobieństwa, Niech X będzie zmienna z przestrzeni X. Niech A to zbiór rozmyty z funkcja przynależności µ A (x) - podzbiór przestrzeni X. 2. Stwierdzeniu można przyporzadkować rozkład możliwości Π X = A 3. funkcja rozkładu możliwości π X (x) = 0 X = x jest niemożliwe, p X jest A (11) π X (x) = µ A (x). (12) π X (x) = 1 X = x jest w pełni możliwe (całkowicie dozwolone).

Zaawansowane systemy decyzyjne 19 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 14 Teoria możliwości - rozkład możliwości 1. rozmyte ograniczenie - zbiór A może być rozmytym ograniczeniem (elastycznym) nałożonym na X. 2. µ A (x) stopień spełnienia rozmytego ograniczenia reprezentowanego przez zbiór A, 3. 1 µ A (x) wartość o jaka musimy rozciagn ać elastyczne ograniczenia, aby x reprezentowało X. 4. dla dwóch rozkładów możliwości spełniajacych nierówność: π X(x) < π X (x) x X (13) rozkład π X (x) zawiera bardziej ścisła wiedzę dotycz ac a zmiennej X.

Zaawansowane systemy decyzyjne 20 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 15 Teoria możliwości - prawdopodobieństwo 1. mała wartość prawdopodobieństwa nie wymusza małej wartości możliwości i odwrotnie, 2. rozkład możliwości nie sumuje się do wartości 1, 3. zdarzenie niemożliwe jest jednocześnie nieprawdopodne - zasada zgodności prawdopodobieństwa i możliwości. 4. Stopień zgodności między rozkładami prawdopodobieństwa i możliwości γ [0, 1] N γ = π i P i (14) i=1 π i - rozkład możliwości, P i - rozkład prawdopodobieństwa, 5. stopień zgodności - własności: γ = 0 rozkłady całkowicie niezgodne, γ = 1 rozkłady o pełnej zgodności.

Zaawansowane systemy decyzyjne 21 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 16 Informacja niepewna [1] 1. Niepewność jest jedna z głównych cech złożonych i inteligentnych systemów decyzyjnych. 2. Koncepcja tzw. zmiennych niepewnych jest szczególnie przydatna w przypadku problemów analizy i podejmowania decyzji w klasie systemów niepewnych, 3. Zmienna niepewna jest opisywana za pomoca tzw. rozkładu pewności, podanego przez eksperta i charakteryzujacego jego wiedzę na temat przybliżonych wartości zmiennej. 4. wskaźnik pewności (logika niepewna typu L) Niech Ω -pewien zbiór elementów (np. siłowniki), X R k zbiór wektorów liczbowych (cecha siłownika), funkcja g : Ω X, P (x) relacja określajaca wartość logiczna (logika dwuwartościowa lub rozmyta).

Zaawansowane systemy decyzyjne 22 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 17 Informacja niepewna [1] 1. Dla własności miękkiej określamy fukcję: G ω (x) = x(ω) = x dla x X X (15) oznacza to x jest w przybliżeniu równe x 2. Wartość logiczna G ω (x) oznacza się przez h ω (x) i nazywa rozkładem pewności. 3. Funkcja rozkładu pewności: w przypadku ciagłym h(x) jest funkcja ciagł a w X, w przypadku dyskretnym X = {x 1, x 2, x m }.

Zaawansowane systemy decyzyjne 23 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 18 Parametryczny problem decyzyjny [1] Mamy obiekt opisany relacja: R(u, y, z; x) U Y Z (16) gdzie: x X jest nieznanym wektorowym parametrym z założeniem, że jest wartościa zmiennej niepewnej opisanej rozkładem h(x) podanym przez eksperta. Dla własności y D y Y (wymaganej przez użytkownika) definiujemy problem: Parametryczny problem decyzyjny Dla danych R, z, h x (x)id y należy znaleźć decyzję ũ maksymalizujac a wskaźnik pewności własności: zbiór wszystkich możliwych wyjść należy do D y dla przybliżonej wartości zmiennej x. ũ = arg max max h x(x) (17) u U x D x (u,z) gdzie: D x (u, z) = {x X : D y (u, z; x) D y } oraz D y (u, z; x) = {y Y : (u, y, z) R}

Zaawansowane systemy decyzyjne 24 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 19 Nieparametryczny problem decyzyjny [1] Przyjmijmy, że (u, y, z) to wartości zmiennych niepewnych (u, y, z). Wiedza o obiekcie jest w postaci warunkowego rozkładu pewności h y (y u, z) danego przez eksperta. Nieparametryczny problem decyzyjny Dane sa: h y (y u, z) oraz h y (y) należy wyznaczyć: h u (u z) (18)

Zaawansowane systemy decyzyjne 25 140 W:I Informacja niepełna, niepewna i nieprecyzyjna - 20 Nieparametryczny problem decyzyjny [1] Zadanie realizowane jest w dwóch krokach: 1. znaleźć rozkład h uz (u, z) z równania: h y (y) = max u U,z Z min{h uz(u, z), h y (y u, z)} (19) 2. wyznaczyć rozkład h u (u z) z równania: h uz (u, z) = min{h z (z), h u (u z)} (20) Rozkład h u (u z) nazywany jest wiedza o podejmowaniu decyzji lub niepewnym algorytmem decyzyjnym

Zaawansowane systemy decyzyjne 26 140 Regułowe systemy ekspertowe

Zaawansowane systemy decyzyjne 27 140 Klauzula HORNA W:II Regułowe systemy ekspertowe - 1 Klauzula HORNA Reguły o jednym wniosku A i B i C przesłanki D wniosek zalety 1. bardzo upraszczają automatyzację wnioskowania, 2. bardzo efektywny mechanizm wnioskowania, 3. proste, zrozumiałe i przejrzyste reguły.

Zaawansowane systemy decyzyjne 28 140 Fakty W:II Regułowe systemy ekspertowe - 2 Fakty Zdania logiczne mające wartość prawdy. Pozyskiwanie faktów. 1. zdobywane przez system automatycznie, 2. zdobywane od użytkownika w dialogu na początku lub w trakcie.

Zaawansowane systemy decyzyjne 29 140 Zagnieżdżanie reguł W:II Regułowe systemy ekspertowe - 3 Zagnieżdżanie reguł Występuje wtedy gdy wnioski jednych reguł są przesłankami drugich Przesłanki dopytywalne: nie są wnioskami innych reguł 1. A i B i C W 2. D i E i F V Przesłanki niedopytywalne: są wnioskami innych reguł 1. A i B i C W 2. D i E i W V Przetwarzanie reguł: dla reguł 1 i 2 można otrzymać A i B i C i D i E V Ocena stosowania zagnieżdżonych reguł Zalety: - są dokładniejsze występują wnioski pośrednie, - lepiej odpowiadają strukturze wiedzy dziedzinowej, - są przejrzyste i czytelne. Wady: - wzrasta złożoność systemów wnioskujących, - wzrasta złożoność systemów diagnozujących sprzeczności i nadmiarowości bazy reguł.

Zaawansowane systemy decyzyjne 30 140 Negacja wniosków W:II Regułowe systemy ekspertowe - 4 Negacja wniosków W prawidłowo budowanej bazie nie stosuje się wniosku i jego negacji Przykład: Jeżeli dostanę urlop to pojadę na wczasy, Jeżeli nie będzie ładna pogoda to nie pojadę na wczasy, Jeżeli nie będę miał pieniędzy to nie pojadę na wczasy, Prawidłowo: Jeżeli dostanę urlop i będzie ładna pogoda i będę miał pieniądze to pojadę na wczasy

Zaawansowane systemy decyzyjne 31 140 W:II Regułowe systemy ekspertowe - 5 Klasyfikacja bazy reguł Klasyfikacja baz reguł Kryterium struktury zagnieżdżania reguł: A. Elementarne bazy reguł (BE) przesłanki niedopytywalne nie mogą wystąpić w postaci zanegowanej 1. A i B i nc W 2. W i nd i E V 3. V i I U B. Rozwinięte bazy reguł (BR) przesłanki dopytywalne mogą występować w postaci zanegowanej 1. A i B i C W 2. nw i nd i E V 3. nv i I U Kryterium pewności reguł: A. Dokładne bazy reguł (BD) wnioski przyjmują wartości prawda lub fałsz. B. Przybliżone bazy reguł (BP) wnioski przyjmują wartości z określonym stopniem pewności (0,1).

ł Wykład, semestr III, rok akademicki 2012/2013 Zaawansowane systemy decyzyjne 32 140 W:II Regułowe systemy ekspertowe - 6 Klasyfikacja bazy reguł Klasyfikacja baz reguł Podział baz reguł BD BP BE BR BED BRD BEP BRP Hierarchia baz reguł BED BRD BED BEP BRP

Zaawansowane systemy decyzyjne 33 140 W:II Regułowe systemy ekspertowe - 7 Sprzeczności w bazach reguł Sprzeczności w bazach reguł A. Typu zewnętrznego: wniosek reguły jest tożsamy (bezpośrednio lub pośrednio) z jedną z jej przesłanek lub z negacja jednej z jej przesłanek. Dla bazy RD pojedynczej: 1. L i A P z reguły 3 i 2 mamy 4. B i C i np i D L 2. B i C i Z L ponadto z 1 i 4 otrzymano 3. np i D Z 5. B i C i np i D i A B. Typu wewnętrznego: przesłanki reguły są (bezpośrednio lub pośrednio) sprzeczne. Dla bazy RD pojedynczej: 1. A i D i K Z z reguły 2 i 1 otrzymano 2. C i nd i P K 3. A i C i nd i D Z P

Zaawansowane systemy decyzyjne 34 140 W:II Regułowe systemy ekspertowe - 8 Nadmiarowości w bazach reguł ü Reguły i przesłanki wyrażające to samo, co inne reguły i przesłanki ü Reguły zwierające dla pewnych wniosków bardziej złożone zestawy aniżeli inne reguły dla tych samych wniosków. Nadmiarowość typu pierwszego występowanie reguł wielokrotnych Dla BED: 1.C i D X 3. K i L D 2. E i F C 4. E i F i K i L X Nadmiarowość typu drugiego występowanie reguł subsumowanych Dla BED: 1. C i D i E X 2. C i D X Reguła 1 jest subsumowana (zawarta) w regule 2, obie reguły mają ten sam wniosek a przesłanki reguły 2 są podzbiorem przesłanek reguły 1

Zaawansowane systemy decyzyjne 35 140 W:II Regułowe systemy ekspertowe - 9 Nadmiarowości w bazach reguł Nadmiarowość typu trzeciego występowanie reguł o niepotrzebnych przesłankach. Dla BED: 1. C i D i E X 1. C i D i ne X Reguły te można zastąpić jedną regułą 1. C i D X

Zaawansowane systemy decyzyjne 36 140 W:II Regułowe systemy ekspertowe - 10 Baza ograniczeń Baza ograniczeń zawiera zbiory przesłanek dopytywalnych wykluczających się. Często przesłanki dopytywalne tworzą zbiory przesłanek wykluczających się: jeżeli jedna z danego zbioru jest prawdziwa to pozostałe prawdą być nie mogą. Przykład. szybkość pojazdu jest większa od 100 km/h szybkość pojazdu jest niższa od 50 km/h i szybkość pojazdu jest w przedziale od 50 km/h i do 100 km/h Wprowadzenie szybkość do bazy pojazdu wiedzy jest informacji w przedziale o takich od 50 zbiorach km/h do przesłanek 100km/h. wykluczających się (baza ograniczeń) pozwala budować bardziej inteligentne SE. System taki: 1. gdy uznaje za prawdę jedną z kilku przesłanek wykluczających się, 2. gdy uznaje za nieprawdę jedną z dwóch dychotomicznych (dwie przesłanki wzajemnie się wykluczające) przesłanek nie powinien już pytać o pozostałe dane zbioru przesłanek Baza wiedzy może zawierać: Ř bazę reguł element konieczny do poprawnego funkcjonowania SE, Ř bazę ograniczeń element poprawiający (niekonieczny) funkcjonalność SE.

Zaawansowane systemy decyzyjne 37 140 W:II Regułowe systemy ekspertowe - 11 Sprzeczności w bazach reguł i bazach ograniczeń Sprzeczności powstające w interakcji bazy reguł i bazy ograniczeń. Tego typu sprzeczności oznaczane są jako typu 2. Istotą sprzeczności tego typu jest występowanie reguły o przesłankach wzajemnie wykluczających się. Przykład: baza reguł 1. K i L i M X baza ograniczeń przesłanki wykluczające się: [K,M]. Sprzeczności tego typu nie są tak groźne jak typu 1. Mogą jednak prowadzić do niezauważenia pewnych reguł i brak analizy wniosków dla tych reguł.

Zaawansowane systemy decyzyjne 38 140 W:II Regułowe systemy ekspertowe - 12 Nadmiarowość w bazach reguł i bazach ograniczeń Nadmiarowość wynikająca z interakcji bazy reguł i odpowiadającej jej bazy ograniczeń nazywana jest nadmiarowością typu 2. Przykład: 1. K i L i M V 2. K i L i N V dla przyporządkowanej bazy ograniczeń [M,N], wtedy obydwie reguły można zastąpić jedną regułą: 1. K i L V Przy redukcji nadmiarowości tego typu należy postępować jak w przypadku nadmiarowości typu 1.

Zaawansowane systemy decyzyjne 39 140 W:II Regułowe systemy ekspertowe - 13 Baza rad i pliki rad Baza rad plik tekstowy zawierający uporządkowane pary ( numer reguły, plik tekstowy z radą). Baza rad katalog plików tekstowych rad dla danej bazy reguł. Baza rad poprawia komunikatywność SE. Nie jest elementem niezbędnym do poprawnego wnioskowania SE

Zaawansowane systemy decyzyjne 40 140 W:III Regułowe systemy ekspertowe - 14 Struktura funkcjonalna systemu wnioskującego INTERPRETER REGUŁ SYSTEM STERUJĄCY SYSTEM WYJAŚNIAJĄCY Interpreter reguł - określa wartość logiczną ( prawda, nieprawda, współczynnik pewności) wniosków reguł. Napisanie interpretera reguł stanowi zasadnicze zadanie przy tworzeniu SE. System sterujący - wyznacza kolejność testowania reguł bazy wiedzy. Jego funkcjonowanie zależy od metody wnioskowania ( w przód lub wstecz). System wyjaśniający- uzasadnia użytkownikowi przebieg wnioskowania i generuje raporty wnioskowania

Zaawansowane systemy decyzyjne 41 140 W:III Regułowe systemy ekspertowe - 15 Bazy reguł - elementarne Rodzaje wnioskowania Bazy reguł - rozwinięte dokładne BED przybliżone BEP dokładne BRD przybliżone BRP Wnioskowanie - elementarne Wnioskowanie - rozwinięte dokładne w przód, wstecz SW_ED przybliżone w przód, wstecz SW_EP dokładne w przód, wstecz SW_RD przybliżone w przód, wstecz SW_RP

Zaawansowane systemy decyzyjne 42 140 W:III Regułowe systemy ekspertowe - 16 Wnioskowanie elementarne dokładne (WED) W elementarnej bazie reguł występują wyłącznie niezanegowane przesłanki niedopytywalne. Mogą wystąpić równocześnie przesłanki dopytywalne w postaci prostej (np. A) i zanegowanej (np. na). W takiej sytuacji należy, dla uproszczenia wnioskowania, dodatkowo w bazie ograniczeń zdefiniować dychotomiczną listę przesłanek wykluczających się w postaci [A, na]. Założenia zamkniętego świata. We wszystkich SE dokładnych zakłada się, że prawdą jest tylko to, co wynika z reguł i faktów bazy reguł, o o graniczeń bazy ograniczeń oraz faktów przekazanych przez użytkownika systemu. Milcząco uważa się bazę reguł, bazę ograniczeń i przekazane przez użytkownika za kompletne Dla elementarnej bazy reguł, w bazie danych, nie zapamiętuje się wniosków nieprawdziwych.

Zaawansowane systemy decyzyjne 43 140 W:III Regułowe systemy ekspertowe - 17 Cele i zasady wnioskowania elementarnego dokładnego (WED) Cele: A. Wyznaczenie wszystkich wniosków prawdziwych dla początkowych prawdziwych przesłanek dopytywalnych, dla danej BED. Wnioski zostają zapisane do DBD. Wnioski nieprawdziwe zostają zignorowane. B. Potwierdzenie lub zaprzeczenia iż dana hipoteza wynika z danego początkowego zbioru przesłanek dopytywalnych i BDE Zasada: WED wymaga stosowania tylko jednej zasady poprawnego wnioskowania modus pones.

Zaawansowane systemy decyzyjne 44 140 W:III Regułowe systemy ekspertowe - 18 Przykład wnioskowania elementarnego dokładnego w przód: Dynamiczna baza danych prawda(fakt) E F G I E F G I X E F G I X B E F G I X B U E F G I X B Y E F G I X B Y H nowy fakt: X nowy fakt: B nowy fakt: U nowy fakt: Y nowy fakt: H Reguły: 1. E i F X 2. X i U Y 3. E i B U 4. Y i F H 5. G i I B 1. E i F X 2. X i U Y 3. E i B U 4. Y i F H 5. G i I B 1. E i F X 2. X i U Y 3. E i B U 4. Y i F H 5. G i I B

Zaawansowane systemy decyzyjne 45 140 W:III Regułowe systemy ekspertowe - 19 Przykład wnioskowania elementarnego dokładnego wstecz: Dynamiczna baza danych prawda(fakt) Reguły: E G I brak: U 1. E i F X 2. X i U Y czy jest: E B 3. E i B U E G I jest E, brak B 4. Y i F H 5. G i I B E G I Jest G i I, więc jest B, więc jest U czy jest: G I 1. E i F X 2. X i U Y 3. E i B U 4. Y i F H 5. G i I B

Zaawansowane systemy decyzyjne 46 140 W:III Regułowe systemy ekspertowe - 20 Cele i zasady wnioskowania rozwiniętego dokładnego (WRD) Cele: A. Wyznaczenie wszystkich wniosków prawdziwych i nieprawdziwych dla początkoweg o zbioru prawdziwych i nieprawdziwych przesłanek dopytywalnych oraz dla danej BRD. Cel ten jest osiągany przez wnioskowanie w przód. B. Potwierdzenie lub zaprzeczenia iż dana hipoteza wynika z danego początkowego zbioru prawdziwych i nieprawdziwych przesłanek dopytywalnych i BRD. Cel ten jest osiągany przez wnioskowanie Zasada: WRD wymaga również stosowania tylko jednej zasady poprawnego wnioskowania modus pones.

Zaawansowane systemy decyzyjne 47 140 W:III Regułowe systemy ekspertowe - 21 Przykład wnioskowania rozwiniętego dokładnego w przód: Dynamiczna baza danych rbd(nr reguły, fakt) (0,E) (0,nF) (0,G) (0,nH) (0,nI) (0,E) (0,nF) (0,G) (0,nH) (0,nI) (1,nX) nowy fakt nx Reguły: 1. E i F X 2. nx i nd Y 3. E i B U 4. ny U 5. G i ni X (0,E) (0,nF) (0,G) (0,nH) (0,nI) (5,X) (2,nY) (4,U) nowy fakt U Wnioskowanie wstecz (od hipotezy do przesłanek). Zasada stosowania podobna jak dla WED wstecz przy rozwinięciu weryfikowania hipotez w oparciu o wnioski nieprawdziwe (nfakt).

Zaawansowane systemy decyzyjne 48 140 W:III Regułowe systemy ekspertowe - 22 Wnioskowanie rozwinięte dokładne (WRD) Wnioskowanie oparte na bazach reguł rozwiniętych dokładnych BRD Zastosowano bazę, w której dopuszczalne są przesłanki niedopytywalne Zastosowano bazę, w postaci w której zanegowanej dopuszczalne są przesłanki niedopytywalne Przykład: Uzasadnienie w postaci potrzeby zanegowanej. poszukiwania. innej innej formy formy wnioskowania wnioskowania niż WED. Przyjmijmy niż WED. następującą Przyjmijmy następującą BED: BED: zaoszczędzę więcej pieniędzy wyjadę na zagraniczną wycieczkę dostanę zaoszczędzę nagrodę więcej w pracy pieniędzy wyjadę wyjadę na zagraniczną na wycieczkę wygram dostanę nagrodę w milionerach w pracy wyjadę na na zagraniczną wycieczkę Po wygram zastosowaniu w milionerach WED w przód wyjadę i zadaniu na zagraniczną kilku pytań wycieczkę otrzymano: Po dostanę zastosowaniu nagrodę WED w pracy w przód -i zadaniu NIE kilku pytań otrzymano: dostanę wygram nagrodę w milionerach w pracy - NIE - NIE wygram zaoszczędzę w milionerach więcej pieniędzy - NIE - NIE i zaoszczędzę nie uzyskano więcej żadnej pieniędzy wiążącej - odpowiedzi NIE systemu ekspertowego, a odpowiedź i nie uzyskano jest żadnej oczywista: wiążącej odpowiedzi systemu ekspertowego, a odpowiedź nie jest wyjadę oczywista: na zagraniczną wycieczkę nie wyjadę na zagraniczną wycieczkę

Zaawansowane systemy decyzyjne 49 140 W:III Regułowe systemy ekspertowe - 23 Wnioskowanie rozwinięte dokładne (WRD) Ważny wniosek: Nie spełnienie reguł zasługuje na uwagę i wynikające z nich zanegowane wnioski winny być zapamiętane. DBD: Do baz zapisuje się zarówno fakty i nfakty. Wnioskowanie rozwinięte nie jest monotoniczne (można zmieniać wartość wniosku). Baza ograniczeń: zawiera jedynie zbiory przesłanek dopytywalnych wykluczających się lecz o niedychotomicznym charakterze. Aby uwzględnić uzyskane fakty i nfakty uzyskane w danym przebiegu procesu wnioskowania, pr zeprowadza się następną analizę reguł od początku. Testowanie kończy się gdy żadne nowe wnioski nie są generowane.

Zaawansowane systemy decyzyjne 50 140 W:III Regułowe systemy ekspertowe - 24 Wnioskowanie elementarne przybliżone (WEP) Wstęp: 1. Logika dwuwartościowa prawda i nieprawda, 2. Podejście probabilistyczne statystyka matematyczna (wymagane duże zbiory danych), 3. Zbiory rozmyte i logika rozmyta, wnioskowanie przybliżone, 4. Metody bazujące na współczynnikach pewności Współczynniki pewności: 1. Każdej przesłance przypisany jest współczynnik pewności (ang. Certainty Factor CF), CF = 1 przesłanka całkowicie pewna (sprzyjające wnioskowi), CF = 0.5 przesłanka być może prawdziwa, CF = 0 przesłanka o pewności niemożliwej do określenia, CF = -0.5 przesłanka być może nieprawdziwa, CF = - 1 przesłanka, której nieprawdziwość jest całkowicie pewna (niesprzyjające wnioskowi) 2. Każdej regule przyporządkowany jest współczynnik pewności. Stanowi on wzmocnienie wniosku reguły. CF = 1 przesłanki całkowicie wzmacniają pewność wniosku, CF = 0.5 przesłanki w połowie wzmaciają pewność wniosku, CF = 0 przesłanki nie mają wpływu na pewność wniosku, CF = -0.5 przesłanki w połowie osłabiają pewność wniosku, CF = - 1 przesłanki całkowicie osłabiają pewność wniosku

Zaawansowane systemy decyzyjne 51 140 W:III Regułowe systemy ekspertowe - 25 Wnioskowanie elementarne przybliżone (WEP) Cechy wnioskowania przybliżonego: 1. Współczynnik pewności przesłanki dopytywalnej zanegowanej równy jest dopełnieniu do 0 współczynnika pewności przesłanki M(CF) Ű na( CF). 2. Z listy przesłanek wykluczających się - tylko jeden ma CF=1, pozostałe mają wartość CF= -1. 3. Współczynnik pewności koniunkcji przesłanek CF(D i F i H i...) = min(cf(d), CF(F), CF(H),...). 4. Współczynnik pewności wniosku określa jako CF(W)=CF_reguły CF_przesłanek 5. Współczynnik pewności sumy logicznej jednakowych wniosków, z których conajmniej jeden jest dodatni CF(wn.)= CF_1(wn) + CF_2(wn) - CF_1(wn)*CF_2(wn). *

Zaawansowane systemy decyzyjne 52 140 W:III Regułowe systemy ekspertowe - 26 Wnioskowanie elementarne przybliżone (WEP) Cechy wnioskowania przybliżonego (cd.): 6. Współczynnik pewności sumy logicznej jednakowych wniosków, z których oba są ujemne CF(wn. ) = CF_1(wn.) + CF_2(wn.) + CF_1(wn.) * CF_2(wn.) 7. Dla większej liczby reguł z jednakowymi wnioskami postępuje się podobnie. Wartość współczynnika pewności wyznacza się dla pierwszych dwóch a następnie dołącza się następne i wyznacza się CF dla otrzymanej pary

Zaawansowane systemy decyzyjne 53 140 W:III Regułowe systemy ekspertowe - 27 Cele i zasady wnioskowania elementarnego przybliżonego (WEP) Cele: 1. Wyznaczenie współczynników pewności wniosków wszystkich reguł dla początkowego zbioru CF przesłanek dopytywalnych, bazy wiedzy. Wnioskowanie realizowane metodą w przód 2. Wyznaczanie współczynnika pewności wybranego. wniosku hipotezy dla początkowego zbioru CF przesłanek dopytywalnych, bazy ( wiedzy. ) Wnioskowanie realizowane metodą wstecz. Zasady: 1. Wnioskowanie to nie korzysta z zasady Modus Pones 2. Korzysta ono z następujących DBD:. ü prbd(nr_reguły, fakt, CF_faktu) dla danej reguły, ü wyp_prbd(fakt, CF_faktu) dla wszystkich reguł.

Zaawansowane systemy decyzyjne 54 140 W:III Regułowe systemy ekspertowe - 28 Przykład wnioskowania elementarnego przybliżonego w przód: Dynamiczna baza danych wyp_prbd(fakt, CF) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (X,0.28) nowy fakt (X,0.28) Reguły: 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (X,0.37) nowy fakt (X,0.12) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (X,0.37) (Y,0.2) (U,0.24) nowy fakt (U,0.16)

Zaawansowane systemy decyzyjne 55 140 W:III Regułowe systemy ekspertowe - 29 Przykład wnioskowania elementarnego przybliżonego wstecz: Oceniana jest hipoteza U Dynamiczna baza danych wyp_prbd(fakt, CF) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) Jest (E,0.4) Brak (Y,CF_Y) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) tzn: należy znaleźć parę (U,CF_U) Brak U,CF_U Czy jest (E,CF_E) i (Y,CF_Y) Czy jest (X,CF_X) i (G,CF_G) Reguły: 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X Jest (G,0.2) Brak (X,CF_X) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (Y,0.2) (U,0.1) Jest (E,0.4) i (F,0.8) wiec jest (Y,0.2) więc jest (U,0.1) Wynik wypadkowy U,0.244 Czy jest (E,CF_E) i (F,CF_F) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (Y,0.2) (U,0.1) Jest (Y,0.2) więc j est (U,0.16) 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X Czy jest (Y,CF_Y)

Zaawansowane systemy decyzyjne 56 140 W:III Regułowe systemy ekspertowe - 30 Wnioskowanie rozwinięte przybliżone (WRP) Wstęp: 1. W bazach reguł mogą występować zanegowane warunki niedopytywalne, 2. Regułom przypisywane są współczynniki pewności, 3. Współczynniki pewności przypisuje się także wnioskom zanegowanym, Współczynniki pewności: Uzupełnienie do warunków zastosowanych przy wnioskowaniu elementarnym przybliżonym: 1. Jeśli wniosek reguły W ma współczynnik pewności CF(W), to wniosek zanegowany nw ma współczynnik pewności: CF(nW) = -CF(W) 2. WRP korzysta z następujących DBD: prbd(nr_reguły, fakt, CF_faktu), wyp_prbd(( fakt, CF_faktu; (n fakt, CF_nfaktu)),

Zaawansowane systemy decyzyjne 57 140 W:III Regułowe systemy ekspertowe - 31 Wnioskowanie rozwinięte przybliżone (WRP) Cele i zasady wnioskowania rozwiniętego przybliżonego (WEP) Cele: 1. Wyznaczenie współczynników pewności wszystkich reguł dla początkowego zbioru współczynników pewności warunków dopytywalnych oraz dla danej bazy wiedzy. Wnioskowanie w przód. 2. Wyznaczenie współczynników pewności wybranego wniosku ( hipotezy) lub negacji wniosku ( hipotezy negowanej ) dla początkowego zbioru współczynników pewności warunków dopytywalnych oraz dla danej bazy wiedzy. Wnioskowanie wstecz. Zasady: Wnioskowanie WEP nie korzysta z zasady Modus Pones. Opiera się na zasadach wnioskowania przy użyciu współczynników pewności.

Zaawansowane systemy decyzyjne 58 140 W:III Regułowe systemy ekspertowe - 32 Przykład wnioskowania rozwiniętego przybliżonego w przód: Dynamiczna baza danych wyp_prbd(fakt, CF) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (X,0.28) nowy fakt (X,0.28) Reguły: 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (X,0.37) nowy fakt (X,0.12) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (X,0.37) (Y,0.2) (U,0.24) nowy fakt (U,0.16)

Zaawansowane systemy decyzyjne 59 140 W:III Regułowe systemy ekspertowe - 33 Przykład wnioskowania elementarnego przybliżonego wstecz: Oceniana jest hipoteza U tzn: należy znaleźć parę (U,CF_U ) Dynamiczna baza danych wyp_prbd(fakt, CF) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) Jest (E,0.4) Brak (Y,CF_Y) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) Czy jest (E,CF_E) i (Y,CF_Y) Czy jest Brak U,CF_U (X,CF_X) i (G,CF_G) Reguły: 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X Jest (G,0.2) Brak (X,CF_X) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (Y,0.2) (U,0.1) Jest (E,0.4) i (F,0.8) wiec jest (Y,0.2) więc jest (U,0.1) Wynik wypadkowy U,0.244 Czy jest (E,CF_E) i (F,CF_F) (E,0.4) (F,0.8) (G,0.2) (H,0.7) (I,0.5) (Y,0.2) (U,0.1) Jest (Y,0.2) więc jest (U,0.16) 1. E i F,0.7 X 2. X i G, 1 Y 3. E i Y,0.5 U 4. Y,0.8 U 5. G i I,0.6 X Czy jest (Y,CF_Y)

Zaawansowane systemy decyzyjne 60 140 W:IV Podejmowanie decyzji. Struktura systemu (1) Schemat blokowy systemu podejmowania decyzji

Zaawansowane systemy decyzyjne 61 140 Typy wiedzy W:IV Inżynieria wiedzy - 1

Zaawansowane systemy decyzyjne 62 140 W:IV Inżynieria wiedzy - 2

Zaawansowane systemy decyzyjne 63 140 W:IV Inżynieria wiedzy - 3 1. Inżynier wiedzy tak jak każdy inżynier operujac materiałami i posługujac się odpowiednimi narzędziami buduje nowe wartości. 2. Jego materiałem jest wiedza, narzędziem - komputer, a wytworami - wiedza zapisana w postaci zrozumiałej dla komputera. 3. Inżynier wiedzy jest w stanie stworzyć bazy wiedzy, inteligentne systemy wyszukujace informację i wiele innych systemów, którymi można się posługiwać w Internecie albo, z których korzystaja firmy. Najczęściej nawet o tym nie wiedzac.

Zaawansowane systemy decyzyjne 64 140 W:IV Techniki pozyskiwania wiedzy - przeszukiwanie danych - 1 Budowa drzewa decyzyjnego - przykład Założenia: 1. trzy stany obiektu: C1 - stan normalny, C2 - uszkodzenie 1, C3 - uszkodzenie 2. 2. atrybuty [x 1, x 2, x 3 ], 3. wartości atrybutów, x 1 u, n, d, x 2 m, s, w, x 3 p, l.

Zaawansowane systemy decyzyjne 65 140 W:IV Techniki pozyskiwania wiedzy - przeszukiwanie danych - 2 Budowa drzewa decyzyjnego - przykład Założenia: Baza danych - x 1, x 2, x 3, stan: u, m, p, C 2, u, s, p, C 1, u, w, p, C 1, n, m, p, C 1, n, s, p, C 1, n, w, p, C 2, d, m, p, C 3, d, s, p, C 2, d, w, p, C 1, u, m, l, C 3, u, s, l, C 1, u, w, l, C 2, n, m, l, C 3, n, s, l, C 1, n, w, l, C 2, d, m, l, C 3, d, s, l, C 1, d, w, l, C 2,

Zaawansowane systemy decyzyjne 66 140 W:IV Techniki pozyskiwania wiedzy - przeszukiwanie danych - 3 Drzewo decyzyjne

Zaawansowane systemy decyzyjne 67 140 W:IV Techniki pozyskiwania wiedzy - Algorytm Quinlana - 1 Budowa zredukowanego drzewa decyzyjnego z danych W algorytmie każdy z obiektów, wchodzacych w skład danych, jest charakteryzowany zbiorem atrybutów. gdzie: O - zbiór obiektów, O = {O 1, O 2, O 3,, O m } (21) A = {A 1, A 2, A 3,, A n } (22) gdzie: A - zbiór atrybutów, każdy przyjmuje wartości ze zbioru skończonego.

Zaawansowane systemy decyzyjne 68 140 W:IV Techniki pozyskiwania wiedzy - Algorytm Quinlana - 2 Algorytm Quinlana składa się z 4 kroków: Obliczanie entropii zbioru n-elementowego, Obliczanie entropii atrybutu A k, Obliczanie przyrostu informacji wprowadzonego przez każdy atrybut, Budowa drzewa i wnioski.

Zaawansowane systemy decyzyjne 69 140 W:IV Techniki pozyskiwania wiedzy - Algorytm Quinlana - 3 Obliczanie entropii zbioru r-elementowego: Entropia - miara informacji zawarta w danych opisujacych obiekt, który może się znajdować w p stanach: Ent = r ( p i log 2 p i ) (23) i=1 gdzie: p i - prawdopodobieństwo, że obiekt jest w stanie s. Gdy entropia jest bardzo wysoka to oznacza, że w systemie zawarta jest prawie pełna informacja.

Zaawansowane systemy decyzyjne 70 140 W:IV Techniki pozyskiwania wiedzy - Algorytm Quinlana - 4 Obliczanie entropii atrybutu A k : Określenie ilości informacji zawartej w każdym z atrybutów występujacych w zbiorze danych: [ ] lw N Ent(O/A k ) = p(a k, j) (p(o i /a k,j ) log 2 p(o i /a k,j )) j=1 i=1 (24) gdzie: lw - liczba wartości atrybutu A k, N - liczba klas, k - liczba atrybutów, p(a k, j) - prawdopodobieństwo, że a k przyjmie wartość j, p(o i /a k,j ) - prawdopodobieństwo, że wystapi klasa o i, gdy a k = j.

Zaawansowane systemy decyzyjne 71 140 W:IV Techniki pozyskiwania wiedzy - Algorytm Quinlana - 5 Obliczanie przyrostu informacji wprowadzanego przez każdy atrybut Przyrost informacji atrybutu A k wyraża się wzorem: Budowa drzewa i wnioski Ent(A k ) = Ent Ent(O/A k ) (25) Budowę drzewa należy zaczynać od atrybutu wnoszacego największy przyrost entropii. Kolejnym atrybutem jest następny w rankingu przyrostu entropii.

Zaawansowane systemy decyzyjne 72 140 W:IV Algorytm Quinlana - przykład - 1 u, m, p, C 2, u, s, p, C 1, u, w, p, C 1, n, m, p, C 1, n, s, p, C 1, n, w, p, C 2, d, m, p, C 3, d, s, p, C 2, d, w, p, C 1, u, m, l, C 3, u, s, l, C 1, u, w, l, C 2, n, m, l, C 3, n, s, l, C 1, n, w, l, C 2, d, m, l, C 3, d, s, l, C 1, d, w, l, C 2, Obliczanie entropii zbioru 3-elementowego: Ent = 3 ( p i log 2 p i ) (26) i=1 Dla danych otrzymano: p(c 1 ) = 8 18 p(c 2 ) = 6 18 p(c 3 ) = 4 18 Ent = 8 18 log 2 8 18 6 18 log 2 6 18 4 18 log 2 4 18 = 1.5305 (27)

Zaawansowane systemy decyzyjne 73 140 W:IV Algorytm Quinlana - przykład - 2 u, m, p, C 2, u, s, p, C 1, u, w, p, C 1, n, m, p, C 1, n, s, p, C 1, n, w, p, C 2, d, m, p, C 3, d, s, p, C 2, d, w, p, C 1, u, m, l, C 3, u, s, l, C 1, u, w, l, C 2, n, m, l, C 3, n, s, l, C 1, n, w, l, C 2, d, m, l, C 3, d, s, l, C 1, d, w, l, C 2, Obliczanie entropii atrybutu A 1 : Dane: lw = 3, u, n, d, Prawdopodobieństwa wartości atrybutu: p(a 1, u) = 6 18, p(a 1, n) = 6 18, p(a 1, d) = 6 18. Prawdopodobieństwa wartości atrybutu przy danym stanie: p(c 1 /A 1, u) = 3 6, p(c 2/A 1, u) = 2 6, p(c 3/A 1, u) = 1 6 p(c 1 /A 1, n) = 3 6, p(c 2/A 1, n) = 2 6, p(c 3/A 1, n) = 1 6 p(c 1 /A 1, d) = 2 6, p(c 2/A 1, d) = 2 6, p(c 3/A 1, ) = 2 6 Ent(O/A 1 ) = 6 18 ( 3 6 log 2 3 6 2 6 log 2 2 6 1 6 log 2 1 6 )+ + 6 18 ( 3 6 log 2 3 6 2 6 log 2 2 6 1 6 log 2 1 6 )+ + 6 18 ( 2 6 log 2 2 6 2 6 log 2 2 6 2 6 log 2 2 6 ) = 1.5011

Zaawansowane systemy decyzyjne 74 140 W:IV Algorytm Quinlana - przykład - 3 Obliczanie entropii atrybutu A 2 : Ent(O/A 2 ) = 0.94 Obliczanie entropii atrybutu A 3 : Ent(O/A 3 ) = 1.468 Obliczanie przyrostu informacji wprowadzanego przez każdy atrybut Ent(A k ) = Ent Ent(O/A k ) (28) Przyrostu informacji wprowadzanego przez atrybut A 1 Ent(O/A 1 ) = 1.5305 1.5011 = 0.0294, Przyrostu informacji wprowadzanego przez atrybut A 2 Ent(O/A 2 ) = 1.5305 0.9400 = 0.5905, Przyrostu informacji wprowadzanego przez atrybut A 3 Ent(O/A 3 ) = 1.5305 1.4680 = 0.0622,

Zaawansowane systemy decyzyjne 75 140 W:IV Algorytm Quinlana - przykład - 4 Budowa drzewa i wnioski Budowę drzewa należy zaczynać od atrybutu wnoszacego największy przyrost entropii. Kolejnym atrybutem jest następny w rankingu przyrostu entropii.

Zaawansowane systemy decyzyjne 76 140 Drzewo decyzyjne W:IV Przeszukiwanie danych - przykład - 5

Zaawansowane systemy decyzyjne 77 140 W:IV Zbiory przybliżone w podejmowaniu decyzji - 1 Zbiory przybliżone - zbiory, zakładamy, że mamy pewne dane o uniwersum i dane te sa wykorzystywane przy tworzeniu zbiorów. Elementy o identycznych informacjach, sa nierozróżnialne i tworza tzw. zbiory elementarne. Suma dowolnych zbiorów elementarnych jest zbiorem definiowalnym. Zbiory, które nie sa definiowalne, sa nazywane zbiorami przybliżonymi. Dolne przybliżenie zbioru - to wszystkie elementy, które w świetle posiadanej wiedzy jednoznacznie należa do zbioru, Górne przybliżenie zbioru - to wszystkie elementy, które w świetle posiadanej wiedzy nie można wykluczyć z danego zbioru, Obszar brzegowy - brzeg - różnica między górnym a dolnym przybliżeniem,

Zaawansowane systemy decyzyjne 78 140 W:IV Zbiory przybliżone w podejmowaniu decyzji - 2 Teoria zbiorów przybliżonych w analizie problemów decyzyjnych pozwala na: analizę danych, w których występuje porzadek preferencyjny, a atrybuty pełnia rolę kryteriów oceny, ocenę ważności kryteriów, redukcję zbioru kryteriów, przetwarzanie informacji porzadkowej bez pośrednictwa jej reprezentacji numerycznej, generowanie reguł decyzyjnych lub drzew decyzyjnych, będacych modelem preferencji odkrytym z danych, wspomaganie decyzji wielokryterialnych dotyczacych klasyfikacji, wyboru lub porzadkowania badź wspomaganie decyzji w warunkach ryzyka i niepewności.

Zaawansowane systemy decyzyjne 79 140 W:IV Zbiory przybliżone w podejmowaniu decyzji - 3 Wnioskowanie indukcyjne a wiedza dziedzinowa (wychodzi się od pewnych faktow częściowych o badanej rzeczywistości, prowadzi do wniosków prawdopodobnych - możliwych): trzy kategorie wiedzy dziedzinowej majace wpływ na wzorce odkrywane z danych dziedziny atrybutów - wartości atrybutów maja sens dla ludzkiej percepcji (reguły asocjacyjne), podział atrybutów na warunkowe i decyzyjne - wzorce do zwiazków między wartościami tych atrybutów reguły, drzewa decyzyjne, porzadek preferencyjny w dziedzinie niektórych atrybutów i semantyczna korelacja między tymi atrybutami, narzucajaca na wzorce konieczność przestrzegania zasady dominacji(wspomaganie decyzji.

Zaawansowane systemy decyzyjne 80 140 W:IV Zbiory przybliżone w podejmowaniu decyzji - 4 Wnioskowanie dedukcyjne a indukcyjne wnioskowanie dedukcyjne, zastosowanie:matematyka, pełna teoria. wnioskowanie zawsze prawdziwe, weryfikacja hipotez - dowód. wnioskowanie indukcyjne, zastosowanie: nauki przyrodnicze, techniczne, częściowe teorie, wnioski prawdopodobne (możliwe), weryfikacja hipotez - eksperyment.

Zaawansowane systemy decyzyjne 81 140 W:IV Zbiory przybliżone w podejmowaniu decyzji - 5 dziedziny atrybutów: dziedziny atrybutów - wartości atrybutów maja sens dla ludzkiej percepcji, wzorce odkrywane tylko z oparciu o wiedzę dziedzinowa nazywaja się regułami asocjacyjnymi, reguły te pokazuja silne zwiazki między wartościami pewnych atrybutów bez dzielenia ich na warunkowe i decyzyjne (np. sieć semantyczna).

Zaawansowane systemy decyzyjne 82 140 W:IV Zbiory przybliżone w podejmowaniu decyzji - 5 podział atrybutów na warunkowe i decyzyjne: połaczenie wiedzy dziedzinowej z podziałem atrybutów na warunkowe i decyzyjne, rozpatruje się podział obiektów na klasy decyzyjne za pomoca atrybutów decyzyjnych, odkrywane wzorce maja postać reguł lub drzew decyzyjnych.

Zaawansowane systemy decyzyjne 83 140 W:IV Zbiory przybliżone w podejmowaniu decyzji - 6 porzadek preferencyjny w dziedzinie niektórych atrybutów: wskazane jest zastosowanie zasady dominacji w budowie systemów wspomagania decyzji, atrybuty z dziedzina uporzadkowan a według preferencji nazywane sa kryteriami, Semantyczna korelacja między dwoma kryteriami - oznacza, że polepszenie oceny obiektu na jednym kryterium nie powinno spowodować pogorszenia oceny na drugim kryterium, jeśli wartości pozostałych atrybutów i kryteriów sa niezmienione.

Zaawansowane systemy decyzyjne 84 140 W:IV Zbiory przybliżone w podejmowaniu decyzji - przykład Wstawianie ocen studentom: wyniki studentów opisujemy atrybutami: algebra (A), język obcy (JO) oraz ocena końcowa (K), dziedziny tych atrybutów: zadawalajaca, dobra, bardzo dobra, jest to wiedza dziedzinowa (i). atrybuty (A), (JO) sa warunkowe a atrybut (K) jest decyzyjny, jest to wiedza z podziałem na warunkowa i decyzyjna (ii). porzadek preferencyjny: ocena bardzo dobry jest lepsza od dobry itd., atrybyty (A) i (JO) sa semantycznie skorelowane z (K), jest to wiedza z preferencjami (iii).

Zaawansowane systemy decyzyjne 85 140 W:IV Zbiory przybliżone w podejmowaniu decyzji - zasada Pareto Semantyczna korelacja między dwoma kryteriami polepszenie oceny studenta z algebry (A) lub języka obcego (JO), przy niezmienionej dugiej ocenie nie powinno pogorszyć oceny końcowej (K) lecz ja polepszyć, semantyczna korelacja między kryteriami warunkowymi i decyzyjnymi wymaga aby: obiekt P dominujacy obiekt Q na wszystkich kryteriach warunkowych. również dominował obiekt Q na wszystkich kryteriach decyzyjnych. zasada ta zwana jest jako zasada dominacji lub zasada Pareto. jedyna obiektywna zasad wielokryterialnego porównywania obiektów.

Zaawansowane systemy decyzyjne 86 140 W:IV Zasada Pareto - przykład Oceny studentów wyindukowane z danych: reguła 1: jeżeli A=zadawalajaca i JO=zadawalajaca to K=dobra, reguła 2: jeżeli A=dobra i JO=zadawalajaca to K=zadawalajaca, nie spełniana jest zasada dominacji, profil warunkowy reguły 2 dominuje profil warunkowy reguły 1, profil decyzyjny reguły 2 jest zdominowany przez profil decyzyjny reguły 1, sa to reguły niespójne z zasada dominacji i błędne w świetle wiedzy preferowanej, w takich sytuacjach znajduje zastosowanie teoria zbiorów przybliżonych - stosyjemy wiedzę pewna (dolne przybliżenie) i możliwa (górne przybliżenie).

Zaawansowane systemy decyzyjne 87 140 W:IV Podejście zbiorów przybliżonych oparte na dominacji DRSA - ang. Dominance-based Rough Set Approach założenie: zbiór atrybutów decyzyjnych jest jednoelementowy D={d}, dokonuje on podziału obiektów U na skończona liczbę klas decyzyjnych Cl = Cl t, t = 1,..., n, Cl t = x U : x q = t, t = 1,..., n im wyższy numer klasy tym lepsza klasa, złożnia klas decyzyjnych: w górę: Cl t = Cl s ; t = 1,..., n, klasa co najmniej Cl t w dół: Cl t = własności: Cl 1 s t s t Cl s ; t = 1,..., n, klasa co najwyżej Cl t = U, Cl n = U, oraz dla t = 2,..., n mamy Cl t = U Cl t 1

Zaawansowane systemy decyzyjne 88 140 W:IV Podejście zbiorów przybliżonych oparte na dominacji Przynależność obiektów należenie obiektu do klasy Cl t z watpliwości a gdy dla danego zbioru kryteriów P C zaliczenie x U do Cl t ; t = 2,..., n jest niespójne z zasada dominacji, należenie obiektu do klasy Cl t bez watpliwości gdy dla danego zbioru kryteriów P C zaliczenie x U do Cl t ; t = 2,..., n nie ma niespójności z zasada dominacji obiekt x być może należy do Cl t poniższych sytuacji: zgodnie z decyzja d obiekt x należy do Cl t, przy P C, gdy zachodzi jedna z zgodnie z decyzja d obiekt x nie należy do Cl t lecz obiekt ten jest niespójny w sensie zasady dominacji z obiektem y należacym do Cl t.

Zaawansowane systemy decyzyjne 89 140 W:IV Podejście zbiorów przybliżonych oparte na dominacji Wiedza pewna, możliwa, watpliwa dla P C zbiór wszystkich obiektów należacych bez watpliwości do Cl t tworzy P-dolne przybliżenie złożenia klas Cl t, dla P C zbiór wszystkich obiektów być może należacych do Cl t P-górne przybliżenie złożenia klas Cl t, tworzy dla P C zbiór wszystkich obiektów należacych z watpliwości a do Cl t tworzy P-brzegi złożenia klas Cl t Z punktu widzenia odkrywania wiedzy z danych: P-dolne przybliżenia złożeń klas reprezentuja wiedzę pewna, P-górne przybliżenia złożeń klas reprezentuja wiedzę możliwa, P-brzegi złożeń klas reprezentuja wiedzę watpliw a.

Zaawansowane systemy decyzyjne 90 140 W:V Zbiory rozmyte i sieci neuro-rozmyte w systemach decyzyjnych

Zaawansowane systemy decyzyjne 91 140 W:V Zbiory rozmyte i sieci neuro-rozmyte w systemach decyzyjnych 1 Budowa modeli w rozmytej reprezentacji wiedzy Modele rozmyte pozwalaja na: wyliczanie wartości zmiennych procesowych (nadmiarowości mierzonych sygnałów), porównanie sygnałów mierzonych i obliczanych (nadmiarowość informacyjna). Rozmyta reprezentację wiedzy można stosować w realizacji różnych zadań postawionych przed systemem decyzyjnym: W etapie wstępnym spotyka się z rozmyta reprezentacja wartości zmiennych procesowych, co pozwala prowadzić proces decyzyjny z wykorzystaniem doradczych systemów ekspertowych, Bardzo ważnym i często realizowanym w oparciu o rozmyta reprezentację wiedzy, zadaniem jest generowanie ocen jakości decyzji,

Zaawansowane systemy decyzyjne 92 140 W:V Zbiory rozmyte i sieci neuro-rozmyte w systemach decyzyjnych 2 Zastosowanie logiki rozmytej w systemie decyzyjnym rozmyta reprezentacja wektora residuów u(t) Obiekt y(t) + - y(t) r(t) Klasyfikator f Model rozmyty klasyfikator rozmyta reprezentacja wektora uszkodzeñ rozmyta reprezentacja zmiennych procesowych rozmyty model

Zaawansowane systemy decyzyjne 93 140 W:V Zbiory rozmyte i sieci neuro-rozmyte w systemach decyzyjnych 3 Rozmyte sieci neuronowe w detekcji Połaczenie techniki modelowania rozmytego z metodami uczenia sieci neuronowych - Horikawa(1991). strukturę modelu (liczbę partycji, rozmieszczenie, kształt krzywych) określa ekspert, strojenie wag na podstawie danych pomiarowych i metod stosowanych w sieciach neuronowych. Ze względu na forme konkluzji wyróżnia się trzy typy sieci neuro-rozmytych: stała (singleton) - modele Mamdaniego, kombinacja liniowa wyjść - modele TSK (Takagi Sugeno Kanga), liczba rozmyta.

Zaawansowane systemy decyzyjne 94 140 W:V Zbiory rozmyte i sieci neuro-rozmyte w systemach decyzyjnych 4 Techniki modelowania rozmytego stosowane w detekcji. modele typu Wang a Mendel a (WM), rozmyte sieci neuronowe.

Zaawansowane systemy decyzyjne 95 140 W:V Zbiory rozmyte i sieci neuro-rozmyte w systemach decyzyjnych 5 Modele typu Wang a Mendel a (WM). MODEL ROZMYTY - BAZA REGU IF (x = A )... and... (x = A )... and... (x =A ) THEN (y=b ) 1 1i k ki n ni i x 1 x k x n BLOK ROZMYWANIA A k1 A k2 A k3 A k4 A ki OBLICZANIE ZAP ONU REGU w = (x ) i n k=1 i k k ( (x ) = max { (x )} i k j j k (x ) k k i BLOK WYOSTRZANIA B 1 B 2 B 3 B 4 GENERACJA RESIDUUM y y r = ( y - y ) ( y - y ) MAX MIN 100% COA r

Zaawansowane systemy decyzyjne 96 140 W:V Zbiory rozmyte i sieci neuro-rozmyte w systemach decyzyjnych 6 Sieci rozmyte z wyjściem w postaci singletonu. R i : Jeśli x 1 jest A 1,i i x 2 jest A 2,i i i x n jest A n,i TO y jest y i A k (x ) i k µ 1 1 x 1 1 µ 2 µ 1 n y 1 2 y B µ 2 1 y N x 2 µ 2 2 B/A y x n µ 2 n µ N 1 µ N 2 1 1 A 1 µ N n L1 L2 L3 L4

Zaawansowane systemy decyzyjne 97 140 W:V Rozmyta baza wiedzy. Optymalizacja bazy wiedzy: kompletność, sprzeczność, nadmiarowość

Zaawansowane systemy decyzyjne 98 140 W:V Baza wiedzy Wiedza definiowana jest jako znajomość zjawisk zachodzacych w środowisku, obiektach, zachowaniach ludzkich i zwierzęcych. Wiedza to także umiejętność opisu budowy, własności, parametrów obiektów z otoczenia człowieka i jego zakresu aktywności. Wiedza to także nabyte umiejętności zachowań, postępowania w aktywności codziennej oraz w sytuacjach wyjatkowych. Reprezentacja wiedzy w danym systemie informacyjnym jest ważnym, a zarazem trudnym problemem, który nie został jeszcze w pełni rozwiazany. Wiedzę można reprezentować w formie symbolicznej lub niesymbolicznej. Baza wiedzy to zbiór definicji, faktów, pojęć i relacji między nimi oraz reguł wnioskowania. Proces organizowania zebranej wiedzy wiaże się z wyborem odpowiedniej metody reprezentacji wiedzy oraz weryfikacji bazy wiedzy i mechanizmu wnioskowania.

Zaawansowane systemy decyzyjne 99 140 W:V Regułowa baza wiedzy reguªy wnioskowania - budowane sa w formie powiazań między grupa przesłanek i wynikajac a z nich grupa konkluzji. Przyjmuja postać: je»eli (w 1 i w 2 i i w n ) to (d 1 i d 2 i i d m ), gdzie: w 1, w 2,, w n oznaczaja warunki, które musza być spełnione aby uaktywnić regułę, d 1, d 2,, d m - konkluzje określajace działanie przy aktywnej regule. warunki Horna - wyrażenia w formie predykatów. Struktura zbliżona do generalnej postaci reguł wnioskowania z dodatkowymi restrykcjami, wynikajacymi z syntaktyki rachunku predykatów. Metoda ta była przyczynkiem do budowania niektórych języków programowania (Prolog).

Zaawansowane systemy decyzyjne 100 140 W:V Optymalizacja bazy wiedzy - kompletność Kompletność modelu rozmytego kompletność numeryczna, kompletność modelu rozmytego. Definicja 10 Model rozmyty jest kompletny jeżeli dla każdego stanu wejść x = (x 1,..., x n) przyporzadkowuje pewien stan wyjścia y. Model rozmyty nie spełnia zasady kompletności gdy istnieje choć jedna wartość wejścia x, dla której nie zdefiniowano żadnej wartości wyjścia y. Dla rozmytego modelu występuja również pojęcia kompletności podziału obszaru wejściowego oraz kompletności bazy reguł.

Zaawansowane systemy decyzyjne 101 140 W:V Optymalizacja bazy wiedzy - kompletność Definicja 11 Rozmyty podział zakresu zmiennej wejściowej x i jest kompletny wtedy gdy spełniona jest zależność: m µ Aji (x i ) > 0, dla x i X i, (29) j=1 gdzie: m oznacza ilość zbiorów rozmytych A ji przyjętych dla zmiennej X i. Definicja 12 Baza reguł rozmytego modelu jest lingwistycznie kompletna, jeżeli lingwistycznemu stanowi (A 1k, A 2l,..., A np ) przyporzadkowano co najmniej jeden lingwistyczny stan wyjścia B j.

Zaawansowane systemy decyzyjne 102 140 W:V Optymalizacja bazy wiedzy - kompletność Zwiazek między kompletnościa lingwistyczna a numeryczna. Lingwistycznie kompletna baza reguł może być numerycznie niekompletna jeśli rozmyty podział przestrzeni wejść jest niekompletny. D S y? Baza regu³ R1: jeœli (x=m) to (y=m) R2: jeœli (x=s) to (y=s) R3: jeœli (x=d) to (y=d) M (y) (x) 1 s m s d x x y m s d M S D 0 x zakres x

Zaawansowane systemy decyzyjne 103 140 W:V Optymalizacja bazy wiedzy - kompletność Zwiazek między kompletnościa lingwistyczna a numeryczna. Lingwistycznie niekompletna baza reguł może być numerycznie kompletna jeśli zastosowano funkcje przynależności o odpowiednio szerokich nośnikach. D S y Baza regu³ R1: jeœli (x=m) to (y=m) R3: jeœli (x=d) to (y=d) M (y) (x) 1 m s d x x y m s d M D 0 x brak regu³y zakres x

Zaawansowane systemy decyzyjne 104 140 W:V Optymalizacja bazy wiedzy - sprzeczność Definicja 13 Baza reguł jest niesprzeczna jeśli nie zawiera reguł sprzecznych, tzn. reguł o jednakowych przesłankach i różnych konkluzjach. W przypadku rozmytej regułowej reprezentacji wiedzy wyróżnia się różne poziomy sprzeczności reguł. silna sprzeczność reguł - występuje jeśli konkluzje sprzecznych reguł opisane sa za pomoca znacznie różniacych się wyjściowych zbiorów rozmytych, słaba sprzeczność reguł - obejmuje przypadki, gdy konkluzje opisane sa za pomoca zbiorów rozmytych o zbliżonej wartości modalnej (punkt lub zbiór punktów przestrzeni rozważań, które uzyskuja maksymalna wartość funkcji przynależności. Dla zbioru punktów wartość modalna wyznacza się jako wartość średnia).

Zaawansowane systemy decyzyjne 105 140 W:V Optymalizacja bazy wiedzy - sprzeczność silna sprzeczność reguł BD D S y uzyskana powierzchnia Baza regu³ R1: jeœli (x=m) to (y=m) R2: jeœli (x=m) to (y=bd) R3: jeœli (x=s) to (y=s) R4: jeœli (x=d) to (y=d) M (y) (x) 1 oczekiwana powierzchnia x m s d Legenda: M -ma³y S - œredni D - du y BD - bardzo du y 0 x zakres x

Zaawansowane systemy decyzyjne 106 140 W:V Optymalizacja bazy wiedzy - sprzeczność słaba sprzeczność reguł BD D S M (y) y (x) 1 uzyskana powierzchnia oczekiwana powierzchnia x m s d Baza regu³ R1: jeœli (x=m) to (y=m) R2: jeœli (x=s) to (y=s) R3: jeœli (x=s) to (y=d) R4: jeœli (x=d) to (y=bd) Legenda: M -ma³y S - œredni D - du y BD - bardzo du y 0 x zakres x

Zaawansowane systemy decyzyjne 107 140 W:V Optymalizacja bazy wiedzy - sprzeczność Definicja 14 Baza m reguł R j, jest zależność: j = 1,..., m, jest kompletna i niesprzeczna, gdy spełniona m µ j (x ) = 1, x X, (30) j=1 Jeżeli suma stopni spełnienia przesłanek reguł jest mniejsza od 1, to baza reguł dla stanu wejść x jest niekompletna. Jednakże jeśli ta suma jest większa od 1, to mamy do czynienia ze sprzecznościa w regułach.

Zaawansowane systemy decyzyjne 108 140 W:V Optymalizacja bazy wiedzy - nadmiarowość Nadmiarowość bazy reguł - występuje wtedy gdy w bazie występuje kilka a nawet kilkanaście reguł o takich samych przesłankach i konkluzjach. Taka sytuacja może wynikać z: pomyłki eksperta lub inżyniera wiedzy, wzmocnienia konkluzji nadmiarowych reguł wygenerowanych przez samouczacy się (samoorganizujacy się) model rozmyty. Dla nadmiarowości wynikajacej z: błędu człowieka - nadmiarowe reguły należy usunać, celowego wprowadzenia nadmiarowych reguł - należy przeanalizować ich funkcje i dokonać syntezy powstałej bazy w celu akumulacji efektów wzmacniania konkluzji.

Zaawansowane systemy decyzyjne 109 140 W:V Optymalizacja bazy wiedzy - nadmiarowość - przykład Rozpatrzmy dwie identyczne reguły R 2 i R 3 w postaci: R 2 : (Jesli (x = n) to (y = D)) R 3 : (Jesli (x = n) to (y = D)), które można zastapić jedna reguła R2 o zsumowanej logicznie konkluzji w postaci: R2 : (Jesli (x = n) to (y = D D). Efektywność wzmocnienia konkluzji reguły wypadkowej R 2 uzależniona jest od zastosowanego operatora s-normy: dla sumowania realizowanego za pomoca operatora MAX - zbiór wynikowy = D = D D = D. dla innego operatora - wartość konkluzji jest wzmocniona w stosunku zależnym od zastosowanego operatora.

Zaawansowane systemy decyzyjne 110 140 W:V Optymalizacja bazy wiedzy - podsumowanie Dla wiedzy w reprezentacji rozmytej: występuje większe prawdopodobieństwo uzyskania jej kompletności szczególnie dla złożonych procesów przemysłowych, dla których należy analizować szeroki zakres zmienności obserwowanych sygnałów, problem sprzeczności reguł, uzyskiwanych na drodze automatycznego wydobywania wiedzy z baz danych, przyjmuje łagodniejszy wymiar. W takim przypadku istnieje możliwość wyznaczenia reguły wypadkowej z odpowiednia wartościa poziomu przynależności, nadmiarowość bazy wiedzy może być eliminowana bazujac na odpowiednim operatorze t-normy. Niekiedy nadmiarowość pomaga we wzmocnieniu istotności danej reguły (wzrost wartości funkcji przynależności).

Zaawansowane systemy decyzyjne 111 140 W:VI Niesymboliczna reprezentacja wiedzy - Sieci neuronowe

Zaawansowane systemy decyzyjne 112 140 W:VI Globalne modele neuronowe 1 1. Z modelem globalnym - obiekt MIMO

Zaawansowane systemy decyzyjne 113 140 W:VI Lokalne modele neuronowe 2 2. Z modelami lokalnymi - obiekt MIMO

Zaawansowane systemy decyzyjne 114 140 W:VI Własności sieci neuronowych 5 Własności sztucznych sieci neuronowych uzasadniajace ich zastosowanie reprezentacji wiedzy: zdolność realizacji złożonych obliczeń przez równoległe przetwarzanie informacji, efektywna aproksymacja dowolnych nieliniowości, uczenie i douczanie sieci na podstawie obserwacji (pomiarów) sygnałów obiektu, wysoki stopień odporności na zakłócenia, możliwość pracy z wiedza niekompletna.

Zaawansowane systemy decyzyjne 115 140 W:VI Sieci neuronowe w modelowaniu 6 Stosowanie sztucznych sieci neuronowych w modelowaniu wiaże się z następujacymi działaniami: definicja stanów decyzyjnych, wyznaczanie typowych obrazów odpowiednich dla poszczególnych stanów decyzyjnych, wybór struktury sieci i algorytmu uczenia, uczenia sieci na bazie obrazów uczacych, testowanie sieci dla dowolnych stanów obiektu.

Zaawansowane systemy decyzyjne 116 140 W:VI SSN w systemach decyzyjnych 1 Struktury SSN stosowane w modelowaniu: perceptron wielowarstwowy, sieci rekurencyjne, sieci neuronów dynamicznych, sieci typu GMDH.

Zaawansowane systemy decyzyjne 117 140 W:VI SSN w systemach decyzyjnych 2 Perceptron wielowarstwowy {w k } 1,k 2 {k u H } 1 {k 1 } u 2 u 3 2 H k,k {w } H-1 H y 1 u m y n warstwa wejœciowa 1-sza warstwa ukryta H-ta warstwa ukryta warstwa wyjœciowa

Zaawansowane systemy decyzyjne 118 140 W:VI SSN w systemach decyzyjnych 3 Perceptron wielowarstwowy - uwagi prosta struktura i zasada przetwarzania, długi czas uczenia, problem z uzyskaniem dobrego modelu przy długich zależnościach czasowych między wejściem i wyjściem obiektu, potrzeba znajomości rzędu modelu - dla obiektów dynamicznych, wzrost ilości wejść dla obiektów dynamicznych wysokiego rzędu.

Zaawansowane systemy decyzyjne 119 140 W:VI SSN w systemach decyzyjnych 4 Perceptron wielowarstwowy dla obiektu dynamicznego uszkodzenia f zak³ócenia d u(k) OBIEKT y(k) LO u(k) u(k-m) MODEL Perceptron wielowarstwowy y (k) m LO y(k) y(k-n) Algorytm uczenia + - e

Zaawansowane systemy decyzyjne 120 140 W:VI SSN w systemach decyzyjnych 5 Własności perceptronu wielowarstwowego złożona struktura sieci, długi czas uczenia, problem uzyskania dobrego modelu przy długich zależnościach czasowych między wejściem i wyjściem, potrzeba znajomości rzędu modelu, wzrost ilości wejść przy wzroście rzędu dynamiki obiektu.

Zaawansowane systemy decyzyjne 121 140 W:VI SSN w systemach decyzyjnych 6 Ocena przydatności detektora perceptronowego Dalsze prace nad tym problemem jakości sieci typu perceptronowego prowadzono w kierunku budowy sieci adaptacyjnych, które w procesie decyzji realizuja również proces adaptacji wag do nowych warunków pracy. Ponadto opracowano nowe struktury sieci. Do bardziej znanych należy zaliczyć: sieci Kohonena, sieci dynamiczne Hopfielda, sieci typu RBF, sieci samoorganizujace.

Zaawansowane systemy decyzyjne 122 140 W:VI SSN w systemach decyzyjnych 7 Sieci rekurencyjne - Williams-Zipser (1989). z -1 z -1 1 y (k+1) 1 u (k) 1 z -1 z -1 M M+1 y (k+1) M u (k) N m

Zaawansowane systemy decyzyjne 123 140 W:VI SSN w systemach decyzyjnych 8 Sieci rekurencyjne - Williams-Zipser - uwagi. z najbardziej ogólna architektura, z dopuszczalne połaczenie każdego neuronu z innym, z nazywane sa sieciami czasu rzeczywistego, z umożliwiaja aproksymować szeroka klasę zależności dynamicznych, w długi czas uczenia, w problemy z utrzymaniem stabilności procesu uczenia.

Zaawansowane systemy decyzyjne 124 140 W:VI SSN w systemach decyzyjnych 9 Sieci rekurencyjne - Elmana (1990). kopia aktywacji neuronów ukrytych warstwa kontekstowa z -1 z -1 x (k) 1 y (k) 1 u (k) 1 u (k) m z -1 warstwa wejœciowa warstwa ukryta x (k) 2 x (k) n warstwa wyjœciowa y (k) n

Zaawansowane systemy decyzyjne 125 140 W:VI SSN w systemach decyzyjnych 10 Sieci rekurencyjne - Elmana - uwagi. z dodatkowa warstwa kontekstowa wykorzystana do przechowywania wyjścia warstwy ukrytej, opóźnia sygnał o jeden takt, z moga modelować dynamikę s-tego rzędu (s - liczba neuronów w warstwie ukrytej), w problem uczenia, w przy zastosowaniu metody uczenia BP występuja ograniczenia dla obiektów o dynamice wyższych rzędów.

Zaawansowane systemy decyzyjne 126 140 W:VI SSN w systemach decyzyjnych 11 Sieci rekurencyjne - Hopfielda. u (k) 1 u (k) 2 z -1 z -1 z -1 x (k) 1 x (k) 2 u (k) m warstwa wejœciowa -1 x (k) n

Zaawansowane systemy decyzyjne 127 140 W:VI SSN w systemach decyzyjnych 12 Sieci rekurencyjne ze sprzężeniami skrośnymi. u (k) 1 u (k) 2 y (k) 1 u (k) m warstwa wejœciowa warstwa ukryta (i) warstwa ukryta (j) warstwa wyjœciowa y (k) n

Zaawansowane systemy decyzyjne 128 140 W:VI SSN w systemach decyzyjnych 13 Sieci rekurencyjne ze sprzężeniami skrośnymi - uwagi. z kaskadowe połaczenie warstw daje zdolności aproksymacyjne, z sprzężenia skrośne daja własności dynamiczne, w duża złożoność struktury, w długi czas adaptacji parametrów.

Zaawansowane systemy decyzyjne 129 140 W:VI SSN w systemach decyzyjnych 14 Sieci neuronów dynamicznych. zbudowane na bazie sieci jednokierunkowych wielowarstwowych, bez sprzężeń zwrotnych, zaliczane do sieci lokalnie rekurencyjnych, stosuje się dynamiczny neuron uzyskany z klasycznego McCulloch a-pitts a poprzez jego modyfikacje za pomoca sprzężeń wewnętrznych. Rodzaje modeli z dynamicznymi neuronami. ze sprzężeniem aktywacyjnym - Frasconii i in. 1992, ze sprzężeniem w synapsie - Tsoi i Back, 1994, ze sprzężeniem wyjściowym, z neuronem z pamięcia, modele z filtrem IIR - Patan, Korbicz, 2000

Zaawansowane systemy decyzyjne 130 140 W:VI SSN w systemach decyzyjnych 15 Dynamiczne sieci neuronowe o charakterystykach nieliniowych Model Wiener Model Hammersteina u i w i -1 B(z ) -1 A(z ) y i w f(u i ) i y i y(k) = B(z 1 ) A(z 1 f(u(k)) (31) ) gdzie: y(k) -odpowiedź, u(k) - wymuszenie, f( ) - nieliniowa charakterystyka statyczna. Dominuja w nim nieliniowe własności elementu wykonawczego, np. zaworu, serwomotoru -1 B(z ) -1 A(z ) s i u i s i y i -1 f(s i ) [ B(z 1 ] ) y(k) = f A(z 1 ) u(k) A(z 1 ) = 1 + a 1 z 1 + + a n z n (32) B(z 1 ) = b 1 z 1 + + b m z m Model Wienera stosowany jest do opisu własności kolumny destylacyjnej, procesu neutralizacji ph, układów sterowania przepływu cieczy, systemów sterowania ekstremalnego i pieców rezystancyjnych.

Zaawansowane systemy decyzyjne 131 140 W:VI SSN w systemach decyzyjnych 16 Wyznaczanie residuum w układzie z modelem Hammersteina. Znane rozwiazania: model równoległy model szeregowo-równoległy u i System Hammersteina -1 w (z ) g(u ) i B y i i A -1 (z ) -1 B(z ) -1 A(z ) w f(u i ) i y i e i - Model nominalny r(k) = y(k) ŷ(k) (33) u i f(u ) i System Hammersteina -1 w (z ) g(u ) i B y i i A -1 (z ) w i Model nominalny -1 B(z ) -1-1 1 - A(z ) A(z ) - y i ŷ = [1 A(z 1 )]y(k) + B(z 1 )f(u(k)) r(k) = A(z 1 )y(k) B(z 1 )f(u(k)) e i (34)

Zaawansowane systemy decyzyjne 132 140 W:VII Hybrydowe systemy decyzyjne

Zaawansowane systemy decyzyjne 133 140 W:VII Hybrydowe systemy decyzyjne 1 Struktura systemu ekspertowego