PROJEKTOWANIE BAZ REGUŁ

Transkrypt

1 METODY HEURYSTYCZNE wkład 7 PROJEKTOWANIE AZ REGUŁ 2 Informacja niezbędna do zaprojektowania sterownika: numerczna (ilościowa) z czujników pomiarowch; lingwistczna (jakościowa) od eksperta. Stworzenie baz wiedz dla układu rozmtego zadanie nietrwialne... Siatka Indwidualne funkcje Siatki: proste i skuteczne; łączenie danch numercznch i nienumercznch poprzez uzupełnianie istniejącej baz reguł o nowe reguł (na podstawie danch uczącch); N k obszarów dla k wmiarów i N funkcji; często słaba aproksmacja. Funkcje indwidualne: dokładniejsze, lepsza aproksmacja, mniej funkcji; trudniejsze w implementacji. 3 4 Zadanie: Ustalenie reguł rozmtch tak, b sterownik generował właściwe sgnał wjściowe.. Określenie zakresu zm. danch WE [x i, x i+ ] i WY [ i, i+ ] 2. Podział zakresów na podobszar, np.: n = 2N+ M N,..., M, S, D,..., D N i przjęcie funkcji prznależności (np. trójkątnej) dla każdego z podobszarów. µ(x ) µ( ) µ(x ) M 2 M S D D 2 µ( ) M 3 M 2 M S D D 2 D 3 x x x + x 2 x + 2 x x x + x 2 x + 2 µ() µ() M 2 M S D D

2 3. Określenie stopnia prznależności każdego z sgnałów WE i WY do każdego z podobszarów. tu: StPrzn x do D =., do D 2 =.2, do innch = ; x ma największ StPrzn do D, do M Dla każdej par danch uczącch można napisać jedną regułę. µ(x ) M 2 M S D D 2 µ( ) M 3 M 2 M S D D 2 D 3 µ(x ) M 2 M S D D 2 µ( ) M 3 M 2 M S D D 2 D 3 x x x x + x 2 x + (2) x () () (2) 2 x x x x x + x 2 x + (2) () () (2) 2 µ() µ() M 2 M S D D 2 M 2 M S D D 2 () (2) + 7 () (2) + Np. dla reguł: IF (x is A AND is A 2 ) THEN is µ(x ) M 2 M S D D 2 µ( ) M 3 M 2 M S D D 2 D 3 Jeśli pewne reguł okazują się sprzeczne wbiera się regułę o największm stopniu prawdziwości. 5. Utworzenie baz reguł rozmtch na podstawie tablic: D 3 D 2 D S M S x x x + (2) x () x x 2 () (2) x + 2 µ() M 2 M S D D 2 () (2) + 9 Siatka: Regularna. Nieregularna: zagęść siatkę w miejscu największego błędu. Metoda mieszana: zacznij od regularnej siatki, przeprowadź adaptację parametrów. M 2 M 3 M 2 M S D D 2 x Sieci neuronowe: Możliwość uczenia, adaptacji i uogólniania. STEROWNIKI ROZMYTO NEURONOWE (SRN) Przetwarzanie równoległe o wsokiej moc oblicz. rak algortmu ustalania liczb warstw i liczb neuronów w nich dla konkretnch zastosowań. Wiedza zawarta w SSN jest rozproszona nieprzdatna dla obserwatora. Rozmte układ sterowania: Nie jest wmagana szczegółowa wiedza o procesie. Wiedza ma charakter jakościow a nie ilościow. rak możliwości adaptacji uczenia (wiedza o regułach pochodzi od eksperta); 2 2

3 Sterowniki rozmto neuronowe (SRN): Łączą najlepsze cech SR i SSN. Moc obliczeniowa i zdolność uczenia SSN połączone z sstemem rozumowania podobnm do ludzkiego (rozmtm); Wnioskowanie: SRN jako wielowarstwowe sieci feedforward Np. Sterownik Sugeno go rzędu Reguł: A A 2 2 w w 2 x 3 4 ANFIS (Adaptive NeuroFuzz Inference Sstem) Przkładowa realizacja: A w x A 2 Π w w 2 Σ Σw i i 2 a Π b w 2 2 Σ Σw i L L2 L3 L4 2 5 Warstwa L: Każd z elementów realizuje f. prznależności ZR A ik : i =, 2,.., liczba danch WE); k =, 2,.., liczba reguł. Na wejście podawane są dane WE, na wjściu wartości f. prznależności dla tch danch. Warstwa L ocenia stopień prznależności danch WE do odpowiednich zbiorów rozmtch. Parametr f. prznależności są modfikowane podczas uczenia. Liczba elementów liczba wszstkich zbiorów prznależności (liczba danchwe) (liczba_reguł) Warstwa L2: Jej konfiguracja odpowiada bazie reguł a element mnożące blokowi wnioskowania, Na wjściu wnik wnioskowania w postaci wartości funkcji prznależności. Liczba elementów warstw liczba reguł. Zalet SRN w porównaniu z SSN Warstwa i jej element, konfiguracja połączeń oraz wagi mają swoją fizczną interpretację; Wiedza nie jest rozproszona i może bć łatwo z sieci wodrębniona i analizowana przez jej obserwatora. Warstw L3 i L4: Realizacja bloku wostrzania. Wagi interpretuje się jako środki f. prznależności zbiorów rozmtch z wjścia bloku L2. Wagi modfikowane są w procesie uczenia. Wjście L4 nierozmta wartość WY sterownika. Uczenie: Propagacja wsteczna: korekta parametrów sterownika dla danch uczącch, b minimalizować błąd na wjściu. 3

4 POŁĄCZENIE AE I SSN:. Wspomagające (metod stosowane kolejno); 2. Współdziałające (metod stosowane jednocześnie). Ad.. (Połączenia wspomagające) SSN do wspomagania AE (rzadziej). Zastosowanie: sstem hbrdow do rozwiązania problemu połączeń drogowch: SSN utworzenie populacji pocz. AE procedura optmalizacjna ZADANIE SSN DANE (np. populacja pocz.) AE ROZWIĄZANIE AE do wspomagania SSN (częściej). a) AE do przgotowania danch dla SSN; b) AE do wboru reguł uczenia lub parametrów sterującch uczeniem SSN; c) AE do analiz SSN budowa narzędzi do wjaśnienia działania SSN. ZADANIE AE DANE (np. wagi początkowe) SSN ROZWIĄZANIE 9 2 Ad. 2. (Połączenia współdziałające ) AE do uczenia SSN Optmalizacja wag w sieci o ustalonej topologii (prz problemach z liczeniem pochodnch). AE do określania topologii SSN Optmalizacja architektur SSN poszukiwanie architektur, która działa najlepiej dla danego zadania prz zadanm krterium optmalności. Sstem łączące adaptacjne strategie SSN i AE. SSN do zadań optmalizacji i jednocześnie AE do ustawiania wag sieci. 2. SSN realizuje operacje genetczne (reprodukcja i krzżowanie). 2 DATA MINING (drążenie/eksploracja danch) Poszukiwanie zależności w dużch zbiorach danch i tworzenie modeli (np. biznesowch) z danch, np: Czm charakterzują się kierowc powodującch wpadki ze skutkiem śmiertelnm? Jakie kosmetki są najczęściej kupowane przez kobiet w wieku lat 34? Jakie jest prawdopodobieństwo niespłacenia kredtu przez klienta banku? Którz abonenci zrezgnują w najbliższm czasie z usług telekomunikacjnch? 22 Etap: Znalezienie naturalnch podziałów danch (grupowanie); Porządkowanie grup w segment; Tworzenie modeli zdolnch do działania (np. prognozowania) w oparciu o nowe dane. Wniki w formie: reguł logicznch IF...THEN; drzew deczjnch; sieci neuronowch. 23 SYSTEMY EKSPERTOWE Komputerowe program wspomagające deczje lub zastępujące eksperta w danej dziedzinie. Dwa zasadnicze element: aza wiedz będąca plikiem tekstowm. Sstem wnioskując będąc plikiem wkonwalnm. Dlaczego? Wiedza eksperta jest zasobem rzadkim i drogim. SE pozwalają większemu gronu ludzi działać jako ekspert (np. szkolenia). Połączenie wiedz kilku ekspertów może spowodować, że SE działa lepiej niż pojedncz ekspert. 24 4

5 Przkładowe obszar zastosowań SE: diagnozowanie chorób; poszukiwanie złóż minerałów; identfikacja struktur molekularnch; udzielanie porad prawniczch; diagnostka techniczna; dokonwanie wcen i kalkulacji kosztów napraw pojazdów przez firm ubezpieczeniowe Prolog klasczn jęzk do tworzeniu SE. Obecnie użwa się gotowch szkieletów SE (szkielet to gotow sstem ekspertow pozbawion wiedz). Najpopularniejsze, bezpłatne szkielet SE: CLIPS, JESS, MANDARAX SZKIELET SYSTEMU składniki: Interfejs użtkownika. Komunikacja z sstemem to zwkle zadawanie ptań, udzielanie informacji sstemowi i odbieranie od sstemu odpowiedzi i wjaśnień. Edtor baz wiedz. Umożliwia modfikację wiedz zawartej w sstemie, co pozwala na rozbudowę sstemu. Mechanizm wnioskowania. Najważniejsz składnik sstemu ekspertowego. Jego zadaniem jest wciąganie wniosków z przesłanek i ptań wprowadzanch przez użtkownika i generowanie odpowiedzi. AZA WIEDZY: Drugi pod względem ważności składnik sstemu. W bazie wiedz zawarta jest wekstrahowana od ludzkich ekspertów wiedza dotcząca określonej dziedzin. Wiedza ta zwkle zapisana jest za pomocą wbranego sposobu reprezentacji wiedz, na przkład za pomocą reguł lub ram. Mechanizm wjaśniając. Umożliwia wjaśnienie na żczenie użtkownika, dlaczego sstem udzielił takiej, a nie innej odpowiedzi, lub dlaczego sstem zadał użtkownikowi określone ptanie AZA DANYCH ZMIENNYCH: SYSTEMY WIELOAGENTOWE Pomocnicza baza danch, w której przechowwane są wnioski uzskane przez sstem podczas jego działania. aza ta umożliwia odtworzenie sposobu wnioskowania sstemu i przedstawienie go użtkownikowi za pomocą mechanizmu wjaśniającego. Ekstrakcją wiedz od ekspertów zajmują się na ogół inżnierowie wiedz. Jest to zwkle długi i żmudn proces, ponieważ wiedza stosowana przez ludzkich ekspertów jest zwkle wiedzą praktczną i intuicjną. 29 Program komputerowe próbujące smulować różnorodne złożone zjawiska za pomocą wirtualnch agentów (np. reprezentującch element sstemu biznesowego). zachowania agentów proste reguł. interakcja poszczególnch agentów smulacja zachowania zbiorowego i jego wpłwu na cał sstem; uruchomione modele realistcznie obrazują dan proces. 3 5

6 SW to: źródło informacji na temat dnamiki naśladowanch sstemów rzeczwistch. strategiczne narzędzia dla analiz whatif (Komputer niekied generuje strategie, którch użtkownik nigd b nie rozważł). Często stosowane do rozwiązwania problemów o charakterze rozproszonm lub złożonch obliczeniowo, np.: wszukiwanie informacji w sieci; zarządzanie sieciami telekomunikacjnmi; smulacja rnku; wspomaganie zarządzania w przedsiębiorstwie; kontrola ruchu lotniczego. 3 PROGRAMO WANIE GENETYCZNE 32 program, które powstają samocznnie... Automatczne generowanie tekstów programów, jeśli znane są krteria ocen prawidłowości działania. Jęzk bazow LISP (program jest reprezentowan w identczn sposób jak dane w postaci drzewa). Operator genetczne: uwzględnienie specfiki metod kodowania i umożliwienie modfikacji: wartości w węzłach drzewa; struktur drzewa. Kodowanie w postaci łańcucha binarnego zastąpiono drzewiastm. W węzłach mogą znajdować się: smbole pewnego alfabetu; wartości liczbowe dskretne i ciągłe; stałe, zmienne lub funkcje. 33 Obecnie: programowanie genetczne często do określenia wszelkich algortmów wkorzstującch drzewiastą reprezentację zadania i modfikującch strukturę tej reprezentacji. 34 Kodowanie drzewiaste: Chromosom jest kodowan jako drzewo, składające się z węzłów i krawędzi. Informacja jest zawarta w węzłach, zaś krawędzie określają wzajemne relacje pomiędz węzłami. Jeśli krawędź jest skierowana od węzła A do, to A jest nazwan nadrzędnm, podrzędnm. Węzł: terminalne (nie posiadają węzłów podrzędnch); pośrednie (nieterminalne). Istnieje dokładnie jeden węzeł, nie posiadając nadrzędnego korzeń drzewa. 35 Przkład Funkcja obliczająca pierwiastki rzeczwiste równania kwadratowego: setq delta b b 4 a c 36 6

7 Krzżowanie: + sin + sin Jest wkonwane dla par osobników rodzicielskich i prowadzi do powstania par osobników potomnch. x 32 x 2 x Z każdego z osobników rodzicielskich wodrębnian jest losowo wbran węzeł pośredni (wraz ze swoim poddrzewem) lub terminaln. / 2 / Chromosom potomne powstają w wniku zamian powstałch poddrzew. sin 2 x sin Mutacja wariant: Mutacja wariant: Zmiana zawartości węzła terminalnego: Zamiana korzenia poddrzewa na węzeł terminaln: + x + 4 x 3 Zamiana węzła terminalnego na korzeń losowego wgenerowanego poddrzewa: Zamiana poddrzewa na inne: + x + + x x sin 39 3 x 4 Mutacja wariant: Reorganizacja poddrzew: sin 3 x cos cos sin 3 x SYSTEMY (ALGORYTMY) MRÓWKOWE

8 Mrówki są praktcznie ślepe, lecz potrafią znaleźć najkrótszą drogę do pożwienia i z powrotem. Ich obserwacja bła inspiracją do powstania (Dorigo, 996) nowego tpu algortmów zwanch mrówkowmi (ant algorithms, ant sstems) Zastosowania zad. optmalizacji kombinatorcznej: problem komiwojażera; harmonogramowanie wznaczanie tras w sieciach telekomunikacjnch; wznaczanie optmalnch tras w ruchu miejskim. 43 F food source N nest 44 Sstem bazujące na inteligencji masowej populacja mrówek (podobnie jak w AE). Każda mrówka w populacji poszukuje rozwiązania (najkrótszej drogi). Pozostawianie feromonu na trasie. Wbór tras na podstawie ilości feromonu Wielokrotne powtarzanie: trasa optmalna. 45 E F D A.5.5 C Czas (t) jest dskretn; W każdej jednostce czasu każda mrówka przemieszcza się o d = pozostawiając jednostkę feromonu. W chwili t = brak feromonu na wszstkich krawędziach. Znaleźć najkrótszą drogę międz A i F E 6 F z F do A t = D.5.5 C E t = F 6 6 D C E 6 F t = 2 t = 2 D.5.5 C E 6 F 6 D C z A do F 6 A 6 A 47 6 A 6 A 4

9 Proste podążanie ścieżką z największą ilością feromonu szbkie utknięcie w optimum lokalnm. Potrzebna jest eksploracja ścieżek mrówki wbierają ścieżki z prawdopodobieństwem proporcjonalnm do intenswności śladu feromonowego na niej. To, że mrówka wbierze daną ścieżkę zależ zarówno od intenswności feromonu jak również np. odległości od następnego miasta (TSP). W celu zapewnienia braku nieograniczonego wzrostu ilości feromonu parowanie feromonu. 49 ALGORYTMY IMMUNO LOGICZNE 5 NATURALNY SYSTEM IMMUNOLOGICZNY: Może bć przedstawion w postaci warstwowej: Jego zadaniem jest ochrona żwego organizmu przed działaniem obcch struktur mającch charakter chorobotwórcze (patogen), jak wirus, bakterie, grzb cz niewłaściwie funkcjonujące komórki. Wszstkie te struktur, które wwołują reakcję immunologiczną, nazwane są antgenami. ardzo ogólnie: rozpoznawanie antgenów na zasadzie swójobc i eliminowanie tch drugich.. Skóra podstawowa bariera ochronna. 2. Warstwa fizjologiczna (temperatura, ph) stwarza warunki niekorzstne dla rozwoju obcch organizmów. 3. Odporność wrodzona (nieswoista) 4. Odporność adaptacjna (swoista) 5 rozpoznawanie i eliminacja antgenów przez odpowiednie komórki 52 Limfoct komórki, będące głównmi składowmi adaptacjnego sstemu immunologicznego. Limfoct (głównie tpów T i ) w wielkich ilościach krążą w płnach ustrojowch sstem immunologiczn jest sstemem zdecentralizowanm a wszstkie jego komórki mogą się dowolnie przemieszczać. Limfoct rozpoznają napotkane antgen i pomagają je eliminować, prz czm mogą ze sobą lokalnie współpracować. Limfoct tpu produkcja przeciwciał rozpoznającch antgen. Limfoct tpu T rozpoznawanie swójobc. Duże zróżnicowanie limfoctów: pozwala na rozpoznawanie wielu różnch antgenów; pierwotnie zbt mała liczba komórek rozpoznającch antgen b go zwalczć

10 SZTUCZNY SYSTEM IMMUNOLOGICZNY (Artificial Immune Sstem, AIS) Zbiór metod obliczeniowch inspirowanch zasadami działania układów odpornościowch kręgowców. Tlko niektóre element naturalnch układów są brane pod uwagę, tpowo: mutacja limfoctów, proliferacja, komórki pamięci, rozpoznawanie antgenów z użciem limfoctów i T. Niektóre zastosowania: optmalizacja (patogen reprezentuje optimum globalne, szukane jest najlepiej dopasowane przeciwciało); zagadnienia zw. z bezpieczeństwem sieciowm (np. NIDS network intrusion detection sstem) uczenie masznowe; sstem agentowe. 55 AIS POJĘCIA: Komórka macierzsta wzorzec akceptowan w sstemie; Przeciwciało obiekt rozpoznając obiekt nie będące komórkami macierzstm (wzorce niepożądane). Antgen obiekt rozpoznawan i uaktwniając przeciwciała. Komórka pamięciowa przechowuje informacje o rozpoznanm antgenie; prz kolejnm ataku antgenu zostaje on dużo szbciej rozpoznan. Proliferacja namnażanie się komórek. Hipermutacje mutacje, którch częstotliwość jest prznajmniej o jeden rząd wielkości większa, niż innch mutacji w organizmie (zwkle jeszcze częściej). 56 PODSTAWOWE MECHANIZMY: Selekcja klonalna (limfoct ) Cel namnożenie odpowiednich przeciwciał, biorącch udział w zwalczaniu danego antgenu. Uaktwnione limfoct dzielą się produkując wiele klonów, które następnie przechodzą hipermutację b wtworzć lepiej dopasowane przeciwciała. Ocenian stopień dopasowania każdego klonu do antgenu. Słabo dopasowane usuwane, dobrze dopasowane pozostają. Selekcja negatwna (limfoct T) Cel utworzenie zbioru przeciwciał detektorów, które nie są uaktwniane przez komórki macierzste. W procesie tm limfoctom T pokazwane są komórki własne. Jeśli dan limfoct rozpozna którąś z nich, jest on usuwan. Nie podlegają mutacji Przkład: AIS autorstwa Wacława Kusia.Losowe wgenerowanie komórek pamięciowch. 2. Komórki pamięciowe proliferują i mutują tworząc limfoct (liczba klonów zależ od przstosowania). 3.Obliczenie wartości przstosowania dla limfoctów. 4.Selekcja na podstawie odległości międz każdą komórką pamięciową a limfoctami. 5. Mechanizm zatłoczenia usuwa podobne komórki pamięci. 6.Procedura jest powtarzana do spełnienia warunku zakończenia (np. liczba iteracji). 59 ALGORYTMY IMMUNOGENETYCZNE Są połączeniem mechanizmów genetcznch (ewolucjnch) i immunologicznch; AIS i AE mają wiele cech wspólnch, np. działanie na populacji osobników, stosowanie mechanizmów selekcji. W algortmach immunogenetcznch stosowane są operator krzżowania, mutacji i selekcji (jak AE) prz zachowaniu populacji antgenów i przeciwciał (jak AIS). Często: AE do generowania populacji przeciwciał, b poddać je immunologicznej selekcji negatwnej. Funkcja przstosowania zwkle miar bazujące na stopniu dopasowania przeciwciała do antgenu (jak w AIS). 6