METODY HEURYSTYCZNE wkład 7 PROJEKTOWANIE AZ REGUŁ Stworzenie baz wiedz dla układu rozmtego zadanie nietrwialne... Siatka Indwidualne funkcje Informacja niezbędna do zaprojektowania sterownika: numerczna (ilościowa) z czujników w pomiarowch; lingwistczna (jakościowa) od eksperta. Siatki: proste i skuteczne; łączenie danch numercznch i nienumercznch poprzez uzupełnianie istniejącej baz reguł o nowe reguł ( (na na podstawie danch uczącch cch); N k obszarów w dla k wmiarów w i N funkcji; często słaba aproksmacja. Funkcje indwidualne: dokładniejsze, lepsza aproksmacja, mniej funkcji; trudniejsze w implementacji. 3 4 Zadanie: Ustalenie reguł rozmtch tak, b sterownik generował właściwe sgnał wjściowe ciowe.. Określenie zakresu zm. danch WE [x i, x + i ] i WY [ i, + i ]. Podział zakresów w na podobszar, np.: n = N+ M N,..., M, S, D,..., D N i przjęcie funkcji prznależno ności (np( np.. trójk jkątnej) dla każdego z podobszarów. μ(x ) μ( ) μ(x ) M M S D D μ( ) M 3 M M S D D D 3 x x x + x x + x x x + x x + μ() μ() M M S D D + 5 + 6
3. Określenie stopnia prznależno ności każdego z sgnałów WE i WY do każdego z podobszarów. tu: StPrzn x do D =.,, do D =.,, do innch = ; x ma największ StPrzn do D, do M Dla każdej par danch uczącch cch można napisać jedną regułę łę. μ(x ) M M S D D μ( ) M 3 M M S D D D 3 μ(x ) M M S D D μ( ) M 3 M M S D D D 3 x x x x + x x + () x () () () x x x x x + x x + () () () () μ() μ() M M S D D M M S D D () () + 7 () () + Np. dla reguł: IF (x is A AND is A ) THEN is () ( ) () ( ) μs μs μd SP R = μ ( x ) μ ( x ) μ ( ) =..6.9 =.43 D M S SP R = ( x ) ( x ) ( ) =.7.7 =.49 μ(x ) M M S D D μ( ) M 3 M M S D D D 3 Jeśli pewne reguł okazują się sprzeczne wbiera się regułę o największm stopniu prawdziwości ci. 5. Utworzenie baz reguł rozmtch na podstawie tablic: R () : IF ( x is D AND x is M ) THEN is S D 3 D D S M S x x x + () x () x x () () x + μ() M M S D D () () + 9 Siatka: Regularna. Nieregularna:: zagęść siatkę w miejscu największego błęb łędu. Metoda mieszana: : zacznij od regularnej siatki, przeprowadź adaptację parametrów. M M 3 M M S D D x Sieci neuronowe: Możliwość uczenia, adaptacji i uogólniania. STEROWNIKI ROZMYTO NEURONOWE (SRN) Przetwarzanie równoległe o wsokiej moc oblicz. rak algortmu ustalania liczb warstw i liczb neuronów w nich dla konkretnch zastosowań. Wiedza zawarta w SSN jest rozproszona nieprzdatna dla obserwatora. Rozmte układ sterowania: Nie jest wmagana szczegółowa wiedza o procesie. Wiedza ma charakter jakościow a nie ilościow. rak możliwości adaptacji uczenia (wiedza o regułach pochodzi od eksperta);
Sterowniki rozmto neuronowe (SRN): Łączą najlepsze cech SR i SSN. Moc obliczeniowa i zdolność uczenia SSN połączone z sstemem rozumowania podobnm do ludzkiego (rozmtm); R () : IF ( x is A AND x is ) THEN is p x + q x + r Wnioskowanie: R () : IF ( x is A AND x is ) THEN is px+ qx + r SRN jako wielowarstwowe sieci feedforward Np. Sterownik Sugeno go rzędu Reguł: A A w w = p x+ q x + r = p x + q x + r R () : IF ( x is A AND x is ) THEN is px + qx + r R () : IF ( x is A AND x is ) THEN is px+ qx + r 3 x w + w = w + w 4 ANFIS (Adaptive NeuroFuzz Inference Sstem) Przkładowa realizacja: w + w = w + w A w x A Π w w Σ Σw i i a Π b w Σ Σw i L L L3 L4 R () : IF ( x is A AND x is ) THEN is px + qx + r R () : IF ( x is A AND x is ) THEN is p x + q x + r 5 Warstwa L: Każd z elementów w realizuje f. prznależno ności ZR A k i : i =,,.., liczba danch WE); k =,,.., liczba reguł. Na wejście podawane sąs dane WE, na wjściu war tości f. prznależno ności dla tch danch. Warstwa L ocenia stopień prznależno ności danch WE do odpowiednich zbiorów w rozmtch. Parametr f. prznależno ności sąs modfikowane podczas uczenia. Liczba elementów liczba wszstkich zbiorów prznależno ności (liczba danchwe) (liczba_regu (liczba_reguł) Warstwa L: Jej konfiguracja odpowiada bazie reguł a element mnożą żące blokowi wnioskowania, Na wjściu wnik wnioskowania w postaci wartości funkcji prznależno ności. Liczba elementów w warstw liczba reguł. Zalet SRN w porównaniu z SSN Warstwa i jej element, konfiguracja połączeń oraz wagi mają swoją fizczną interpretację; Wiedza nie jest rozproszona i może bć łatwo z sieci wodrębniona i analizowana przez jej obserwatora. Warstw L3 i L4: Realizacja bloku wostrzania. Wagi interpretuje się jako środki f. prznależno ności zbiorów w rozmtch z wjścia bloku L. Wagi modfikowane sąs w procesie uczenia. Wjście L4 nierozmta wartość WY sterownika. Uczenie: Propagacja wsteczna: korekta parametrów sterownika dla danch uczącch, b minimalizować błąd na wjściu.
POŁĄCZENIE AE I SSN:. Wspomagające (metod stosowane kolejno);. Współdziałające (metod stosowane jednocześnie). Ad.. (Połączenia wspomagające) SSN do wspomagania AE (rzadziej). Zastosowanie: sstem hbrdow do rozwiązania problemu połączeń drogowch: SSN utworzenie populacji pocz. AE procedura optmalizacjna ZADANIE SSN DANE (np. populacja pocz.) AE ROZWIĄZANIE AE do wspomagania SSN (częściej). a) AE do przgotowania danch dla SSN; b) AE do wboru reguł uczenia lub parametrów sterującch uczeniem SSN; c) AE do analiz SSN budowa narzędzi do wjaśnienia działania SSN. ZADANIE AE SSN DANE (np. wagi początkowe) ROZWIĄZANIE 9 Ad.. (Połączenia współdziałające ) AE do uczenia SSN Optmalizacja wag w sieci o ustalonej topologii (prz problemach z liczeniem pochodnch). AE do określania topologii SSN Optmalizacja architektur SSN poszukiwanie architektur, która działa najlepiej dla danego zadania prz zadanm krterium optmalności. Sstem łączące adaptacjne strategie SSN i AE. SSN do zadań optmalizacji i jednocześnie AE do ustawiania wag sieci.. SSN realizuje operacje genetczne (reprodukcja i krzżowanie). DATA MINING (drąż ążenie/eksploracja danch) Poszukiwanie zależności w dużch zbiorach danch i tworzenie modeli (np. biznesowch) z danch, np: Czm charakterzują się kierowc powodującch wpadki ze skutkiem śmiertelnm? Jakie kosmetki są najczęściej kupowane przez kobiet w wieku lat 34? Jakie jest prawdopodobieństwo niespłacenia kredtu przez klienta banku? Którz abonenci zrezgnują w najbliższm czasie z usług telekomunikacjnch? Etap: Znalezienie naturalnch podziałów danch (grupowanie); Porządkowanie grup w segment; Tworzenie modeli zdolnch do działania (np. prognozowania) w oparciu o nowe dane. Wniki w formie: reguł logicznch IF...THEN; drzew deczjnch; sieci neuronowch. 3 SYSTEMY EKSPERTOWE Komputerowe program wspomagające deczje lub zastępuj pujące eksperta w danej dziedzinie. Dwa zasadnicze element: aza wiedz będąca b plikiem tekstowm. Sstem wnioskując będąc b plikiem wkonwalnm. Dlaczego? Wiedza eksperta jest zasobem rzadkim i drogim. SE pozwalają większemu gronu ludzi działać jako ekspert (np.. szkolenia). Połą łączenie wiedz kilku ekspertów w może e spowodować, że e SE działa a lepiej niż pojedncz ekspert. 4
Przkładowe obszar zastosowań SE: diagnozowanie chorób; poszukiwanie złóż minerałów; identfikacja struktur molekularnch; udzielanie porad prawniczch; diagnostka techniczna; dokonwanie wcen i kalkulacji kosztów napraw pojazdów przez firm ubezpieczeniowe Prolog klasczn jęzk do tworzeniu SE. Obecnie użwa się gotowch szkieletów SE (szkielet to gotow sstem ekspertow pozbawion wiedz). Najpopularniejsze, bezpłatne szkielet SE: CLIPS, JESS, MANDARAX 5 6 SZKIELET SYSTEMU składniki: Interfejs użtkownikau tkownika.. Komunikacja z sstemem to zwkle zadawanie ptań,, udzielanie informacji sstemowi i odbieranie od sstemu odpowiedzi i wjaśnie nień. Edtor baz wiedz.. Umożliwia modfikację wiedz zawartej w sstemie, co pozwala na rozbudowę sstemu. Mechanizm wnioskowania.. Najważniejsz składnik sstemu ekspertowego. Jego zadaniem jest wciąganie wniosków w z przesłanek i ptań wprowadzanch przez użtkownika i generowanie odpowiedzi. Mechanizm wjaśniaj niając.. Umożliwia wjaśnienie na żczenie użtkownika, u dlaczego sstem udzielił takiej, a nie innej odpowiedzi, lub dlaczego sstem zadał użtkownikowi określone ptanie. 7 AZA WIEDZY: Drugi pod względem ważno ności składnik sstemu. W bazie wiedz zawarta jest wekstrahowana od ludzkich ekspertów w wiedza dotcząca ca określonej dziedzin. Wiedza ta zwkle zapisana jest za pomocą wbranego sposobu reprezentacji wiedz, na przkład za pomocą reguł lub ram. AZA DANYCH ZMIENNYCH: SYSTEMY WIELOAGENTOWE Pomocnicza baza danch, w której przechowwane sąs wnioski uzskane przez sstem podczas jego działania. ania. aza ta umożliwia odtworzenie sposobu wnioskowania sstemu i przedstawienie go użtkownikowi u za pomocą mechanizmu wjaśniaj niającego. Ekstrakcją wiedz od ekspertów w zajmują się na ogół inżnierowie wiedz. Jest to zwkle długi d i żmudn proces, ponieważ wiedza stosowana przez ludzkich ekspertów w jest zwkle wiedzą praktczną i intuicjną. 9 Program komputerowe próbujące smulować różnorodne złożone zjawiska za pomocą wirtualnch agentów (np. reprezentującch element sstemu biznesowego). zachowania agentów proste reguł. interakcja poszczególnch agentów smulacja zachowania zbiorowego i jego wpłwu na cał sstem; uruchomione modele realistcznie obrazują dan proces. 3
SW to: źródło informacji na temat dnamiki naśladowanch sstemów rzeczwistch. strategiczne narzędzia dla analiz whatif (Komputer niekied generuje strategie, którch użtkownik nigd b nie rozważł). Często stosowane do rozwiązwania problemów o charakterze rozproszonm lub złożonch obliczeniowo, np.: wszukiwanie informacji w sieci; zarządzanie sieciami telekomunikacjnmi; smulacja rnku; wspomaganie zarządzania w przedsiębiorstwie; kontrola ruchu lotniczego. 3 PROGRAMO WANIE GENETYCZNE 3 program, które powstają samocznnie... Automatczne generowanie tekstów programów, jeśli znane są krteria ocen prawidłowości działania. Jęzk bazow LISP (program jest reprezentowan w identczn sposób jak dane w postaci drzewa). Kodowanie w postaci łańcucha binarnego zastąpiono drzewiastm. W węzłach mogą znajdować się: smbole pewnego alfabetu; wartości liczbowe dskretne i ciągłe; stałe, zmienne lub funkcje. 33 Operator genetczne: uwzględnienie specfiki metod kodowania i umożliwienie modfikacji: wartości w węzłach drzewa; struktur drzewa. Obecnie: programowanie genetczne często do określenia wszelkich algortmów wkorzstującch drzewiastą reprezentację zadania i modfikującch strukturę tej reprezentacji. 34 Kodowanie drzewiaste: Chromosom jest kodowan jako drzewo, składające się z węzłów i krawędzi. Informacja jest zawarta w węzłach, zaś krawędzie określają wzajemne relacje pomiędz węzłami. Jeśli krawędź jest skierowana od węzła A do, to A jest nazwan nadrzędnm, podrzędnm. Węzł: terminalne (nie posiadają węzłów podrzędnch); pośrednie (nieterminalne). Istnieje dokładnie jeden węzeł, nie posiadając nadrzędnego korzeń drzewa. 35 Przkład Funkcja obliczająca ca pierwiastki rzeczwiste równania r kwadratowego: = a + bx + c (defun pierwiastki (a b c) ( (setq (delta ( (b b) (4 (a c))))) (if <(delta ) (setq n ) ) (if =(delta ) ( (setq n ) (setq x ( /((b)( ( a)))) ) (if >(delta ) ( (setq n ) (setq x ( /((( b sqrt(delta) )( ( a)))))) (setq x ( /((+( b sqrt(delta) )( ( a)))))) ) ) ) setq delta b b 4 a c 36
Krzżowanie: + sin + sin Jest wkonwane dla par osobników rodzicielskich i prowadzi do powstania par osobników potomnch. x 3 x x Z każdego z osobników rodzicielskich wodrębnian jest losowo wbran węzeł pośredni (wraz ze swoim poddrzewem) lub terminaln. / / Chromosom potomne powstają w wniku zamian powstałch poddrzew. sin x sin 3 37 3 Mutacja wariant: Mutacja wariant: Zmiana zawartości węzła w a terminalnego: Zamiana korzenia poddrzewa na węzeł terminaln: + x + 4 x 3 Zamiana węzła w a terminalnego na korzeń losowego wgenerowanego poddrzewa: Zamiana poddrzewa na inne: + x + + x 3 + x sin 39 3 x 4 Mutacja wariant: Reorganizacja poddrzew: sin 3 x cos cos sin 3 x SYSTEMY (ALGORYTMY) MRÓWKOWE 4 4
Mrówki sąs praktcznie ślepe, lecz potrafią znaleźć najkrótsz tszą drogę do pożwienia i z powrotem. Ich obserwacja bła a inspiracją do powstania (Dorigo,, 996) nowego tpu algortmów zwanch mrówkowmi (ant ant algorithms, ant sstems) Zastosowania zad. optmalizacji kombinatorcznej: problem komiwojażera; harmonogramowanie wznaczanie tras w sieciach telekomunikacjnch; wznaczanie optmalnch tras w ruchu miejskim. 43 F food source N nest 44 Sstem bazujące na inteligencji masowej populacja mrówek (podobnie jak w AE). Każda mrówka w populacji poszukuje rozwiązania zania (najkrótszej drogi). Pozostawianie feromonu na trasie. Wbór r tras na podstawie ilości feromonu Wielokrotne powtarzanie: trasa optmalna. 45 E F D A.5.5 C Czas (t) jest dskretn; W każdej jednostce czasu każda mrówka przemieszcza się o d = pozostawiając c jednostkę feromonu. W chwili t = brak feromonu na wszstkich krawędziach. Znaleźć najkrótsz tszą drogę międz A i F... 46 E 6 F z F do A t = D.5.5 C E t = 6 F 6 D.5 6.5 C E 6 F D t = t =.5.5 C 6 E 6 F D 6.5 6.5 C z A do F 6 A 6 A 47 6 A 6 A 4
Proste podąż ążanie ścieżką z największ kszą ilości cią feromonu szbkie utknięcie w optimum lokalnm. Potrzebna jest eksploracja ścieżek ek mrówki wbierają ścieżki z prawdopodobieństwem proporcjonalnm do intenswności śladu feromonowego na niej. To, że e mrówka wbierze daną ścieżkę zależ zarówno od intenswności feromonu jak równier wnież np. odległości od następnego miasta (TSP). W celu zapewnienia braku nieograniczonego wzrostu ilości feromonu parowanie feromonu. 49 ALGORYTMY IMMUNO LOGICZNE 5 NATURALNY SYSTEM IMMUNOLOGICZNY: Może bć przedstawion w postaci warstwowej: Jego zadaniem jest ochrona żwego organizmu przed działaniem aniem obcch struktur mającch charakter chorobotwórcze rcze (patogen( patogen), jak wirus, bakterie, grzb cz niewłaściwie funkcjonujące ce komórki. Wszstkie te struktur, które wwołuj ują reakcję immunologiczną,, nazwane sąs antgenami. ardzo ogólnie: rozpoznawanie antgenów w na zasadzie swójobc i eliminowanie tch drugich.. Skóra podstawowa bariera ochronna.. Warstwa fizjologiczna (temperatura, ph) stwarza warunki niekorzstne dla rozwoju obcch organizmów. 3. Odporność wrodzona (nieswoista) 4. Odporność adaptacjna (swoista) 5 rozpoznawanie i eliminacja antgenów w przez odpowiednie komórki 5 Limfoct komórki, będące b głównmi g składowmi adaptacjnego sstemu immunologicznego. Limfoct (głównie tpów T i ) ) w wielkich ilościach krążą w płnach p ustrojowch sstem immunologiczn jest sstemem zdecentralizowanm a wszstkie jego komórki mogą się dowolnie przemieszczać. Limfoct rozpoznają napotkane antgen i pomagają je eliminować,, prz czm mogą ze sobą lokalnie współpracowa pracować. Limfoct tpu produkcja przeciwciał rozpoznającch antgen. Limfoct tpu T rozpoznawanie swójobc. Duże zróżnicowanie limfoctów: pozwala na rozpoznawanie wielu różnch r antgenów; pierwotnie zbt mała a liczba komórek rozpoznającch antgen b go zwalczć. 53 54
SZTUCZNY SYSTEM IMMUNOLOGICZNY (Artificial Immune Sstem, AIS) Zbiór metod obliczeniowch inspirowanch zasadami działania ania układ adów odpornościowch kręgowc gowców. w. Tlko niektóre element naturalnch układ adów w sąs brane pod uwagę,, tpowo: mutacja limfoctów w, proliferacja cja, komórki pamięci, rozpoznawanie antgenów w z użciem u limfoctów i T. Niektóre zastosowania: optmalizacja (patogen reprezentuje optimum globalne, szukane jest najlepiej dopasowane przeciwciało); zagadnienia zw. z bezpieczeństwem sieciowm (np.. NIDS network intrusion detection sstem) uczenie masznowe; sstem agentowe. 55 AIS POJĘCIA: Komórka macierzsta wzorzec akceptowan w sstemie; Przeciwciało obiekt rozpoznając obiekt nie będące komórkami macierzstm (wzorce niepożą żądane). Antgen obiekt rozpoznawan i uaktwniając przeciwciała. Komórka pamięciowa przechowuje informacje o rozpoznanm antgenie; prz kolejnm ataku antgenu zostaje on dużo o szbciej rozpoznan. Proliferacja namnażanie anie się komórek. Hipermutacje mutacje, którch częstotliwo stotliwość jest prznajmniej o jeden rząd d wielkości większa, niż innch mutacji w organizmie (zwkle jeszcze częś ęściej). 56 PODSTAWOWE MECHANIZMY: Selekcja klonalna (limfoct ) Cel namnożenie odpowiednich przeciwciał,, biorącch udział w zwalczaniu danego antgenu. Uaktwnione limfoct dzielą się produkując c wiele klonów, które następnie przechodzą hipermutację b wtworzć lepiej dopasowane przeciwciała. a. Ocenian stopień dopasowania każdego klonu do antgenu. Słabo dopasowane usuwane, dobrze dopasowane pozostają. Selekcja negatwna (limfoct T) Cel utworzenie zbioru przeciwciał detektorów, które nie sąs uaktwniane przez komórki macierzste. W procesie tm limfoctom T pokazwane sąs komórki własne. w Jeśli dan limfoct rozpozna którąś z nich, jest on usuwan. Nie podlegają mutacji. http://www.ipipan.waw.pl www.ipipan.waw.pl/~ /~stw/ais/ks/natural.html http://www.alife.pl www.alife.pl/sztuczn_sstem_odpornosciow 5 Przkład: AIS autorstwa Wacława awa Kusia. Losowe wgenerowanie komórek pamięciowch.. Komórki pamięciowe proliferują i mutują tworząc c limfoct (liczba klonów w zależ od przstosowania). 3. Obliczenie wartości przstosowania dla limfoctów w. 4. Selekcja na podstawie odległości międz każdą komórk rką pamięciow ciową a limfoctami. 5. Mechanizm zatłoczenia usuwa podobne komórki pamięci. 6. Procedura jest powtarzana do spełnienia warunku zakończenia (np.. liczba iteracji). 59 ALGORYTMY IMMUNOGENETYCZNE Są połą łączeniem mechanizmów w genetcznch (ewolucjnch) i immunologicznch; AIS i AE mają wiele cech wspólnch, np.. działanie anie na populacji osobników, stosowanie mechanizmów w selekcji. W algortmach immunogenetcznch stosowane sąs operator krzżowania, mutacji i selekcji (jak AE) prz zachowaniu populacji antgenów w i przeciwciał (jak AIS). Często: AE do generowania populacji przeciwciał,, b poddać je immunologicznej selekcji negatwnej. Funkcja przstosowania zwkle miar bazujące na stopniu dopasowania przeciwciała a do antgenu (jak w AIS). 6