Obliczenia z wykorzystaniem sztucznej inteligencji

Transkrypt

1 Obliczenia z wykorzystaniem sztucznej inteligencji wykład V Sztuczne systemy immunologiczne Joanna Kołodziejczyk 18 maja 2014

2 Plan wykładu 1 Wprowadzenie Definicje Historia 2 Elementy IS 3 Działanie IS 4 AIS 5 Zastosowania 6 Literatura

3 Definicja Artificial immune system Dziedzina badań próbująca połączyć immunologię i nauki inżynierskie poprzez tworzenie aplikacji realizujących techniki matematycznego i komputerowego modelowania systemu immunologicznego. Zmienia się abstrakcyjny model w algorytm i stosuje do rozwiązywania zadań. Powstałe systemy do przetwarzania informacji są efektywne, rozproszone posiadające zdolność uczenia się i adaptacji.

4 Trzy szkoły Systemy in silico Tworzenie systemów symulacji biologicznych systemów immunologicznych i naśladowanie tego co dokładnie robią biologiczne systemy, np. komputerowy system zabezpieczeń rozróżniający elementy własne i obce. Metafora Szukanie w systemie biologicznym inspiracji i tworzenie systemów obliczeniowych, które mogą być dalekie od analogi do systemu biologicznego. Modelowanie Próba zrozumienia funkcjonowania systemu biologicznego i opisania go za pomocą modelu matematycznego, czy komputerowego.

5 Modelowanie systemów immunologicznych I etap Korzenie dziedziny sięgają wczesnych prac teoretycznych nad immunologią, dzięki którym powstały modele sieci, które miały symulować pamięć immunologiczną. Badania prowadzone przez: J. Doyne Farmera Alana Perelsona Francisco Varela Osiągnięcia były kontrowersyjne dla immunologów, ale stały się interesujące dla informatyków.

6 Symulowanie systemów immunologicznych II etap Hugues Bersini (teoria sieci immunologicznych, modelowanie pamięci immunologicznej i algorytmiczne próby ich naśladowania) Stephanie Forrest (systemy bezpieczeństwa, detekcja włamań poprzez naśladowanie umiejętności sieci immunologicznych do odróżniania komórek własnych od obcych) byli prekursorami połączenia biologi i informatyki. Inne nazwiska: J.E. Hunt i D.E. Cooke, 1996 D. Dasgupta, 1997, Sławomir T. Wierzchoń, 1999

7 Praktyczne zastosowania Symantec Digital Immune System com/avcenter/reference/dis.tech.brief.pdf STARLAB rozwiązywanie zadań maszynowego uczenia się i wnioskowania w czasie rzeczywistym, w tym system zabezpieczeń pomieszczeń biurowych (odczyt danych z kamer). System wczesnego wykrywania awarii np. w samolotach. Klasyfikacja dokumentów. Inteligentna nawigacja.

8 Co powoduje, iż systemy zaczęły cieszyć się zainteresowaniem inżynierów niepowtarzalność: każdy osobnik opisuje system o wyjątkowych cechach rozpoznawanie obcych : molekuły, które nie są natywne dla ciała (zazwyczaj niekorzystne) są identyfikowane i eksterminowane wykrywanie anomalii: rozpoznanie patogenów i reakcja na nie choć organizm nigdy się z nimi nie spotkał system rozproszony: komórki systemu krążą w ciele i nie są centralnie nadzorowane wykrywanie niedoskonałości: system jest elastyczny i dopasowuje się do sytuacji (pojawiających się patogenów) i nie jest wymagana znajomość bezwzględna wzorca uczenie ze wzmocnieniem i pamięć systemu: IS uczy się wzorców patogenów, by w przyszłości reagować szybciej i silniej na ponowne ich pojawienie się.

9 Metafora immunologiczna proste odwołanie do znanych problemów klasyfikator: Rozpoznanie struktur własnych i obcych. Rozpoznanie obcej struktury w organizmie zapoczątkowuje ciąg reakcji celem usunięcia zagrożenia, co należy widzieć jako rozwiązanie problemu. optymalizacja: szuka się przeciwciał wiążących patogen (zbiór rozwiązań zadania). analiza danych: zbiór konkretnych danych można utożsamić ze zbiorem patogenów. Ich rozpoznanie i zapamiętanie jest równoważne utworzeniu ich wewnętrznego obrazu. Stosując pojęcie sieci idiotypowej otrzymuje się grafową strukturę reprezentującą istotne relacje między poszczególnymi danymi.

10 Plan wykładu 1 Wprowadzenie 2 Elementy IS 3 Działanie IS 4 AIS 5 Zastosowania 6 Literatura

11 Warstwy SI 1 skóra 2 bariera fizjologiczna: łzy, temperatura 3 wrodzony układ (innate immune system): nie podlega modyfikacjom, rozpoznaje głównie obce komórki: bakterie, wirusy. Składa się z komórek żernych (makrofagów) i dopełniacza (complement), który wspomaga pracę przeciwciał. Reakcja tego układu zazwyczaj poprzedza reakcję kolejnej warstwy. 4 system adaptacyjny (adaptive immune system): jego elementami są limfocyty, czyli białe ciałka krwi nazywane detektorami antygenów (patogeny rozpoznane przez limfocyty). Ich rolą jest też eliminacja antygenów. Limfocyty generowane są losowo i przez algorytm selekcji klonalnej pozostają tylko takie, których receptory mają określoną specyfikę.

12 Wielowarstwowa struktura SI

13 Odporność i odpowiedzi Odporność nieswoista jest zapewniana przez warstwę pierwszą, drugą i trzecią systemu immunologicznego swoista jest zapewniana przez warstwę czwartą SI. Odpowiedź organizmu pierwotna: na patogen wprowadzony do organizmu po raz pierwszy, wolna: pierwsze skutki można obserwować po kilku dniach od momentu zainfekowania, usuwanie do trzech tygodni; wtórna: dzięki pamięci (jej natura słabo poznana) reakcja szybka i skuteczna.

14 Narządy układu odpornościowego

15 Komórki IS Komórki IS powstają w szpiku kostnym, tam dojrzewają i migrują do organów wraz z krwią i limfą.

16 Limfocyty Limfocyty przynależność: białe ciałka krwi; zadanie: rozpoznać i zniszczyć patogeny; analogia: niezależne, niepodlegające centralnemu sterowaniu detektory krążące w płynach ustrojowych organizmu; antygen: patogen rozpoznany przez limfocyty.

17 Limfocyty typu B funkcja: produkowanie i wydzielanie przeciwciał (immunoglobuliny) jako odpowiedź na zewnętrzne białka, takie jak bakterie, wirusy czy komórki rakowe. niepowtarzalność: każda komórka B jest zaprogramowana do produkcji specyficznych przeciwciał. pamięć: w dojrzałym stadium przekształcają się w komórki plazmatyczne (pamięciowe). odpowiedź typu humoralnego: po podaniu antygenu, limfocyty typu B po kooperacji z limfocytem typu T uaktywniają się i podlegają klonowaniu. lokalizacja: nie przechodzą przez grasicę.

18 Limfocyty typu T lokalizacja: dojrzewają w grasicy (thymus). funkcja: rozpoznanie swój-obcy, sterują przebiegiem różnych reakcji immunologicznych, regulują działania innych komórek podpopulacje: Limfocyty wspomagające (aktywują komórki B) Limfocyty supresyjne (T killers) eliminują obce komórki poprzez perforowanie ich błony komórkowej i wstrzykiwanie szkodliwej chemii, bez ich kontroli nad procesem obronnym dochodzi do reakcji alergicznych (reakcja autoimmunologiczna) pierwotne zadania komórek T: wydzielanie substancji: cytokin (w tym limfokin i monokin). Substancje te wpływają na wzrost, poliferację i pobudzanie komórek układu odpornościowego.

19 Inne komórki Naturalni zabójcy Tak jak komórki zabójcy typu T zawierają zestaw substancji chemicznych działających śmiercionośnie na obce komórki. Ich atak rozpoczyna się bez rozpoznania specyficznego antygenu. Głównie atakują komórki rakowe i różnego typu infekcje. Makrofagi Inaczej komórki żerne. Jedną z ich funkcji jest rozpoczęcie procesu odpowiedzi immunologicznej. Granulocyty To ok. 60% wszystkich krwinek białych we krwi. W zależności od barwnikochłonności wyróżnia się granulocyty obojętnochłonne (neutrolile, mikrofagi), kwasochłonne (eozynofile) i zasadochłonne (bazofile).

20 Plan wykładu 1 Wprowadzenie 2 Elementy IS 3 Działanie IS 4 AIS 5 Zastosowania 6 Literatura

21 Jak system immunologiczny chroni organizm 1. Makrofagi wędrują przez organizm i wchłaniają oraz trawią napotkane antygeny i rozkładają je na peptydy. Kawałki owych peptydów pojawiają się na powierzchni komórki. 2. Tymczasem inne komórki krwi, limfocyty T posiadają receptory, które pozwalają im na rozpoznanie różnych kombinacji peptydów. Takie rozpoznanie aktywuje limfocyt T do wydzielenia limfokinów (sygnału chemicznego), który mobilizuje inne komórki. 3. Na ten sygnał odpowiadają limfocyt B, które na swojej powierzchni mają receptory, ale jednego typu. W przeciwieństwie do limfocytów T potrafią rozpoznać części antygenu swobodnie unoszące się w płynach ustrojowych.

22 Jak system immunologiczny chroni organizm 4. Limfocyt B dzieli się i przekształca w komórkę plazmatyczną, która wydziela proteiny przeciwciał, mających taką formę jak receptory. 4. Poprzez połączenie z antygenami przeciwciała neutralizują je lub niszczą. 5. Niektóre komórki typu B i T stają się komórkami pamięci, by wzmocnić reakcję systemu odpornościowego w chwili, gdy ponownie pojawi się ten sam antygen.

23

24 Molekuła przeciwciała (Ab) Limfocyt typu B ma na swojej powierzchni około receptorów (przeciwciał). Przypominają literę Y. Każde ramię jest zbudowane z dwóch łańcuchów. Częścią zmienną są ramiona litery Y. Wiązanie z antygenem jest możliwe tylko wówczas, gdy osiągnie się określony stopień powinowactwa (stopień dopasowania). Limfocyty aktywują się tylko w sytuacji, gdy spełnione są wszystkie warunki: liczba związanych receptorów przekracza pewną wartość progową gdy stopień dopasowania (receptor-antygen) jest dostatecznie wysoki gdy pojawi się sygnał od limfocytu T.

25 Limfocyt B

26 Wprowadzanie różnorodności w B komórkach Z oszacowań wynika, że organizm dysponuje liczbą 10 8 protein, natomiast wymagana jest znajomość W B komórkach występują dwa mechanizmy na zróżnicowanie tych komórek: rekombinacja: pseudolosowy proces polegający na rekombinacji segmentów DNA (łańcucha ciężkiego) odbywa się jeszcze przed kontaktem komórki z antygenem mutacja (w b. dużej liczbie) występuje podczas poliferacji. Dziennie powstaje 10 7 nowych limfocytów. Więc średnio co 10 dni układ odpornościowy generuje nowy zbiór limfocytów.

27 Zasady selekcji klonalnej Nowe komórki B, są kopią swoich rodziców (klonowanie) z niewielkimi zmianami wynikającymi z hipermutacji. Eliminacja limfocytów noszących receptory reagujące na własne białka. Rozmnożenie i różnicowanie poprzez kontakt dojrzałych komórek z antygenem. Przechowywanie klonów.

28 Pamięć immunologiczna Natura pamięci nadal nie jest znana. Choć komórki B z chwilą zwalczenia infekcji są usuwane z organizmu, wtórna reakcja jest prawie natychmiastowa.

29 Teorie pamięci immunologicznej Długowieczność Komórki pamięciowe mają okres życia równy długości życia organizmu. Stymulacja Komórki pamięciowe są ciągle stymulowane przez obce proteiny, pozwala to im przez lata pozostać aktywnymi. Z reakcją wtórną jest związany fakt, że antygeny niekoniecznie takie same (zbliżone) mogą też aktywować odpowiednie komórki B (pamięć adresowana pamięcią asocjacyjną rozpoznanie na podstawie niepełnego opisu).

30 Dojrzewanie swoistości układu immunologicznego Uczenie się i zapamiętywanie struktur jest zadaniem B komórek. Cykl uaktywnionej B komórki to (aktywacja, poliferacja, dyferencjacja): dzieli się i produkuje krótko żyjące klony. klony podlegają hipermutacji somatycznej - intensywna mutacja zmierzająca do zbudowania jak najbardziej dopasowanych receptorów. Mutacja obejmuje: mutację punktową, usuwanie krótkich odcinków, wymianę sekwencji. klony są: usuwane z organizmu (słabe dopasowanie) lub przekształcają się w komórki plazmatyczne lub pamięciowe. Z najnowszych badań wynika, iż nie wszystkie słabe klony są usuwane, są też edytowane i wówczas poprawiane.

31 Zasady selekcji klonalnej

32 Autoantygeny - selekcja negatywna W wyniku hypermutacji mogą powstawać przeciwciała rozpoznające antygeny własne organizmu (odpowiedź autoimmunologiczna). Proces ten jest regulowany z udziałem T komórek. W trakcie dojrzewania w grasity T limfocytom prezentowane są proteiny własnego organizmu. Jeżeli są rozpoznawane, to usuwa się je w drodze selekcji negatywnej. Dalej proces selekcji jest przekazywany na komórki B, które wymagają do aktywacji dwóch bodźców: (1) odpowiedni poziom aktywacji receptorów, (2) jak i sygnału od komórki T (wysyłany pod wpływem dopasowania tego co wykryła w antygenie komórka B z pamięcią komórki T (kostymulacja)). Brak sygnału od komórki T oznacza śmierć komórki B.

33 Edytowanie komórek B Przed wyborem komórki w selekcji klonalnej może nastąpić rekombinacja receptora na poziomie łańcucha lekkiego (ciężkiego). Genom ssaka składa się z około 1 mln genów i tylko niektóre kodują przeciwciała. Część zmienna jest kodowana przez geny V(ariable) i J(oining), a ciężka dodatkowo przez gen D(iversity). Zarodkowe DNA zawiera biblioteki genów, z których można zbudować 18 mln przeciwciał. Geny leżą oddalone od siebie rozdzielone niekodującymi odcinkami DNA. Ostateczna forma łańcucha ciężkiego geny zbliżają się do siebie na drodze rekombinacji.

34 Plan wykładu 1 Wprowadzenie 2 Elementy IS 3 Działanie IS 4 AIS Opis ogólny systemu CLONALG Negative selection Immune Networks 5 Zastosowania 6 Literatura

35 Sztuczny system immunologiczny Reprezentacja komponentów systemu Sztuczna reprezentacja komórek B i T oraz antygenów. Najczęściej wykorzystuje się tylko komórki typu B, które zawierają tylko jedno przeciwciało (B cell = Ab). Operuje się na populacji przeciwciał. Miernik dopasowania Określenie jak dobrze dany system rozwiązuje swoje zadanie (miara wiązania Ab, Ag). Miara interakcji osobnika z otoczeniem, najczęściej wyrażany w postaci funkcji dopasowania, zbiór bodźców wejściowych. Procedury adaptacyjne Wykonywane algorytmy prowadzące do rozwiązania zadania.

36 Reprezentacja Ab Sztuczny Ab, to zbiór cech stanowiących dziedzinę problemu. Są reprezentowane jako: wektor liczb rzeczywistych, całkowitych (optymalizacja problemów kombinatorycznych, optymalizacja wielokryterialna, interpolacja funkcji, niektóre systemy bezpieczeństwa) wektory binarne (obiekty w systemach rozpoznawania wzorców, jako opis matrycy pikseli, z których złożony jest wzorzec) listy obiektów (data mining) sieci neuronowe Ag jest reprezentowany jak Ab lub jako funkcja.

37 Miernik dopasowania Koncepcja przestrzeni kształtów Kształt, to punkt w L-wymiarowej przestrzeni problemu (L cech przeciwciała). Populacja N-osobników tworzy zbiór punktów w tej przestrzeni. Antygeny są reprezentowane przez punkty opisujące dopełnienie Ab. ɛ próg dopasowania.

38 Odległości pomiędzy Ab i Ag Dla reprezentacji wektorowej stosuje się miary: euklidesową, Hamminga lub Manhattan. Funkcje z argumentami reprezentującymi przeciwciało i antygen lub tylko obiekt opisujący przeciwciało. Natomiast wartości funkcji, adekwatne do opisywanego problemu najczęściej z R. Dla problemów optymalizacji taką miarą jest funkcja celu.

39 Procedury adaptacyjne Selekcja klonalna CLONALG (CLONal selection ALGorithm) opt-ia (optimization Immune Algorithm) Selekcja negatywna Sieci immunologiczne (ainet) Algorytmy hybrydowe AIS + AG AIS + ANN

40 O algorytmie CLONALG Twórca: de Castro and Von Zuben Zastosowania: optymalizacja i rozpoznawanie wzorców. Inspiracja: naśladują selekcję klonalną. Założenia: Liczba klonów proporcjonalna do dopasowania, siła mutacji jest odwrotnie proporcjonalna do dopsowania.

41 Schemat

42 Pseudokod input: S = set of patterns to be recognised, n the number of worst elements to select for removal output: M = set of memory detectors capable of classifying unseen patterns 1 Create an initial random set of antibodies, A 2 forall patterns in S do 2.1 Determine the affinity with each antibody in A 2.2 Generate clones of a subset of the antibodies in A with the highest affinity. 2.3 The number of clones for an antibody is proportional to its affinity 2.4 Mutate attributes of these clones to the set A, and place a copy of the highest affinity antibodies in A into the memory set, M 2.5 Replace the n lowest affinity antibodies in A with new randomly generated antibodies

43 O algorytmie negative selection Twórca: S. Forrest 1994 Zadanie: wygenerowanie zbioru detektorów, które rozpoznają pewien wzorzec S (są do niego komplementarne). Inspiracja: naśladują tworzenie limfocytów T w grasicy, które są dedykowane do rozpoznawania tylko obcych białek. Zastosowania: Klasyfikacja

44 Schemat

45 Pseudokod input: S seen = set of seen known self elements output: D = set of generated detectors 1 repeat until Stopping criteria has been met 2 Randomly generate potential detectors and place them in a set P 3 Determine the affinity of each member of P with each member of the self set S seen 4 If at least one element in S recognises a detector in P according to a recognition threshold 4.1 then the detector is rejected, otherwise it is added to the set of avaliable detectors D

46 O algorytmie Idiotypic network Twórca: Jerne (1973) i Farmer et al (1986) Zadanie: można wykorzystywać do tworzenia różnorodności w systemie. Inspiracja: budowane na przesłance, że przeciwciała mogą pasować do innych przeciwciał tak dobrze jak do antygenów. Podobieństwa antygenów tworzą sieć podobieństw. Zastosowania: Analiza danych (np. system polecania filmów o pewnym podobieństwie, a jednak różnorodności).

47 Pseudokod input: S = set of patterns to be recognised, n t network affinity threshold, c t clonal pool threshold, h number of highest affinity clones, a number of new antibodies to introduce output: N set of memory detectors capable of classifying unseen patterns 1 Create an initial random set of network antibodies, N 2 repeat until Stopping criteria has been met 2.1 forall patterns in S do Determine the affinity with each antibody in A Generate clones of a subset of the antibodies in N with the highest affinity. The number of clones for an antibody is proportional to its affinity Mutate attributes of these clones to the set A and place h number of the highest affinity clones into a clonal memory set, C Eliminate all elements of C whose affinity with the antigen is less than a predefined threshold c t Determine the affinity amongst all the antibodies in C and eliminate those antibodies whose affinity with each other is less than the threshold c t Incorporate the remaining clones of C into N 2.2 determine the affinity between each pair of antibodies in N and eliminate all antibodies whose affinity is less than the threshold n t 2.3 Introduce a random number of randomly generated antibodies and place into N

48 Plan wykładu 1 Wprowadzenie 2 Elementy IS 3 Działanie IS 4 AIS 5 Zastosowania 6 Literatura

49 Przykład zastosowania Systemy zabezpieczeń bezpośrednie przeniesienie koncepcji wirusy i detekcja włamań. Jeden z wcześniejszych przykładów Network Intrusion Detection by Hofmeyr and Forrest (2000). Zadanie: ochrona sieci komputerowej przed nieautoryzowanym dostępem. Typy komórek Ab i Ag i komórki pamięci. Reprezentacja i miara odległości: ciąg binarny i odległość Hamminga.

50 Plan wykładu 1 Wprowadzenie 2 Elementy IS 3 Działanie IS 4 AIS 5 Zastosowania 6 Literatura

51 Wykorzystana literatura (do samodzielnego studiowania) Leandro N. de Castro, Fernando J. Von Zuben, Learning and Optimization Using the Clonal Selection Principle EE Transactions on Evolutionary Computation, Special Issue on Artificial Immune Systems, vol. 6, n. 3, pp , 2002 Anna Świtalska Sztuczne systemy immunologiczne - zastosowanie w optymalizacji kombinatorycznej http: // www. ipipan. waw. pl/ ~stw/ ais/ ks/ artificial. html AISWeb AISWeb, The Online Home of Artificial Immune Systems http: // www. artificial-immune-systems. org/ algorithms. shtml