Wykład 2. Inteligentni agenci. w oparciu o: S. Russel, P. Norvig. Artificial Intelligence. A Modern Approach. Inteligentni agenci (2g)

Transkrypt

1 (2g) Wykład 2 Inteligentni agenci w oparciu o: S. Russel, P. Norvig. Artificial Intelligence. A Modern Approach P. Kobylański Wprowadzenie do Sztucznej Inteligencji 36 / 155

2 agenci i środowisko działanie racjonalne natura środowiska struktura agenta P. Kobylański Wprowadzenie do Sztucznej Inteligencji 37 / 155

3 Agenci i środowisko Agent to cokolwiek co może być postrzegane jako coś obserwujące środowisko poprzez sensory ioddziałującenaśrodowiskopoprzez efektory (ang. actuators). Pod pojęciem obserwacja (ang. percept) rozumiemy wejście urządzeń obserwujących agenta w danej chwili. Ciągiem obserwacji nazywamy pełną historię wszystkiego co agent dotychczas zaobserwował. Funkcja agenta odwzorowuje dowolny ciąg obserwacji na akcję. P. Kobylański Wprowadzenie do Sztucznej Inteligencji 38 / 155

4 Agenci i środowisko Agent Sensors Percepts? Environment Actuators Actions P. Kobylański Wprowadzenie do Sztucznej Inteligencji 39 / 155

5 Agenci i środowisko Funkcję agenta można opisać w postaci nieskończonej tabeli podającej dla każdego ciągu obserwacji akcję. Można wyobrażać sobie, że agent zachowuje się losowo (przy pewnych ciągach obserwacji losowo wybiera akcję) i może być to działanie bardzo inteligentne. Stablicowana funkcja agenta to jego zewnętrzna charakterystyka. Program agenta to wewnętrzna implementacja agenta. Funkcja agenta jest abstrakcyjnym matematycznym opisem, natomiast program agenta jest konkretną implementacją działającą w fizycznym systemie. P. Kobylański Wprowadzenie do Sztucznej Inteligencji 40 / 155

6 Agenci i środowisko: przykład świata odkurzacza A B P. Kobylański Wprowadzenie do Sztucznej Inteligencji 41 / 155

7 Agenci i środowisko: przykład świata odkurzacza Tabela : Opis funkcji agenta Ciąg obserwacji [A, Clean] [A, Dirty] [B, Clean] [B, Dirty] [A, Clean], [A, Clean] [A, Clean], [A, Dirty]. [A, Clean], [A, Clean], [A, Clean] [A, Clean], [A, Clean], [A, Dirty]. Akcja Right Suck Left Suck Right Suck. Right Suck. P. Kobylański Wprowadzenie do Sztucznej Inteligencji 42 / 155

8 Działanie racjonalne Agent racjonalny, to taki który działa poprawnie. Co to znaczy działa poprawnie? Agent działając w środowisku wykonuje sekwencję akcji. Sekwencja akcji powoduje sekwencję stanów środowiska. Agent działa poprawnie jeśli sekwencja stanów środowiska jest pożądana. Ocena czy sekwencja stanów środowiska jest pożądana odbywa się za pomocą miary wydajności (ang. performance measure), która ocenia dowolny dany ciąg stanów środowiska. Z zasady, lepiej jest projektować miarę wydajności w odniesieniu do tego co faktycznie chcemy mieć w środowisku, niż w odniesieniu do tego jak agent powinien się zachowywać. P. Kobylański Wprowadzenie do Sztucznej Inteligencji 43 / 155

9 Działanie racjonalne: racjonalność Co jest racjonalne w danej chwili zależy od następujących czterech rzeczy: Miary wydajności, która definiuje kryterium sukcesu. Wstępna wiedza agenta o środowisku. Akcje które agent może wykonać. Ciąg obserwacji agenta do danej chwili. Definition (Racjonalny agent) Dla każdego możliwego ciągu obserwacji, racjonalny agent powinien wybrać akcję dla której oczekuje się maksymalizacji jego miary efektywności, biorąc pod uwagę ciąg obserwacji i bieżącego stanu wiedzy agenta. P. Kobylański Wprowadzenie do Sztucznej Inteligencji 44 / 155

10 Działanie racjonalne: racjonalność Example (Świat odkurzacza) Czy agent opisany tabelą 1 jest racjonalny? Przyjmijmy następujące założenia: Miara efektywności daje jeden punkt za każde posprzątane miejsce w każdym kroku w przeciągu 1000 kroków. Rozkład lokalizacji jest znany aprioriale nie jest znany rozkład brudu i początkowe położenie agenta (jeśli akcja Left lub Right wyprowadzałaby agenta poza zdefiniowany obszar, to agent pozostaje wmiejscu). Jedynymi dostępnymi akcjami są Left, Right i Suck. Agent poprawnie postrzega swoją lokalizację i czy zawiera ona brud. Przy powyższych założeniach agent jest racjonalny i oczekiwana wydajność jest co najmniej tak duża jak każdego innego agenta. P. Kobylański Wprowadzenie do Sztucznej Inteligencji 45 / 155

11 Działanie racjonalne: racjonalność Ten sam agent może nie być racjonalny przy innych założeniach! Co w sytuacji gdy pomieszczenia są czyste a miara wydajności karze za każdy ruch? Co w sytuacji gdy czyste pole może z czasem znowu być brudne? Co w sytuacji gdy nie jest znany rozkład miejsc? Co w sytuacji gdy agent nie potrafi rozpoznać swojej lokalizacji a jedynie wykrywa kolizję z przeszkodami? P. Kobylański Wprowadzenie do Sztucznej Inteligencji 46 / 155

12 Działanie racjonalne: wszechwiedza Agent charakteryzuje się wszechwiedzą jeśli zna każde konsekwencje swoich akcji. Należy rozróżniać racjonalność od wszechwiedzy. Racjonalność maksymalizuje oczekiwaną wydajność natomiast wszechwiedza maksymalizuje wydajność rzeczywistą (faktyczną). Wszechwiedza nie jest możliwa w praktyce. Racjonalność to nie jasnowidzenie, agent opiera się na ciągu obserwacji do danej chwili. Example (Racjonalność vs wszechwiedza) Jeśli ktoś zdecydował się przejść ulicę, gdy nie było na niej ruchu, ale został zmiażdżony spadającymi z wysokości 11,000 metrów drzwiami ładowni, które odpadły z przelatującego samolotu, to czy postąpił racjonalnie decydując się na taki krok? P. Kobylański Wprowadzenie do Sztucznej Inteligencji 47 / 155

13 Działanie racjonalne: uczenie się Kiedy nie jest znana pełna wiedza o środowisku należy nie tylko zbierać informację o nim ale również uczyć się jak najwięcej z tych obserwacji. Agent z pełną wiedzą o środowisku może się nie uczyć ale wtedy jest bardzo wrażliwy na wszelkie nieoczekiwane zmiany w środowisku. P. Kobylański Wprowadzenie do Sztucznej Inteligencji 48 / 155

14 Działanie racjonalne: autonomia Agent opiera się jedynie na swojej wstępnej wiedzy nie jest autonomiczny. Racjonalny agent powinien być autonomiczny dzięki czemu może kompensować częściową lub niepoprawną wiedzę wstępną. P. Kobylański Wprowadzenie do Sztucznej Inteligencji 49 / 155

15 Natura środowiska: specyfikacja środowiska Specyfikacja PEAS: P Performance Measure (miara wydajności) E Environment (środowisko) A Actuators (efektory) S Sensors (sensory) Example (Automatyczny taksówkarz) bezpieczeństwo, szybkość, P E A S przepisowość, komfort jazdy, maksymalizacja zysku drogi, inny ruch, piesi, klienci kierownica, przyspieszenia, pedał pedał światła, wyświetlacz pedał hamulca, sprzęgła, klakson, kamery, sonar, prędkościomierz, odległościomierz, akcelerometr, czujniki klawiatura GPS, silnika, P. Kobylański Wprowadzenie do Sztucznej Inteligencji 50 / 155

16 Natura środowiska: właściwości środowiska w pełni obserwowalne vs. częściowo obserwowalne kiedy agent za pomocą sensorów widzi całe środowisko, to mówimy, że jest ono w pełni obserwowalne jeśli agent obserwuje sensorami tylko część środowiska, to mówimy, że jest ono częściowo obserwowalne gdy agent nie ma sensorów, to mówimy, że środowisko jest nieobserwowalne P. Kobylański Wprowadzenie do Sztucznej Inteligencji 51 / 155

17 Natura środowiska: właściwości środowiska jeden agent vs. wielu agentów w środowisku może działać jeden agent albo wielu agentów wielu agentów może współdziałać albo rywalizować podczas rywalizacji przydatne bywa działanie losowe pomagające omijać pułapki nieprzewidywalności przy wielu agentach pojawia się potrzeba komunikacji między nimi P. Kobylański Wprowadzenie do Sztucznej Inteligencji 52 / 155

18 Natura środowiska: właściwości środowiska deterministyczne vs. stochastyczne gdy kolejny stan środowiska jest całkowicie zdeterminowany poprzednim stanem i wykonaną przez agenta akcją, to mówimy, że środowisko jest deterministyczne w przeciwnym przypadku środowisko jest stochastyczne mówimy, że środowisko jest niepewne gdy jest stochastyczne lub nie jest w pełni obserwowalne gdy wyniki akcji nie są deterministyczne ale nie są związane z nimi prawdopodobieństwa, to mówimy, że środowisko jest niedeterministyczne P. Kobylański Wprowadzenie do Sztucznej Inteligencji 53 / 155

19 Natura środowiska: właściwości środowiska epizodyczne vs. sekwencyjne w środowisku epizodycznym działanie agenta podzielone jest na atomowe epizody wkażdymepizodzieagentdokonujeobserwacjęiwykonujejednąakcję kolejny epizod nie zależy od akcji wykonanych we wcześniejszych epizodach w środowisku sekwencyjnym bieżąca akcja może wpływać na wszystkie przyszłe decyzje środowiska epizodyczne są dużo prostsze ponieważ agent nie musi zastanawiać się na przyszłość P. Kobylański Wprowadzenie do Sztucznej Inteligencji 54 / 155

20 Natura środowiska: właściwości środowiska statyczne vs. dynamiczne jeśli środowisko może zmienić się podczas gdy agent zastanawia się, to mówimy, że jest środowiskiem dynamicznym w przeciwnym przypadku środowisko jest statyczne w środowisku dynamicznym agent jest w sposób ciągły odpytywany co zrobić i jeśli jeszcze się zastanawia i nie podjął decyzji, to zakłada się, że nic nie ma do zrobienia w tej chwili jeśli jedyne zmiany w środowisku powoduje działanie agenta, to mówimy, że środowisko jest semidynamiczne P. Kobylański Wprowadzenie do Sztucznej Inteligencji 55 / 155

21 Natura środowiska: właściwości środowiska dyskretne vs. ciągłe w środowisku dyskretnym jest skończona lub przeliczalna liczba stanów w środowisku ciągłym stany zmieniają się w sposób ciągły i jest ich kontinuum P. Kobylański Wprowadzenie do Sztucznej Inteligencji 56 / 155

22 Natura środowiska: właściwości środowiska znane vs. nieznane ta własność charakteryzuje stan wiedzy agenta lub jego projektant o środowisku a nie samo środowisko w środowisku znanym opisane są wszystkie wyniki akcji, przy czym jeśli są one losowe, to znane są rozkłady ich prawdopodobieństw w środowisku nieznanym agent musi gromadzić wiedzę o tym jak jego akcje wpływają na środowisko P. Kobylański Wprowadzenie do Sztucznej Inteligencji 57 / 155

23 Struktura agenta: program agenta agent = architektura + program Program agenta pobiera jako wejście bieżącą obserwację z sensorów i zwraca akcję dla efektorów. Zwróć uwagę na różnicę między programem agenta (pobiera bieżącą obserwację) a funkcję agenta (pobiera ciąg obserwacji). P. Kobylański Wprowadzenie do Sztucznej Inteligencji 58 / 155

24 Struktura agenta: program agenta function TABLE-DRIVEN-AGENT(percept) returns an action persistent percepts, asequence,initiallyempty table, atableofactions,indexedbyperceptsequence,initiallyfullyspecified append percept to the end of percepts action LOOKUP(percepts, table) return action P. Kobylański Wprowadzenie do Sztucznej Inteligencji 59 / 155

25 Struktura agenta: program agenta function REFLEX-VACUUM-AGENT([location, status]) returns an action if status = Dirt then return Suck else if location = A then return Right else if location = B then return Left P. Kobylański Wprowadzenie do Sztucznej Inteligencji 60 / 155

26 Struktura agenta: prosty agent odruchowy Agent Sensors What the world is like now Condition-action rules What action I should do now Environment Actuators P. Kobylański Wprowadzenie do Sztucznej Inteligencji 61 / 155

27 Struktura agenta: prosty agent odruchowy Zależności między stanem świata a akcją do wykonania zapisać można w postaci reguł warunek-akcja. Reguła warunek-akcja ma postać: if warunek zachodzący w środowisku then akcja Jeśli rule jest regułą, to rule.action jest akcją w niej występującą. P. Kobylański Wprowadzenie do Sztucznej Inteligencji 62 / 155

28 Struktura agenta: prosty agent odruchowy function SIMPLE-REFLEX-AGENT(percept) returns an action persistent rules, asetofcondition-actionrules state INTERPRET-INPUT(percept) rule RULE-MATCH(state, rules) action rule.action return action P. Kobylański Wprowadzenie do Sztucznej Inteligencji 63 / 155

29 Struktura agenta: prosty agent odruchowy Example (Środowisko zapisane w Prologu) :- module(env, [ in/1, dirty/1, clean/1 ]). % baza faktow opisujacych stan srodowiska: % :- dynamic in/1. :- dynamic dirty/1. :- dynamic clean/1. in(a). dirty(a). dirty(b). P. Kobylański Wprowadzenie do Sztucznej Inteligencji 64 / 155

30 Struktura agenta: prosty agent odruchowy Example (Agent odruchowy zapisany w Prologu) :- module(agent, [ simple_reflex_agent/1, do/1 ]). :- use_module(env). simple_reflex_agent(suck) :- in(x), dirty(x). simple_reflex_agent(right) :- in(a). simple_reflex_agent(left) :- in(b). P. Kobylański Wprowadzenie do Sztucznej Inteligencji 65 / 155

31 Struktura agenta: prosty agent odruchowy Example (cd. opisu agenta w Prologu) % do(+action) % wykonanie akcji zmieniajacej stan srodowiska % do(left) :- retract(in(x)), to_the_left(x, Y), assertz(in(y)). do(right) :- retract(in(x)), to_the_right(x, Y), assertz(in(y)). do(suck) :- in(x), ( retract(dirty(x)) -> assertz(clean(x)) ; true). P. Kobylański Wprowadzenie do Sztucznej Inteligencji 66 / 155

32 Struktura agenta: prosty agent odruchowy Example (cd. opisu agenta w Prologu) % predykaty pomocnicze % to_the_left(a, a). to_the_left(b, a). to_the_right(a, b). to_the_right(b, b). P. Kobylański Wprowadzenie do Sztucznej Inteligencji 67 / 155

33 Struktura agenta: agent odruchowy z modelem State Sensors How the world evolves What my actions do Condition-action rules What the world is like now What action I should do now Environment Agent Actuators P. Kobylański Wprowadzenie do Sztucznej Inteligencji 68 / 155

34 Struktura agenta: agent odruchowy z modelem function MODEL-BASED-REFLEX-AGENT(percept) returns an action persistent state, theagent scurrentconceptionoftheworldstate model, adescriptionofhowthenextstatedependsoncurrentstateandaction rules, asetofcondition-actionrules action, themostrecentaction,initiallynone state UPDATE-STATE(state, action, percept, model) rule RULE-MATCH(state) action rule.action return action P. Kobylański Wprowadzenie do Sztucznej Inteligencji 69 / 155

35 Struktura agenta: agent odruchowy z modelem Example (Agent odruchowy z modelem zapisany w Prologu) :- module(agent, [ model_based_reflex_agent/1, do/1 ]). :- dynamic state/1. % state(clean) gdy miejsce jest czyste % state(dirty) gdy miejsce jest brudne % state(unknown) gdy nie jest znany poglad na stan swiata % state(uknown). :- use_module(env). P. Kobylański Wprowadzenie do Sztucznej Inteligencji 70 / 155

36 Struktura agenta: agent odruchowy z modelem Example (cd. opisu agenta w Prologu) % model_based_reflex_agent(-action) gdy nalezy wykonac akcje Action % przy biezacym pogladzie na stan srodowiska % model_based_reflex_agent(action) :- update_state, action(action). update_state :- in(x), dirty(x), next_state(dirty). update_state :- in(x), clean(x), next_state(clean). next_state(state) :- retract(state(_)), assertz(state(state)). P. Kobylański Wprowadzenie do Sztucznej Inteligencji 71 / 155

37 Struktura agenta: agent odruchowy z modelem Example (cd. opisu agenta w Prologu) action(suck) :- state(dirty). action(right) :- state(clean), in(a). action(left) :- state(clean), in(b). P. Kobylański Wprowadzenie do Sztucznej Inteligencji 72 / 155

38 Struktura agenta: agent odruchowy z modelem Example (cd. opisu agenta w Prologu) % do(+action) % wykonanie akcji zmieniajacej stan srodowiska (jak w agencie odruchowym) % do(left) :- retract(in(x)), to_the_left(x, Y), assertz(in(y)). do(right) :- retract(in(x)), to_the_right(x, Y), assertz(in(y)). do(suck) :- in(x), ( retract(dirty(x)) -> assertz(clean(x)) ; true). P. Kobylański Wprowadzenie do Sztucznej Inteligencji 73 / 155

39 Struktura agenta: agent odruchowy z modelem Example (cd. opisu agenta w Prologu) % predykaty pomocnicze % to_the_left(a, a). to_the_left(b, a). to_the_right(a, b). to_the_right(b, b). P. Kobylański Wprowadzenie do Sztucznej Inteligencji 74 / 155

40 Struktura agenta: agent celowy Sensors State How the world evolves What the world is like now What my actions do Goals What it will be like if I do action A What action I should do now Environment Agent Actuators P. Kobylański Wprowadzenie do Sztucznej Inteligencji 75 / 155

41 Struktura agenta: agent celowy agent celowy dobiera swoje działanie do przyjętego celu jaki chce osiągnąć może on poszukiwać rozwiązanie albo planować akcje aby w długiej perspektywie osiągnąć zadany cel P. Kobylański Wprowadzenie do Sztucznej Inteligencji 76 / 155

42 Struktura agenta: agent z funkcją użyteczności Sensors State How the world evolves What the world is like now What my actions do Utility What it will be like if I do action A How happy I will be in such a state Environment What action I should do now Agent Actuators P. Kobylański Wprowadzenie do Sztucznej Inteligencji 77 / 155

43 Struktura agenta: agent z funkcją użyteczności agent posiada swoją wewnętrzną miarę wydajności akcji, którą wyraża za pomocą funkcji użyteczności gdy wewnętrzna funkcja użyteczności jest zgodna z zewnętrzną miarą wydajności, to agent wybierający akcje maksymalizujące użyteczność będzie zachowywał się racjonalnie względem zewnętrznej miary wydajności P. Kobylański Wprowadzenie do Sztucznej Inteligencji 78 / 155

44 Struktura agenta: agent uczący się Performance standard Critic Sensors feedback learning goals Learning element changes knowledge Performance element Environment Problem generator Agent Actuators P. Kobylański Wprowadzenie do Sztucznej Inteligencji 79 / 155

45 Struktura agenta: agent uczący się agent uczący się składa się z czterech elementów: element wykonawczy (performance element), który odpowiada całym wcześniej omawianym agentom element uczący (learning element), który odpowiada za osiąganie postępów krytyk (critic), element zapewniający sprzężenie zwrotne elementowi uczącemu aby wiedział jak działa agent i jak element wykonawczy powinien zmodyfikować swoje postępowanie aby w przyszłości działać lepiej generator problemów (problem generator), który odpowiada za sugerowanie akcji prowadzących do pozyskiwania nowych doświadczeń P. Kobylański Wprowadzenie do Sztucznej Inteligencji 80 / 155