W rozpatrywanym tu przyk ladowym zagadnieniu 4x3 b edziemy przyjmować. Uczenie si e ze wzmocnieniem pasywne 3. γ = 1.

Transkrypt

1 Uczenie si e ze wzmocnieniem W wielu dziedzinach trudno jest sformu lować precyzyjne funkcje oceny, pozwalaj ace agentowi ocenić skuteczność, lub poprawność jego akcji, z wyj atkiem gdy osi agnie on stan docelowy. Zak ladamy, że w stanie docelowym agent z za lożenia zawsze otrzymuje obiektywn a ocen e swoich dzia lań, zwan a nagrod a lub wzmocnieniem. Wygodnie jest sformu lować zadanie agenta w taki sposób, aby musia l on sam nauczyć si e tak dzia lać, aby maksymalizować t e nagrod e (wzmocnienie). Nazywamy to zagadnieniem uczenia si e ze wzmocnieniem (reinforcement learning, RL). Jest to zadanie trudne. W ogólnym przypadku agent może nie mieć pe lnej informacji o swoim środowisku, jak również precyzyjnego (albo żadnego) opisu swoich dzia lań i ich skutków. Jego sytuacj e można rozumieć jako jedno ze sformu lowań pe lnego zadania sztucznej inteligencji. Agent zostaje umieszczony w środowisku, którego nie zna, i musi si e nauczyć skutecznie w nim dzia lać, aby maksymalizować pewne kryterium, dost epne mu w postaci wzmocnień. B edziemy rozważali probabilistyczny model skutków akcji agenta. Mówi ac dok ladniej, b edziemy zak ladali, że podstawowe zagadnienie jest dyskretnym procesem Markowa (MDP), jednak agent nie zna jego parametrów. Uczenie si e ze wzmocnieniem wst ep Uczenie si e ze wzmocnieniem wst ep Pasywne uczenie si e ze wzmocnieniem Na pocz atek rozważymy uczenie si e pasywne, gdzie zak ladamy, że polityka agenta π(s) jest z góry ustalona. Agent nie podejmuje żadnych decyzji, musi robić to co dyktuje mu polityka, a wyniki jego akcji s a probabilistyczne. Jednak może obserwować co si e dzieje, czyli wie do jakich stanów dociera i jakie otrzymuje w nich nagrody. Pami etajmy jednak, że nagrody otrzymywane w stanach nieterminalnych nie sa dla agenta istotnym kryterium liczy si e tylko suma nagród otrzymanych na drodze do stanu terminalnego, zwana wzmocnieniem. Zadaniem agenta jest nauczenie si e wartości użyteczności stanów U π (s), obliczanych zgodnie z równaniem: U π (s) = E [ t= γ t R(st) ] W rozpatrywanym tu przyk ladowym zagadnieniu 4x3 b edziemy przyjmować γ =. Uczenie si e ze wzmocnieniem pasywne 3 Przebiegi ucz ace Przypomnijmy rozważany wcześniej przyk lad agenta w świecie 4 3: Agent wykonuje przebiegi ucz ace (ang. trials) w których wykonuje akcje zgodne z posiadan a polityk a, aż do osi agni ecia stanu terminalnego. W każdym kroku otrzymuje percept wskazuj acy zarówno bież acy stan, jak i nagrod e. Przyk ladowe przebiegi: (,).4 (,).4 (,3).4 (,).4 (,3).4 (,3).4 (3,3).4 (4,3) + (,).4 (,).4 (,3).4 (,3).4 (3,3).4 (3,).4 (3,3).4 (4,3) + (,).4 (,).4 (3,).4 (3,).4 (4,) Uczenie si e ze wzmocnieniem pasywne 4

2 Obliczanie użyteczności metod a bezpośredni a Celem dzia lania agenta jest obliczenie użyteczności stanów U π (s) zwi azanych z posiadan a polityk a π(s). Użyteczności stanów zdefiniowane s a jako wartości oczekiwane sumy nagród (dyskontowanych) otrzymanych przez agenta startuj acego z danego stanu, i poruszaj acego si e zgodnie ze swoj a polityk a: U π (s) = E [ t= γ t R(st) ] Agent może nauczyć si e użyteczności obliczaj ac tzw. nagrod e pozosta l a (reward-to-go) w każdym stanie. Na koniec przebiegu agent oblicza nagrod e pozosta l a w stanie końcowym jako nagrod e otrzyman a w tym stanie. Nast epnie, cofaj ac si e wzd luż swojej drogi, oblicza nagrody pozosta le dla wcześniejszych stanów jako sumy nagród otrzymanych na końcowym odcinku przebiegu. Na przyk lad, dla przebiegu: (,).4 (,).4 (,3).4 (,).4 (,3).4 (,3).4 (3,3).4 (4,3) + otrzymujemy Rtg(4,3) =,Rtg(3,3) =.96,Rtg(,3) =.9,Rtg(,3) =.88,Rtg(,) =.84,Rtg(,3) =.8,Rtg(,) =.76,Rtg(,) =.7 Uczenie si e ze wzmocnieniem pasywne 5 Posiadaj ac wiele próbek (przebiegów) agent może przez proste uśrednianie określić kolejne przybliżenia wartości oczekiwanej użyteczności stanów, które w nieskończoności zbiegaj a si e do w laściwych wartości oczekiwanych. To podejście jest poprawne, lecz niezbyt efektywne wymaga dużej liczby przebiegów. Przedstawiona metoda określania użyteczności, stosuj ac proste uśrednianie użyteczności stanów, pomija ważn a w lasność procesów Markowa, tzn., że użyteczności stanów sa zwi azane z użytecznościami stanów sasiednich. (,).4 (,).4 (,3).4 (,).4 (,3).4 (,3).4 (3,3).4 (4,3) + (,).4 (,).4 (,3).4 (,3).4 (3,3).4 (3,).4 (3,3).4 (4,3) + (,).4 (,).4 (3,).4 (3,).4 (4,) Na przyk lad, w drugim przebiegu z powyższego przyk ladu algorytm określa użyteczność stanu (3,) jako pozosta l a nagrod e z tego przebiegu, ignoruj ac fakt, że kolejnym stanem w tym przebiegu jest stan (3,3), który ma wysok a (i już znan a) użyteczność. Równanie Bellmana pozwala zwi azać użyteczności nast epuj acych po sobie stanów, lecz to podejście nie potrafi ich wykorzystać. Uczenie si e ze wzmocnieniem pasywne 6 Adaptacyjne programowanie dynamiczne Adaptacyjnym programowaniem dynamicznym (ADP) nazywamy proces podobny do programowania dynamicznego w po l aczeniu z uczeniem si e modelu środowiska, czyli funkcji przejść stanów, i funkcji nagrody. Polega ono na zliczaniu przejść od pary stan-akcja do nast epnej akcji. Przebiegi ucz ace dostarczaj a nam serii ucz acej takich przejść. Agent może określać ich prawdopodobieństwa jako ich cz estotliwości wyst epuj ace w przebiegach. Na przyk lad, w podanych wcześniej przebiegach, w stanie (,3) trzy razy wykonana zosta la akcja (Right), po czym dwa razy wynikowym stanem by l (,3). Zatem agent powinien określić P((,3) (,3),Right) = 3. (,).4 (,).4 (,3).4 (,).4 (,3).4 (,3).4 (3,3).4 (4,3) + (,).4 (,).4 (,3).4 (,3).4 (3,3).4 (3,).4 (3,3).4 (4,3) + (,).4 (,).4 (3,).4 (3,).4 (4,) Po wykonaniu każdego kroku agent aktualizuje użyteczności stanów rozwi azuj ac równanie Bellmana (uproszczone) jednym z w laściwych algorytmów. Równanie jest uproszczone, ponieważ znamy tylko rozk lady skutków akcji należ acych do polityki, i nie możemy obliczać najlepszej akcji w każdym stanie. Ponieważ chcemy obliczyć U π to bierzemy w laśnie te akcje. Uczenie si e ze wzmocnieniem metoda ADP 7 Adaptacyjne programowanie dynamiczne algorytm Uczenie si e ze wzmocnieniem metoda ADP 8

3 Adaptacyjne programowanie dynamiczne efektywność Algorytm ADP aktualizuje wartości użyteczności najlepiej jak to jest możliwe, i stanowi w tym wzgl edzie standard do porównań dla innych algorytmów. Jednak procedura obliczania użyteczności przez rozwi azywanie uk ladu równań (liniowych) może być niewykonalna dla wielu zmiennych (np. 5 równań z 5 niewiadomymi dla gry backgammon)..8 Utility estimates. (4,3) (3,3) (,3) (,) (3,).5.3. RMS error in utility Powyższe wykresy ilustruj a zbieżność dla przyk ladowego uczenia w środowisku 4 3. Należy dodać, że w tym przyk ladzie przebieg kończ acy si e w z lym stanie terminalnym pojawia si e po raz pierwszy w przebiegu 78-ym, co skutkuje skokow a aktualizacj a niektórych użyteczności. Uczenie si e ze wzmocnieniem metoda ADP 9 Uczenie si e ze wzmocnieniem metoda ADP Metoda różnic czasowych Zamiast każdorazowo rozwi azywać pe len uk lad równań ze wzgl edu na wartości użyteczności, można aktualizować te wartości aktualnie obserwowanymi wartościami wzmocnień. Tak funkcjonuj acy algorytm nazywa si e metod a różnic czasowych TD (temporal difference learning): U π (s) U π (s)+α(r(s)+γu π (s ) U π (s)) W tym przypadku aktualizujemy użyteczność poprawk a obliczan a na podstawie jednego zaobserwowanego przejścia stanów, a nie wartości oczekiwanej wszystkich przejść. Dlatego też poprawk e różnic e pomi edzy użyteczności a ruchu a użyteczności a stanu bierzemy zredukowan a wspó lczynnikiem α <. Powoduje to wprowadzanie ma lych poprawek po każdym ruchu. Jednocześnie poprawka zmierza do zera gdy użyteczność stanu zrównuje si e z dyskontowan a użyteczności a ruchu. Zauważmy, że ta metoda nie wymaga posiadania modelu środowiska P(s s,a), ani sama go nie oblicza. Uczenie si e ze wzmocnieniem metoda TD Metoda różnic czasowych algorytm Uczenie si e ze wzmocnieniem metoda TD

4 Zbieżność metody różnic czasowych Istnieje zwi azek i podobieństwo pomi edzy algorytmami ADP i TD. O ile ten drugi dokonuje tylko lokalnych zmian w wartościach użyteczności, to ich średnie wartości zbiegaj a si e do tych samych wartości co dla algorytmu ADP. W przypadku uczenia wieloma przyk ladami przejść, cz estotliwości wyst epowania stanów zgadzaj a si e z rozk ladem prawdopodobieństw ich wyst epowania i można wykazać, że wartości użyteczności b ed a si e zbiegać do poprawnych wyników. W tym celu parametr uczenia si e α powinien zmniejszać si e wraz ze zwi ekszaniem si e liczby przetworzonych przebiegów. Dok ladniej, wartości tego parametru powinny spe lniać zależność: n= α(n) = oraz jednocześnie: n= α (n) < Uczenie si e ze wzmocnieniem metoda TD 3 Zbieżność przyk ladowego procesu uczenia dla środowiska 4 3:.8. (4,3) (3,3) (,3) (,) (,) Utility estimates RMS error in utility Uczenie si e ze wzmocnieniem metoda TD 4 Aktywne uczenie si e ze wzmocnieniem Co powinien zrobić agent, który nie posiada ustalonej polityki, albo który chcia lby określić polityk e optymaln a? Najpierw powinien wyznaczyć kompletny model przejść dla wszystkich akcji. Przedstawiony wyżej algorytm ADP daje t e możliwość. Nast epnie należy wyznaczyć polityk e optymaln a, spe lniaj ac a poniższe równanie Bellmana, jak w zwyk lym problemie decyzyjnym Markowa: U(s) = R(s)+γmax a s P(s s,a)u(s ) Agent może to zrobić algorytmem iteracji wartości lub iteracji polityki. Nast epnie, maj ac wyznaczon a optymaln a polityk e dla danego środowiska, może spokojnie przejść do jej realizacji. Ale czy powinien tak zrobić? Uczenie si e ze wzmocnieniem aktywne RMS error Policy loss 3 RMS error, policy loss Wykres po lewej pokazuje wynik uczenia si e w pewnym eksperymencie. Agent znalaz l bezpośredni a drog e do rozwi azania [+] w przebiegu nr 39, lecz by la to droga gorsza, wzd luż stanów: (,), (3,), (3,), (3,3). Zdeterminowa la jednak przyj et a przez agenta polityk e optymaln a po prawej. Okazuje si e, że jest to sytuacja typowa, agent z rzadka tylko znajduje optymaln a polityk e preferuj ac a drog a górn a: (,), (,3), (,3), (3,3). Uczenie si e ze wzmocnieniem aktywne 6

5 Eksploracja Niestety, jeśli agent nie nauczy si e poprawnego modelu środowiska w swoich pocz atkowych przebiegach, to b edzie nast epnie generowa l przebiegi zgodnie z polityk a optymaln a dla pewnego modelu, która może nie być globalnie optymalna dla danego środowiska. Pojawia si e tu kompromis pomi edzy eksploatacj a posiadanej wiedzy a eksploracj a środowiska. Agent nie może zbyt szybko zadowolić si e wyuczonym modelem środowiska, i obliczon a dla niego optymaln a strategi a. Powinien próbować różnych możliwości. Co wi ecej, musi wielokrotnie próbować wszystkich akcji we wszystkich stanach, jeśli chce unikn ać możliwości, że przypadkowa pechowa seria uniemożliwi mu odkrycie jakiegoś szczególnie dobrego ruchu. Jednak w końcu musi również zacz ać poruszać si e zgodnie z polityk a optymaln a, aby dostroić ja do specyficznych dla niej ścieżek. Uczenie si e ze wzmocnieniem eksploracja 7 Polityka eksploracji Aby po l aczyć skuteczn a eksploracj e świata z eksploatacj a posiadanej wiedzy agent powinien posiadać polityk e eksploracji. Ma ona zagwarantować, że agent b edzie on w stanie poznać wszystkie swoje możliwe akcje w stopniu wystarczaj acym do obliczenia swojej globalnie optymalnej polityki dla danego środowiska. Prost a polityk a eksploracji mog loby być wykonywanie przypadkowych akcji we wszystkich stanach, z pewnym ustalonym prawdopodobieństwem, a w pozosta lych przypadkach wykonywanie akcji uważanych za optymalne. Jest to podejście poprawne, lecz wolno zbieżne. Lepiej by loby preferować eksploracj e niezbyt dobrze jeszcze poznanych par stan-akcja, jednocześnie unikaj ac eksploracji par znanych już jako niezbyt korzystne. Uczenie si e ze wzmocnieniem eksploracja 8 Funkcja eksploracji Sensown a polityk e eksploracji można zbudować wprowadzaj ac optymistyczne oszacowania użyteczności U + (s): U + (s) R(s)+γmax a f ( s P(s s,a)u + (s ),N(a,s) ) gdzie N(a,s) jest liczb a wcześniej dokonanych wyborów akcji a w stanie s, natomiast f(u,n) jest funkcj a eksploracji, wyważaj ac a preferencje dla zysku (dużych wartości u) i ciekawości (ma lych wartości n). Oczywiście funkcja eksploracji f powinna być rosn aca ze wzgl edu na u i malej aca ze wzgl edu na n. Prostym przyk ladem funkcji f może być: { R + jeśli n < Ne f(u,n) = u w przeciwnym wypadku gdzie R + oznacza optymistyczne oszacowanie najlepszej nagrody możliwej do otrzymania w którymkolwiek ze stanów, a Ne jest minimaln a liczb a prób każdej pary stan-akcja, jak a agent b edzie si e stara l wykonać. Uczenie si e ze wzmocnieniem eksploracja 9 Fakt, że we wzorze na aktualizacj e U + po prawej stronie wyst epuje również U + jest istotny. Ponieważ stany i akcje wokó l stanu pocz atkowego b ed a wykonywane wiele razy, gdyby agent zastosowa l nieoptymistyczne obliczanie użyteczności, móg lby zacz ać unikać tych stanów, i w konsekwencji zniech ecić si e do wypuszczania si e dalej. Użycie wartości U + oznacza, że optymistyczne wartości generowane dla nowo eksplorowanych regionów b ed a propagowane wstecz, dzi eki czemu akcje prowadz ace do nieznanych jeszcze regionów b ed a szacowane wysoko, i tym samym preferowane. Uczenie si e ze wzmocnieniem eksploracja

6 (,) (,) (,3) (,3) (3,) (3,3) (4,3) Utility estimates RMS error, policy loss. RMS error Policy loss Na lewym wykresie widać przebieg uczenia si e agenta z eksploracj a. Polityka bliska optymalnej zosta la osi agni eta po 8 przebiegach. Zauważmy, że wartości użyteczności zbiegaj a si e wolniej (RMS error) niż zostaje wyznaczona optymalna polityka (policy loss). Uczenie si e ze wzmocnieniem eksploracja Aktywne uczenie si e różnic czasowych Metod e różnic czasowych można również zastosować do uczenia si e aktywnego. Agent może nie posiadać ustalonej polityki, i nadal obliczać użyteczności stanów wykorzystuj ac ten sam wzór co w przypadku pasywnym: U π (s) U π (s)+α(r(s)+γu π (s ) U π (s)) Dzi eki obliczanym użytecznościom agent może wyznaczać w laściwe akcje w każdym stanie korzystaj ac z użyteczności stanów sasiednich. Można wykazać, że aktywny agent TD osi agnie te same wynikowe wartości użyteczności co aktywny agent ADP. Uczenie si e ze wzmocnieniem TD-learning Metoda Q-learning Alternatywn a do poprzedniego wzoru metod a uczenia si e różnic czasowych jest metoda Q-learning, która zamiast użyteczności uczy si e reprezentacji akcja-wartość w postaci funkcji Q(s, a). Ta funkcja wyraża wartość wykonania akcji a w stanie s, i jest zwi azana z użytecznościami stanów wzorem: U(s) = max a Q(s, a) Docelowe wartości Q spe lniaj a równanie: Q(s,a) = R(s)+γ P(s s,a)max Q(s,a ) s a Powyższy wzór móg lby być wykorzystywany w procesie iteracyjnym jako wzór do aktualizacji wartości Q. Wymaga loby to jednak jednoczesnego uczenia si e wartości Q i modelu w postaci funkcji P, która wyst epuje we wzorze. Uczenie si e ze wzmocnieniem Q-learning 3 Q-learning aktualizacja metod a różnic czasowych Możliwa jest również aktualizacja lokalna funkcji Q b ed aca wariantem metody różnic czasowych i wyrażona poniższym wzorem aktualizacyjnym, obliczanym ilekroć akcja a jest wykonywana w stanie s prowadz ac do stanu wynikowego s : Q(s,a) Q(s,a)+α(R(s)+γmax Q(s,a ) Q(s,a)) a Algorytm Q-learning z metod a różnic czasowych zbiega si e do rozwi azania znacznie wolniej niż algorytm ADP, ponieważ nie wymusza obliczenia pe lnej spójności modelu (którego nie tworzy). Uczenie si e ze wzmocnieniem Q-learning 4

7 Pe lny algorytm Q-learning z eksploracj a W ogólności aktywny agent ucz acy si e metod a Q-learning wymaga zastosowania eksploracji tak samo jak w przypadku metody ADP. St ad w algorytmie wyst epuje funkcja eksploracji f i tablica cz estości wyst epowania akcji N. Przy zastosowaniu prostszej polityki eksploracji (np. wykonywanie określonej proporcji ruchów losowych) tablica N może nie być potrzebna. Uczenie si e ze wzmocnieniem Q-learning 5 SARSA State-Action-Reward-State-Action Istnieje pewien wariant algorytmu Q-learning z aktualizacj a metod a różnic czasowych zwany SARSA (State-Action-Reward-State-Action): Q(s,a) Q(s,a)+α(R(s)+γQ(s,a ) Q(s,a)) W SARSA aktualizacja bierze pod uwag e pi eć czynników: s,a,r,s,a. O ile algorytm Q-learning aktualizuje na podstawie najlepszej akcji wybranej dla stanu osi agni etego przez akcj e a, SARSA bierze pod uwag e to jaka akcja zosta la w rzeczywistości wybrana. Zatem np. dla zach lannego agenta realizuj acego wy l acznie eksploatacj e te dwie metody by lyby identyczne. Jednak w przypadku uczenia si e z eksploracj a różnica jest istotna. Metoda Q-learning jest metod a uczenia si e poza polityk a (off-policy), obliczaj ac a najlepsze możliwe wartości Q, niezależnie od tego gdzie prowadzi nas realizowana polityka. Natomiast SARSA jest metod a w polityce (on-policy), odpowiedni a dla agenta poruszaj acego si e zgodnie z posiadan a polityk a. Uczenie si e ze wzmocnieniem SARSA 6 Q-learning jest bardziej elastycznym algorytmem, ponieważ pozwala agentowi uczyć si e w laściwego zachowania si e nawet jeśli wykonuje on aktualnie polityk e niezgodn a z wyuczanymi wzorcami. Natomiast SARSA jest bardziej realistyczna, ponieważ na przyk lad, gdyby agent nie móg l w % kontrolować swojej polityki, to lepiej mu uczyć si e wzorców zgodnych z tym co rzeczywiście b edzie si e z nim dzia lo, zamiast uczyć si e zgodnie z najlepszymi dla agenta wzorcami. Zarówno Q-learning jak i SARSA sa w stanie nauczyć si e optymalnej polityki dla przyk ladowego środowiska 4x3, jednak wolniej niż ADP (w sensie liczby iteracji). Wynika to z faktu, że lokalne poprawki nie wymuszaj a spójności ca lej funkcji Q. Porównuj ac te metody można spojrzeć szerzej i zadać sobie pytanie, czy lepszym podejściem jest uczenie si e modelu środowiska i funkcji użyteczności, czy bezpośrednie wyznaczanie odwzorowania stanów do akcji bez ogl adania si e na model środowiska. Jest to w rzeczywistości jedno z fundamentalnych pytań jak budować sztuczn a inteligencj e. Przez wiele lat pocz atkowego rozwoju tej dziedziny wiedzy dominowa l paradygmat systemów opartych na wiedzy (knowledge-based), postuluj acych konieczność budowy modeli deklaratywnych. Fakt, że powstaj a metody bezmodelowe takie jak Q-learning sugeruje, że być może by lo to niepotrzebne. Jednak dla niektórych bardziej z lożonych zagadnień podejście z modelem sprawdza si e lepiej, zatem kwestia pozostaje nierozstrzygni eta. Uczenie si e ze wzmocnieniem SARSA 7 Uczenie si e ze wzmocnieniem SARSA 8

8 Uogólnianie w uczeniu si e ze wzmocnieniem Omówione powyżej algorytmy uczenia si e ze wzmocnieniem zak ladaj a jawn a reprezentacj e funkcji U(s) lub Q(s) tak a jak np. reprezentacja tablicowa. Może to być praktyczne tylko do pewnej wielkości zagadnienia. Na przyk lad, dla zagadnień o bardzo dużej liczbie stanów (np. dla gier takich jak szachy lub backgammon), trudno wyobrazić sobie wykonanie wystarczaj acej liczby przebiegów ucz acych aby odwiedzić każdy stan wiele razy. Konieczne jest zastosowanie jakiejś metody generalizacji (uogólniania), która pozwoli laby generować skuteczn a polityk e na podstawie ma lej cz eści przebadanej przestrzeni stanów. Uczenie si e ze wzmocnieniem uogólnianie 9 Uczenie si e ze wzmocnieniem uogólnianie 3 Aproksymacja funkcji Jedn a z takich metod jest aproksymacja funkcji, polegaj aca na zapisie badanej funkcji (np. U) w postaci nietablicowej, np. wyrażeniu jej jak aś formu l a skończon a. Podobnie jak w konstrukcji funkcji heurystycznych, można zastosować liniow a kombinacj e jakichś cech stanu (zwanych również atrybutami stanu): Ûθ(s) = θf(s)+θf(s)+...+θnfn(s) Algorytm uczenia si e ze wzmocnieniem uczy lby si e wektora wspó lczynników θ =< θ,θ,...,θn > tak by funkcja oceny Ûθ przybliża la możliwie dobrze rzeczywist a funkcj e użyteczności stanów. Podejście to nazywa si e aproksymacj a funkcji, ponieważ nie ma pewności, że rzeczywist a funkcj e oceny da si e wyrazić tego typu formu l a. Jakkolwiek wydaje si e w atpliwe by np. optymaln a polityk e dla gry w szachy da lo si e wyrazić funkcj a z kilkunastoma wspó lczynnikami, to jest zupe lnie możliwe by osi agn ać w ten sposób dobry poziom gry. Uczenie si e ze wzmocnieniem aproksymacja funkcji 3 Istot a podejścia jest jednak nie przybliżenie mniejsz a liczb a wspó lczynników funkcji, która w rzeczywistości być może wymaga ich wielokrotnie wi ecej, ale uogólnianie, czyli generowanie polityki dla wszystkich stanów na podstawie analizy ma lej ich cz eści. Np. w eksperymentach przeprowadzonych z gr a backgammon, uda lo si e nauczyć gracza poziomu gry porównywalnego z ludzkimi na podstawie prób analizuj acych jeden na stanów. Oczywiście, sukces uczenia si e ze wzmocnieniem w takich przypadkach zależy od trafnego wybrania funkcji aproksymuj acej. Jeśli żadna kombinacja wybranych cech nie może dać dobrej strategii gry, to żadna metoda uczenia jej nie wygeneruje. Z kolei, wybranie bardzo rozbudowanej funkcji z duż a liczb a cech i wspó lczynników zwi eksza szanse na sukces, ale kosztem wolniejszej zbieżności i zarazem wolniejszego procesu uczenia. Uczenie si e ze wzmocnieniem aproksymacja funkcji 3

9 Korekta parametrów funkcji Aby umożliwić uczenie si e na bież aco (on-line learning) niezb edna jest jakaś metoda korekty parametrów na podstawie wartości wzmocnień otrzymywanych po każdym przebiegu (albo po każdym kroku). Na przyk lad, jeśli uj(s) jest wartości a pozosta lej nagrody dla stanu s w j-tym przebiegu ucz acym, to b l ad aproksymacji funkcji użyteczności można obliczać jako: Ej = (Ûθ(s) uj(s)) Dynamika zmiany tego b l edu ze wzgl edu na parametr θi jest określona jako Ej/ θi, zatem aby skorygować ten parametr w kierunku zmniejszenia b l edu, w laściw a formu l a na poprawk e jest: θi θi α E j(s) = θi+α(uj(s) Ûθ(s)) Û θ(s) θi θi Powyższy wzór zwany jest regu l a Widrow a-hoff a albo regu l a delta. Uczenie si e ze wzmocnieniem aproksymacja funkcji 33 Przyk lad Na przyk lad, dla środowiska 4x3 funkcja użyteczności stanów mog laby być aproksymowana liniow a kombinacj a wspó lrz ednych: Ûθ(x,y) = θ+θx+θy Poprawki zgodne z regu l a delta b ed a teraz dane przez: θ θ+α(uj(s) Ûθ(s)) θ θ+α(uj(s) Ûθ(s))x θ θ+α(uj(s) Ûθ(s))y Przyjmuj ac przyk ladowo θ =< θ,θ,θ >=<.5,.,. > otrzymujemy pocz atkowe przybliżenie Ûθ(,) =.8. Jeśli po wykonaniu przebiegu ucz acego obliczylibyśmy np. uj(, ) =.7 to wszystkie wspó lczynniki θ, θ, θ zosta lyby obniżone o.8α, co zmniejszy loby b l ad dla stanu (,). Oczywiście, w ten sposób zmieni laby si e ca la funkcja Ûθ(s), co jest istot a uogólniania. Uczenie si e ze wzmocnieniem aproksymacja funkcji 34 Zastosowanie różnic czasowych Można również realizować poprawki metod a różnic czasowych. θi θi+α[r(s)+γûθ(s ) Ûθ(s)] Ûθ(s) θi θi θi+α[r(s)+γmax θi a ˆQθ(s,a ) ˆQθ(s,a)] ˆQθ(s,a) Uczenie si e ze wzmocnieniem aproksymacja funkcji 35