Znajdowanie strategii w grach z niepełną informacją przez ewolucję sieci neuronowych, na przykładzie pokera Texas Hold em ze stałym limitem

Wielkość: px
Rozpocząć pokaz od strony:

Download "Znajdowanie strategii w grach z niepełną informacją przez ewolucję sieci neuronowych, na przykładzie pokera Texas Hold em ze stałym limitem"

Transkrypt

1 Uniwersytet Warszawski Wydział Matematyki, Informatyki i Mechaniki Marek Kiszkis Nr albumu: Znajdowanie strategii w grach z niepełną informacją przez ewolucję sieci neuronowych, na przykładzie pokera Texas Hold em ze stałym limitem Praca licencjacka na kierunku MATEMATYKA Praca wykonana pod kierunkiem dra hab. Dominika Ślęzaka Instytut Matematyki Zakład Logiki Matematycznej Maj 2012

2 Oświadczenie kierującego pracą Potwierdzam, że niniejsza praca została przygotowana pod moim kierunkiem i kwalifikuje się do przedstawienia jej w postępowaniu o nadanie tytułu zawodowego. Data Podpis kierującego pracą Oświadczenie autora (autorów) pracy Świadom odpowiedzialności prawnej oświadczam, że niniejsza praca dyplomowa została napisana przeze mnie samodzielnie i nie zawiera treści uzyskanych w sposób niezgodny z obowiązującymi przepisami. Oświadczam również, że przedstawiona praca nie była wcześniej przedmiotem procedur związanych z uzyskaniem tytułu zawodowego w wyższej uczelni. Oświadczam ponadto, że niniejsza wersja pracy jest identyczna z załączoną wersją elektroniczną. Data Podpis autora (autorów) pracy

3 Streszczenie Praca jest opisem badań mających na celu znajdowanie strategii w grach z niepełną informacją przez ewolucję sieci neuronowych o ustalonej strukturze. Przedstawiony jest stan badań w tym temacie i wyniki eksperymentów przeprowadzonych w ramach pracy. Słowa kluczowe systemy decyzyjne, sieci neuronowe, algorytmy ewolucyjne, gry, strategie Dziedzina pracy (kody wg programu Socrates-Erasmus) 11.0 Matematyka, Informatyka 11.4 Sztuczna inteligencja Klasyfikacja tematyczna 91A35 Decision theory for games 92B20 Neural networks, artificial life and related topics 91A60 Probabilistic games; gambling Tytuł pracy w języku angielskim Finding robust strategies in imperfect information games with evolutionary neural networks, on the example of Fixed-Limit Texas Hold em

4

5 Spis treści Wstęp Struktura pracy Podstawowe pojęcia Gry Sieci neuronowe Algorytmy ewolucyjne Poker i strategie w pokerze Texas Hold em ze stałym limitem Texas Hold em bez limitu Strategie w pokerze Texas Hold em ze stałym limitem Strategie oparte na wiedzy (knowledge-based) Strategie oparte na symulacji rozgrywki Strategie przybliżające równowagę Nasha Strategie wykorzystujące słabości Inne podejścia Poprzednie prace Klasyfikacja wzorców zachowań w pokerze bez limitu: podejście ewolucyjne head-start [4] Opis modelu agenta Opis ewolucji Problemy z pracą Agenci pokera Texas Hold em bez limitu tworzeni przez ewolucję sieci neuronowych [9] Opis modelu agenta Problemy z pracą Znajdowanie silnych strategii pokera Texas Hold em przy użyciu ko-ewolucji Pareto i deterministycznego zagęszczania [10] Opis modelu agenta Opis ewolucji Zalety pracy Problemy z pracą Porównanie wyników Widoczne problemy Kosztowna symulacja Ciężko się dobrze porównać

6 4. Zakres eksperymentów Wyniki eksperymentów Opis eksperymentów Rezultaty Słabe wyniki Wnioski i praca na przyszłość

7 Wstęp Gry są coraz bardziej popularnym tematem badań. Nie powinno to nikogo dziwić wszak pojawiają się one w wielu dziedzinach nauki; na przykład w ekonomii, biologii, czy oczywiście, informatyce. Logicy już dawno zauważyli wartość gier i poza klasycznymi ich zastosowaniami w logice, jak gry Ehrenfeuchta Fraïsségo, nauczyli się wykorzystywać teorię gier do dziedzin, wydawałoby się, z grami niezwiązanych: modelowania systemów wieloagentowych czy obliczeń interaktywnych. A na styku teorii gier i projektowania algorytmów mamy algorytmiczną teorię gier. Chyba każdy z nas nieustannie w coś gra; czy to dla rozrywki i przyjemności, czy jako trening umysłu, wreszcie grają ludzie dla pieniędzy. Mamy tysiące istniejących gier do wyboru; wymyślamy też własne. Grać można samemu, we dwoje, lub z wieloma innymi graczami. Można nawet i z komputerem. Programy komputerowe grające w szachy grają, już od jakiegoś czasu, na poziomie przynajmniej porównywalnym z najlepszymi (ludzkimi) graczami na świecie. Łatwe gry można przy użyciu komputera rozwiązać, tzn. znaleźć strategię wygrywającą (jeśli istnieje), co pozwoli wygrać z każdym przeciwnikiem. Coraz więcej naukowców próbuje tworzyć wciąż lepsze programy (agentów) do gry w szachy, scrabble, pokera czy go. Koncepcyjnie, zasada działania takiego agenta jest prosta: wykonywać jak najlepsze ruchy. Niech agent przeszuka przestrzeń stanów gry i wybiera te ruchy, które są najlepsze. Tak naprawdę, używamy algorytmu minimax [13]. Jeśli przestrzeń stanów jest zbyt duża, stosujemy heurystyki, alfa-beta obcięcia. Ale co jeśli nie możemy tak po prostu przeszukać przestrzeni stanów? Jest tak na przykład w przypadku gier z niepełną informacją lub gier z elementem losowości. Do takich gier należy chociażby poker, brydż sportowy czy nawet scrabble, a prostym przykładem gry z niepełną informacją są statki. Nie mając pełnej informacji o stanie gry, nie możemy bezmyślnie użyć mocy obliczeniowej komputera do przejrzenia wszystkich możliwych stanów. Tworząc agenta do takiej gry, przed twórcą pojawia się jeden znaczny problem: skąd program komputerowy ma czerpać wiedzę? Jak go nauczyć grać? Szczególnie jeśli twórca programu nie jest ekspertem w tej dziedzinie. Weźmy brydża dojście do pewnego poziomu profesjonalizmu zajmuje przecież wiele lat. Istnieją setki książek na temat brydża, tysiące ludzi poświęca na jego naukę całe życie. Nie sposób przerobić tak wielkich ilości materiału, a nawet jeśli ma się tę wiedzę jak podzielić się nią z programem komputerowym? Może inne podejście byłoby bardziej odpowiednie? Na przykład: niech program sam się uczy. Niech przejrzy zapisy wszystkich dostępnych partii brydża i wywnioskuje, jakie ruchy są dobre w jakich sytuacjach. Niech uczy się też na swoich błędach i dopasowuje swoją strategię w miarę potrzeb. Ale to nadal wydaje się trudne do zrealizowania. Przeprowadzenie wystarczająco dużej ilości rozgrywek z graczami ludzkimi zajęłoby zbyt długo; ciężko też czasem jednoznacznie ocenić czy pojedynczy ruch jest zły czy dobry. Jest to wręcz niemożliwe, gdy nie znamy ogólnej strategii agenta. Należałoby więc raczej oceniać strategię jako całość. W tej pracy skupimy się na jeszcze całkiem innym podejściu do tego problemu: użyciu 5

8 algorytmów ewolucyjnych. Podejście to jest używane np. w [11], [10]. Idea jest prosta na początku tworzona jest populacja graczy. Następnie, przez wiele pokoleń, odbywa się ich ewolucja, w której przeżywają najlepsi gracze. Oni też rozmnażają się tworząc nowych agentów. Spodziewamy się, że w wyniku takiej ewolucji, stopniowo w miarę upływu czasu będziemy uzyskiwali coraz lepszych agentów; a dzięki technikom mającym na celu urozmaicenie populacji, sprawdzimy wiele możliwych strategii. Jednymi z ważniejszych pytań, na które powinniśmy sobie odpowiedzieć wybierając takie podejście, są np.: Jak reprezentować (modelować) strategie (agentów)? Od jakich agentów zaczynamy ewolucję? Jak mierzyć jakość agentów? Jak "rozmnażać" agentów? Kiedy powinniśmy zakończyć obliczenia? Skupiamy się na jednej grze pokerze Texas Hold em ze stałym limitem. Należy jednak podkreślić, że prezentowane tu podejście daje się z powodzeniem uogólnić na inne gry - jeśli tylko umiemy w satysfakcjonujący sposób odpowiedzieć na pytania postawione powyżej. Naszym celem jest zbadanie, do jakich wyników prowadzi podejście pokrótce opisane powyżej; poker został wybrany z powodu istniejącej już na ten temat literatury i prowadzonych badań próbujących stosować podejścia tego typu Struktura pracy Struktura niniejszej pracy jest następująca: Rozdział 1 opisuje postawowe pojęcia używane w tej pracy, z zakresu teorii gier, sieci neuronowych i algorytmów ewolucyjnych. Rozdział 2 jest wprowadzeniem w tematykę pokera. Opisujemy w nim zasady gry w pokera Texas Hold em ze stałym limitem i strategie w pokerze. Rozdział 3 jest analizą poprzednich prac traktujących o obliczaniu strategii gry w pokera przez ewolucję sieci neuronowych. Rozdział 4 opisuje zakres przeprowadzonych przez nas eksperymentów. W Rozdziale 5 prezentujemy wyniki tychże eksperymentów. Rozdział 6 zawiera wnioski i sugeruje prace na przyszłość w tym temacie. Głównym celem naszej pracy było poprawienie wyników Noble a [10]. Wyniki przeprowadzonych eksperymentów pokazują, że rzeczywiście udało się tego dokonać. Wykazaliśmy, że nawet niewielkie zmiany w matematycznym modelu strategii czy w stosowanych algorytmach mogą prowadzić do dużo lepszych wyników. Należy jednak zaznaczyć, że równie małe zmiany mogą też odnieść zgoła przeciwny skutek i doprowadzić do powstania szczególnie słabych strategii. Cała trudność polega więc na tym, żeby przewidzieć, jakie zmiany mogą polepszyć wyniki, a jakie - pogorszyć. Odpowiedzi na to pytanie szukaliśmy właśnie w ramach tej pracy. 6

9 Rozdział 1 Podstawowe pojęcia W tym rozdziale opiszemy pojęcia używane w pracy: podstawowe pojęcia teorii gier, sieci neuronowe i algorytmy ewolucyjne Gry Definicja 1 (Strategia) Strategia to opis zachowań gracza, definiujący jego działanie w każdej możliwej sytuacji (stanie gry). Na ogół, decyzja nie jest wybierana jednoznacznie, ale raczej obliczane są prawdopodobieństwa z jakimi agent wykonuje każdy ruch. Dzięki podejmowaniu każdej z decyzji z pewnym niezerowym prawdopodobieństwem, nawet najprostsza strategia nie jest całkowicie przewidywalna. Strategie dzielimy na statyczne i dynamiczne, w zależności od tego, czy zmieniają się w trakcie gry. Będziemy utożsamiać graczy z ich strategiami. Definicja 2 (Równowaga Nasha) Rozważmy grę, w której bierze udział n graczy o ustalonych strategiach. Jeśli żadnemu z graczy nie opłaca się zmienić strategii (przy ustalonych strategiach przeciwników), powiemy, że strategie te są w równowadze Nasha. Innymi słowy, strategie są w równowadze Nasha jeśli każdy gracz gra optymalnie w stosunku do danych przeciwników. Kolejnym kryterium podziału strategii jest możliwość odniesienia przewagi nad innymi graczami. Strategie przybliżające równowagę Nasha mają na celu jak najlepszą grę z najgorszym (dla nas) możliwym przeciwnikiem. Ich głównym celem jest nie przegrać. Z drugiej strony są strategie maksymalne, tj. wykorzystujące możliwie najbardziej słabości przeciwników. Zauważmy jednak, że oddalając się od równowagi Nasha, strategie maksymalne przejawiają pewne słabości, przez co same stają się podatne na wykorzystanie przez innych graczy. Rozważmy teraz elementy pewnego uniwersum U. Załóżmy, że mamy m kryteriów oceny jakości elementów U; czyli jakość oceniamy funkcją f : U R m. Kryteria oceny są, z założenia, nieporównywalne. Przyjmijmy też, dla ułatwienia, że większe wartości f oznaczają lepszą ocenę. Definicja 3 (Pareto dominacja) Niech û, ˆv U, f(û) = (u 1, u 2,..., u m ), f(ˆv) = (v 1, v 2,..., v m ). Powiemy że û Pareto-dominuje ˆv, wtedy i tylko wtedy gdy i : u i v i. 7

10 Nieformalnie mówiąc, û dominuje ˆv jeśli jest od niego lepszy przy każdym kryterium oceny. Zauważmy, że jeżeli û nie dominuje ˆv ani ˆv nie dominuje û, to dla pewnego j mamy u j > v j, i dla pewnego k mamy u k < v k, czyli û i ˆv są nieporównywalne. Definicja 4 (Front Pareto) Dla danego zbioru U U, frontem Pareto zbioru U nazywamy zbiór wszystkich elementów z U, które nie są zdominowane (w sensie Pareto) przez żaden inny element z U Sieci neuronowe Definicja 5 (Sieć neuronowa) (Sztuczną) siecią neuronową z jedną warstwą ukrytą, o wejściach X = {x 1, x 2,..., x n }, neuronach ukrytych Y = {y 1, y 2,..., y m } i wyjściach Z = {z 1, z 2,... z k }, z funkcją aktywacji h : R R, nazywamy parę funkcji f 1 : X Y R, f 2 : Y Z R. Funkcje te nazywamy wagami krawędzi sieci neuronowej. Definicja 6 Wartością [z] wyjścia z sieci neuronowej zdefiniowanej tak jak powyżej jest gdzie gdzie [x] R oznacza wartość wejścia x. ( ) [z] = h [y] f 2 (y, z) y Y ( ) [y] = h [x] f 1 (x, y) x X Należy wspomnieć, że nie ma chyba uniwersalnej definicji sieci neuronowej. Istnieją modele znacznie bardziej skomplikowane niż zdefiniowany powyżej, taka definicja jednak wystarcza w naszym przypadku. Obszerniejszy opis sieci neuronowych można znaleźć np. w [14]. Przykład 1 (Sieć neuronowa) Poniżej przedstawiamy przykładową sieć neuronową o trzech wejściach, dwóch neuronach ukrytych i jednym wyjściu. Dla jasności, pominięte zostały zerowe wagi. x y 1 x z y x 3 x 1+ x. Taka funkcja akty- Przyjmijmy że funkcja aktywacji jest zdefiniowana jako h(x) = wacji została użyta w pracy Noble a [10]. 8

11 Dla sieci neuronowej z powyższego przykładu, dla [x 1 ] = 0.11, [x 2 ] = 0.6, [x 3 ] = 0.26 mamy [y 1 ] = h([x 1 ] 0.32) = h(0.0352) = 0.034, [y 2 ] = h([x 2 ] ( 0.17) + [x 3 ] 1.09) = h( ) = h(0.1814) = i wreszcie [z 1 ] = h([y 1 ] ( 0.42) + [y 2 ] 0.72) = h( ) = h(0.0962) = Należy wspomnieć tutaj o jednej szczególnej własności sieci neuronowych. Jeśli traktujemy sieć neuronową jako aproksymację funkcji wielu zmiennych, to prawdziwe jest Twierdzenie 1 (Cybenko) Użycie dwóch warstw ukrytych umożliwia osiągnięcie dowolnej dokładności aproksymacji dowolnej funkcji, przy dostatecznie dużej liczbie neuronów ukrytych. A przy pewnych założeniach na aproksymowaną funkcję wystarczy jedna warstwa ukryta: Twierdzenie 2 (Cybenko, Hornik et al.) Dowolna ciągła nieliniowa funkcja może być zaproksymowana z żądaną dokładnością za pomocą sieci neuronowej z jedną warstwą ukrytą zawierającą dostatecznie dużo neuronów ukrytych. Dowody tych twierdzeń można znaleźć w [3] i [6]. Problemem jest jednak to, że powyższe twierdzenia są niekonstruktywne. Dzięki nim wiemy, że dowolną funkcję możemy aproksymować pewną siecią, nie wiemy jednak jaką. Co prawda istnieją pewne dobre praktyki sugerujące strukturę sieci odpowiednią dla danego problemu. Na przykład uznaje się, że liczba neuronów w warstwie ukrytej powinna być równa mniej więcej pierwiastkowi z iloczynu liczby neuronów wejściowych i wyjściowych. Dokładniejszy opis można znaleźć np. w [8] czy [16]. Należy jednak pamiętać, że są to jedynie wskazówki i nie ma żadnej gwarancji, że zastosowanie tych rad będzie prowadzić do osiągnięcia dobrych wyników w każdym problemie. Sieć która dobrze aproksymuje daną funkcję może mieć dowolnie wiele neuronów ukrytych. Nie jest znany żaden sposób na obliczanie takich sieci. Z pomocą przychodzą nam algorytmy ewolucyjne Algorytmy ewolucyjne Historia algorytmów ewolucyjnych sięga połowy XX wieku [1]. Idea działania takich algorytmów jest prosta - mają służyć do symulowania procesu ewolucji biologicznej. Algorytmy ewolucyjne mogą być użyte do przeszukiwania przestrzeni rozwiązań pewnego problemu w celu znalezienia optymalnego (lub prawie optymalnego) rozwiązania, zwłaszcza tam gdzie inne metody zawodzą (np. przestrzeń rozwiązań jest zbyt duża). Rozwiązania problemu traktujemy jako osobników w procesie ewolucji. Zarys działania algorytmu ewolucyjnego wygląda następująco: 1. Wylosowanie początkowej populacji osobników 2. Proces ewolucji, w którym w każdym pokoleniu następuje: (a) Ocena obecnej populacji (selekcja) (b) Najlepiej ocenione osobniki biorą udział w reprodukcji poprzez krzyżowania (wytworzenie nowego elementu na podstawie dwóch wybranych) i mutacje (drobne losowe zmiany w pojedynczym osobniku) (c) W populacji zostają nowe osobniki i te najlepsze z poprzedniego pokolenia. Osobniki o słabej ocenie są odrzucane. 9

12 3. Ewolucja kończy się, gdy zostaną spełnione pewne warunki końcowe, np. przeminięcie określonej liczby pokoleń lub uzyskanie osobników o odpowiednio wysokiej ocenie. Obszerniejszy opis algorytmów ewolucyjnych można znaleźć w [5]. W tej pracy chcemy modelować strategie do gry w pokera przez sieci neuronowe (o ustalonej strukturze) i dokonywać ewolucji tych strategii za pomocą algorytmu ewolucyjnego opisanego powyżej. Należy wspomnieć, że takie podejście było badane już od długiego czasu; obszerne prace na ten temat można znaleźć np. w [7] czy [15]. W naszym zastosowaniu, ewolucja sieci neuronowych nie będzie zmieniać struktury sieci: liczba warstw i neuronów ukrytych pozostaje ta sama. Mutacje wprowadzają losowe zmiany w połączeniach między neuronami, a w wyniku krzyżowania dwóch sieci (rodziców) powstaje sieć, w której waga każdego połączenia między neuronami jest średnią z wag odpowiednich połączeń u rodziców. 10

13 Rozdział 2 Poker i strategie w pokerze 2.1. Texas Hold em ze stałym limitem W tym podrozdziale opiszemy pokrótce zasady gry w Pokera Texas Hold em ze stałym limitem (Fixed-Limit Texas Hold em). Obszerniejsze opisy zasad znajdują się w źródłach, np. [17]. Rozgrywka składa się z wielu rozdań, w których uczestniczy od 2 do 10 graczy. Dopuszcza się zmiany graczy (przyjście nowego gracza lub opuszczenie stolika przez obecnego gracza), ale tylko pomiędzy rozdaniami (skład nie może zmieniać się podczas rozdania). W każdym rozdaniu jeden z graczy jest rozdającym (dealer), a dwóch kolejnych (na lewo od rozdającego, zgodnie z ruchem wskazówek zegara) wnosi do puli wymuszone stawki: tzw. małą ciemną i dużą ciemną. Następnie każdemu z graczy rozdawane są po dwie karty, poczynając od gracza na lewo od rozdającego i rozdając zgodnie z ruchem wskazówek zegara. Są to tzw. zakryte karty (hole cards), widoczne tylko ich właścicielom. W tym momencie zaczyna się pierwsza runda licytacji (pre-flop). W każdej z czterech rund licytacji, każdy z graczy ma do wyboru trzy możliwości: spasować (fold) Gracz który spasuje, traci wszystkie żetony, które wniósł do puli w tym rozdaniu i nie bierze już udziału w dalszej części rozdania. sprawdzić (call) Gracz może wyrównać wartość obecnego zakładu, wnosząc do puli odpowiednią ilość żetonów podbić stawkę (raise) Gracz może podbić wartość obecnego zakładu. W wersji pokera ze stałym limitem, można podbijać tylko o ustalone stawki, np. $1 w pierwszych dwóch rundach i $2 w kolejnych trzech rundach. Każdą rundę licytacji zaczyna gracz na lewo od gracza który wniósł dużą ciemną, a licytacja postępuje zgodnie z ruchem wskazówek zegara. Runda kończy się, jeśli wysokość zakładu zostanie ustalona przez graczy (po tym jak żaden z graczy nie ma zamiaru podbijać, czyli gdy wszyscy sprawdzą lub spasują). W wersji pokera ze stałym limitem mamy też dodatkowe ograniczenie: w jednej rundzie licytacji żaden gracz nie może podbić więcej niż trzy razy. Po pierwszej rundzie licytacji, rozdawany jest flop: trzy karty wspólne (community cards), widoczne dla każdego z graczy. Dochodzi wtedy do drugiej tury licytacji, w której biorą udział wszyscy gracze którzy dotychczas nie spasowali, i ponownie licytując, ustalają wysokość 11

14 zakładu. Ponownie, kiedy wszyscy aktywni gracze wniosą do puli taką samą ilość żetonów, wykładana jest czwarta karta (turn). Na tych samych zasadach dochodzi do trzeciej rundy licytacji, po której wykładana jest piąta karta (river), po czym ma miejsce ostatnia runda licytacji. Po ostatniej rundzie licytacji następuje wyłożenie kart w celu wyłonienia zwycięzcy. Wygrywa (i zdobywa wszystkie żetony z puli) ten z graczy, który z pięciu kart wspólnych i (swoich) dwóch zakrytych ułoży najlepszy układ. Zwycięzca może też zostać wyłoniony wcześniej, jeśli w którymkolwiek momencie wszyscy poza jednym graczem spasują. Możliwymi układami kart są, od najmocniejszego: Poker (5 kolejnych kart w jednym kolorze; np. 4 karo 8 karo) Kareta (4 karty tej samej wartości) Full (trójka i para) Kolor (5 kart w tym samym kolorze) Strit (5 kolejnych kart nie w kolorze) Trójka (3 karty tej samej wartości) Dwie pary Para Wysoka karta Jeśli więcej niż jeden gracz ma ten sam układ (np. karetę), wygrywa ten, który ma najwyższe karty. W przypadku remisu, pula jest dzielona pomiędzy zwycięzców. Nie będziemy tutaj wchodzić w szczegóły zasad, można je znaleźć w źródłach. Celem gry jest zdobycie jak największej liczby żetonów w całej rozgrywce Texas Hold em bez limitu Należy tutaj wspomnieć także o innej, bardziej popularnej odmianie pokera Texas Hold em: wersji bez limitu. Od opisanej powyżej różni się tylko tym, że stawki można podbijać dowolnie wysoko; gracz może nawet wnieść do puli wszystkie swoje żetony (tzw. wejście za wszystko, all in). Mimo że coraz więcej graczy wybiera wersję bez limitu, nie będziemy się nią zajmować, z kilku powodów. Po pierwsze, decyzja do podjęcia jest trudniejsza: jest więcej możliwych decyzji niż tylko pas, sprawdzenie, podbicie. Po drugie wydaje się, że nawet drobna zmiana strategii może mieć drastyczny wpływ na wynik, dużo większy niż w wersji ze stałym limitem. Nawet jeden zły ruch (np. wejście all-in w złym momencie) może zepsuć całą dobrą grę. Wersję bez limitu, jako trudniejszą, zostawiamy na przyszłe badania. Reszta naszych rozważań dotyczy tylko wersji pokera Texas Hold em ze stałym limitem Strategie w pokerze Texas Hold em ze stałym limitem W kontekście pokera ze stałym limitem, strategia (patrz definicja 1) odwzorowuje stan gry w jedną z trzech decyzji jaką podejmuje agent: pas, sprawdzenie, podbicie. 12

15 Strategie gry w pokera, zwłaszcza te zrealizowane w postaci programu komputerowego, są często określane mianem pokerbotów. Badania nad nimi są prowadzone już od długiego czasu. Pokrótce opiszemy teraz różne podejścia do pokerbotów prezentowane w publikacjach naukowych. Należy pamiętać, że przedstawiona tu lista możliwych podejść zdecydowanie nie jest kompletna, nie staramy się też opisywać ich zbyt szczegółowo. Dokładniejszy opis można znaleźć w [12], a niezmiernie dokładny przegląd w [2] Strategie oparte na wiedzy (knowledge-based) Do stworzenia strategii opartej na wiedzy potrzebny jest znawca tematu pokera. Taki znawca stara się zaprojektować wygrywającą strategię, korzystając ze swojej wiedzy i doświadczenia. Najprostszym przykładem jest zestaw pewnych reguł: np. jeśli masz parę asów, zawsze podbijaj albo jeśli obie twoje karty są niższe niż 9 i pewien gracz podbił, to spasuj. Trochę bardziej wyrafinowane jest użycie pewnych wskaźników opisujących np. siłę ręki gracza czy ryzyko jakie trzeba podjąć żeby pozostać w grze. Problemy są łatwe do zauważenia: jest niezwykle trudne stworzyć niesprzeczny zbiór reguł pokrywający wszystkie przypadki w grze. Dlatego, pokerboty tego typu często utożsamiają ze sobą zbyt wiele istotnie różnych stanów gry, podejmując w nich tę samą decyzję. Strategie powstałe w wyniku takiego podejścia są poza tym statyczne, a to może być wykorzystane przez innych graczy Strategie oparte na symulacji rozgrywki W tym podejściu staramy się przejrzeć drzewo gry w celu znalezienia najlepszego ruchu. W przeciwieństwie do tradycyjnego algorytmu minimax, drzewo gry przeglądamy losowo (ponieważ nie umiemy przewidzieć optymalnych ruchów pozostałych graczy, ani tego jakie karty zostaną rozdane). Symulujemy tak przebieg rozgrywki aż do wyłożenia kart, kiedy możemy ocenić ile żetonów wygramy lub przegramy, gdy gra potoczy się w ten sposób. Przeprowadzając taką losową symulację wiele razy, możemy estymować wartość oczekiwaną wygranej w zależności od decyzji podjętej na początku. Strategie powstałe w wyniku tego podejścia niestety (wbrew być może intuicji) nie są o wiele lepsze niż strategie oparte na wiedzy, potrafią wygrywać tylko ze słabymi, niedostosowującymi się przeciwnikami Strategie przybliżające równowagę Nasha W tym podejściu, przy pomocy rozważań z teorii gier, starano się obliczać strategie grające jak najlepiej z każdym możliwym przeciwnikiem. Powstałe w wyniku tego strategie, nawet jeśli nie przegrywają z dobrymi graczami, minimalnie wygrywają ze słabymi Strategie wykorzystujące słabości Kolejną kategorię tworzą strategie zupełnie z przeciwnego bieguna: starające się jak najbardziej wykorzystywać słabości przeciwników. Ważną cechą wspólną takich strategii jest modelowanie przeciwnika. Podejmują one decyzje na podstawie oczekiwanych decyzji innych graczy, które są przewidywane dzięki modelowaniu przeciwników. Modelowanie przeciwników można realizować na wiele różnych sposobów. Prostym przykładem modelu przeciwnika są statystyki mówiące np. jak często podejmuje on poszczególne 13

16 decyzje. Bardziej wyrafinowane podejście mogłoby przeanalizować zapisy rozgrywek dostępnych online i pogrupować strategie tam napotkane na podstawie, ogólnie mówiąc, stylu gry następnie starać się dopasować przeciwnika do znanych już modeli Inne podejścia Oczywiście, stosowane są też inne podejścia. Przykładem może być użycie sieci bayesowskich albo wnioskowanie z przypadków (case-based reasoning), w którym staramy się zapamiętywać wszystkie sytuacje napotkane w dotychczasowych grach, razem z najlepszymi ruchami w tych sytuacjach. Kiedy mamy do podjęcia nową decyzję (w nowej sytuacji), porównujemy ten przypadek z przypadkami napotkanymi wcześniej, wybierając ruch np. przy użyciu algorytmu k najbliższych sąsiadów. Na szczególną uwagę zasługuje jednak, według nas, jeszcze inne podejście, zaproponowane przez Noble a [10]. Jest to zastosowanie sieci neuronowych i algorytmów ewolucyjnych. Strategie przedstawiamy jako sieci neuronowe, które jako wejścia mają podłączone informacje na temat obecnego stanu gry (a być może także o przebiegu wcześniejszych rozgrywek z tymi samymi graczami), a wyjściami są relatywne prawdopodobieństwa podjęcia każdej z decyzji. Jednak wbrew, być może, oczekiwaniom, nie uczymy tych sieci na żadnych danych treningowych. Uczenie odbywa się poprzez ewolucję strategii. Idea ewolucji została pokrótce opisana w sekcji 1.3, szczegółowy opis jest zamieszczony w sekcji 3.3. Zastanówmy się, jakie są konsekwencje przyjęcia tego podejścia do problemu. Znaną własnością sieci neuronowych jest to, że neurony w warstwach pośrednich reprezentują pewne cechy stanu gry. Sieci uczą się obliczać te cechy, a na podstawie ich wartości podejmowana jest decyzja. Nie ma tu znaczenia czy sieci są uczone metodą propagacji wstecznej, czy w wyniku ewolucji: niestety, nie wiemy jakie cechy reprezentują te neurony. Spodziewamy się, że w wyniku ewolucji powstaną dobre strategie. Jednak wiemy że ciężko zrozumieć jak naprawdę działa taka sieć neuronowa, zwłaszcza gdy ma wiele wejść, wiele neuronów i połączeń między nimi. Musimy więc pogodzić się np. z tym, że nie będziemy umieli delikatnie zmienić otrzymanej strategii żeby poprawić jej działanie w przypadkach z którymi nie radzi sobie zbyt dobrze. Ale z drugiej strony nie wymaga to praktycznie żadnej wiedzy z dziedziny pokera. Strategie walczą między sobą, dosyć łatwo też ocenić która z nich jest lepsza. Nowe strategie powstają same w wyniku ewolucji. W przypadku, gdy ewolucja zaczyna się od losowych sieci, do stworzenia dobrych strategii wystarczy sama znajomość zasad pokera. Niestety, sieci neuronowe w tym przypadku są ciężkie do uczenia klasyczną metodą propagacji wstecznej. Wynika to stąd, że nie zawsze wiadomo jak stwierdzić, czy podjęta decyzja jest dobra czy zła. Ciężko ocenić jakość pojedynczej decyzji, np. kiedy agent gra zgodnie ze swoją taktyką, której nie znamy bądź nie rozumiemy. Nie jest to wielki problem w naszym przypadku chcemy, by uczenie odbywało się przez ewolucję. Dzięki temu omijamy wspomnianą wadę pokerbotów jako sieci neuronowych. Wydaje się więc, że tworzenie strategii pokera za pomocą algorytmów ewolucyjnych jest idealnym tematem do badań. Poprzednie prace z tego tematu pokazują, że w wyniku takiego podejścia powstają zaskakująco dobre strategie. W tej pracy chcielibyśmy potwierdzić zasadność tego podejścia w ogólności. Dokładniej zaś, chcemy pójść dalej i poprawić rezultaty pracy Noble a [10]. 14

17 Rozdział 3 Poprzednie prace Niniejszy rozdział przedstawia poprzednie publikacje mające szczególne znaczenie dla tej pracy. Wszystkie z nich próbują obliczać strategie gry w pokera za pomocą algorytmów ewolucyjnych. Każdą wymienioną pracę oceniamy pod względem następujących kryteriów: Reprezentacja strategii Modelowanie przeciwników Sposób oceniania agentów Wiarygodność oceny agentów Optymalizacje parametrów 3.1. Klasyfikacja wzorców zachowań w pokerze bez limitu: podejście ewolucyjne head-start [4] Opis modelu agenta Warto zauważyć, że autorzy skupiają się na wersji pokera Texas Hold em bez limitu, co jak zauważyliśmy jest trudniejszym wariantem pokera. Praca jest godna uwagi, mimo że nie modeluje strategii jako sieci neuronowe. Agenci rozważani w pracy podejmują jedną z pięciu możliwych decyzji (pas, sprawdzenie, małe / średnie / duże podbicie) na podstawie trzech czynników wynikających z przebiegu gry i z obecnego jej stanu: siły ręki, agresywności przeciwników i ryzyka. Te własności zasługują na krótkie wyjaśnienie. Siła ręki jest zdefiniowana jako prawdopodobieństwo zdarzenia "moja ręka jest najlepsza ze wszystkich przy stole", przy założeniu, że wszystkie karty przeciwników zostały wylosowane z rozkładem jednostajnym. Ryzyko jest to wartość starająca się opisać, jak bardzo ryzykowna jest (dla danego agenta) dalsza gra, czyli przynajmniej wyrównanie obecnej stawki. Jest ono wyliczane tylko na podstawie dwóch wartości: ilości żetonów w puli i wysokości obecnej stawki. 15

18 Agresywność Przy każdym ruchu przeciwnika jest przewidywana siła jego ręki. Konkretnie, agent sprawdza przy jakiej sile ręki on podjąłby taką samą decyzję (przy ustalonym ryzyku). Następnie, agresywność decyzji jest zdefiniowana jako różnica między estymowaną siłą ręki a wartością oczekiwaną siły ręki przeciwnika, przy założeniu że jego ręka jest wylosowana z rozkładu jednostajnego. Agresywność gracza jest wyliczana z agresywności podejmowanych przez niego decyzji. Zauważmy - wartość ta opisuje więc jak bardzo agresywny przeciwnik wydaje się być dla danego agenta. Agresywność nie jest używana bezpośrednio jako czynnik decyzyjny. Zamiast tego, siła ręki gracza jest odpowiednio modyfikowana przy uwzględnieniu średniej agresywności przeciwników. Warto zauważyć, że w przeciwieństwie do sieci neuronowych, estymowane własności stanu gry (siła ręki i ryzyko) są tu zdefiniowane explicite i wyliczane według ustalonych wzorów. Tej własności sieci neuronowe nie mają; starają się jedynie, w pewien sposób przy pomocy neuronów w warstwie pośredniej, uchwycić pewne cechy stanu gry (nie wiadomo tak naprawdę jakie). Oba czynniki (siła ręki, ryzyko) zostały znormalizowane do przedziału [0, 1]. Strategie są reprezentowane jako krotki funkcji [0, 1] 2 [0, 1], mówiące dla danej siły ręki i ryzyka z jakim (relatywnie) prawdopodobieństwem powinna być podjęta jaka akcja. Dokładniej, dla każdej możliwej decyzji d { pas, sprawdzenie, małe podbicie, średnie podbicie, duże podbicie } mamy osobną funkcję f d [0, 1] 2 [0, 1]. W każdym momencie, dla danego ryzyka r i siły ręki hs, agent podejmuje decyzję d z prawdopodobieństwem Opis ewolucji f d(r,hs) Σ d f d (r,hs). Na takich strategiach odbywała się ewolucja, która jednak została opisana niezbyt szczegółowo: nie wiemy ilu osobników znajdowało się w populacji, ile generacji składało się na proces ewolucji, ile gier / rozdań odbywało się w jednej generacji itd. Wiemy jednak, że autorzy rozważyli trzy różne typy agentów: data-driven, scratch i head-start (nazwy tak jak użyte w pracy), oznaczające odpowiednio: agentów nauczonych na danych treningowych bez użycia ewolucji, agentów wyewoluowanych z losowych funkcji i agentów wyewoluowanych z agenta data-driven. Eksperymenty pokazały, że strategie head-start najlepiej radziły sobie z każdym rodzajem przeciwników (tj. z agentami innych typów, z prostymi strategiami typu "zawsze pas" lub losową, a także z ludźmi), co nie powinno być zaskoczeniem dla czytelnika Problemy z pracą Problemów z tą pracą jest kilka, część z nich zauważyli sami autorzy. Przede wszystkim: Reprezentacja strategii Jedynymi czynnikami branymi pod uwagę przy podejmowaniu decyzji jest wspomniane już ryzyko i siła ręki gracza. W rezultacie, strategia jest opisana przez funkcję [0, 1] 2 [0, 1] 5. Wydaje się, że te informacje mogą być niewystarczające do podejmowania odpowiednich decyzji; zbyt dużo informacji o stanie gry jest pomijanych (np. potencjał ręki, czyli szanse na to że w następnej fazie gry siła ręki się polepszy, obecna faza gry, ilość graczy) lub ich znaczenie jest zmniejszone (np. duża agresywność pojedynczego gracza nie będzie właściwie zauważona). To może powodować, że zbyt wiele różnych sytuacji (w których oczekiwalibyśmy różnych 16

19 decyzji) zostanie utożsamionych i potraktowanych tak samo. Widać to na przykładzie agentów scratch, tj. ewoluowanych z losowych strategii: funkcje opisujące takich agentów są niezwykle proste. Taka reprezentacja strategii ma jedną zaletę: można łatwo przedstawić graficznie agenta i jest szansa na zrozumienie jego działania, co w przypadku sieci neuronowych jest praktycznie niemożliwe. Wydaje się jednak, że zaleta ta nie rekompensuje wad tak ubogiej reprezentacji. Modelowanie przeciwników Jedynym co można zakwalifikować jako modelowanie przeciwnika, jest ocena jego agresywności, która następnie jest mimo wszystko "gubiona" przez potraktowanie jej jako części oceny siły ręki. Nie są brane pod uwagę czynniki takie jak rozkład poszczególnych decyzji u przeciwników czy nawet decyzje podjęte przez nich w trakcie obecnego rozdania. Sposób oceniania agentów Agenci są oceniani według miejsca, które zajęli w rozgrywkach, a więc pojedynczą liczbą. Taki sposób nawet jeśli ocenia w pewien sposób czy agent A jest lepszy czy gorszy od B, nie ocenia tego jak bardzo jest on lepszy lub gorszy. Mogłoby to być akceptowalne w przypadku pokera Hold em ze stałym limitem, jednak w wersji bez limitu zyski lub straty mogą być ogromne. Wydaje się, że informacja na temat zysków / strat agenta w trakcie turnieju byłaby lepszym wyznacznikiem jego jakości. W szczególności agent, który często wygrywa minimalnie, ale od czasu do czasu przegrywa wszystkie swoje pieniądze przy takim sposobie oceniania dostaje wysoką ocenę; być może np. agent który często minimalnie przegrywa, ale od czasu do czasu bardzo znacząco wygrywa, powinien zostać oceniony lepiej. W pracy znajdujemy, że niewiarygodnie prymitywna strategia "zawsze pas" wcale nie wygląda źle na tle agentów wytworzonych w procesie ewolucji, co z jednej strony świadczy o jakości wyewoluowanych agentów, z drugiej jednak strony - gdyby wyniki przedstawić w postaci zysków / strat, nikt nie zwróciłby uwagi na taką strategię. Wiarygodność oceny agentów Właściwie wszystkie przeprowadzone eksperymenty porównują agentów powstałych w pracy między sobą. Jest zaledwie wspomniane, że agenci grali też przeciwko autorom. Brak jednak szczegółowych porównań np. z graczami on-line, lub z referencyjnymi strategiami innymi niż "zawsze pas" czy losową (więc na przykład z agentami powstałymi w innych pracach). W rezultacie ciężko jest obiektywnie ocenić jakość powstałych agentów. Optymalizacja parametrów Zostało przeprowadzonych bardzo niewiele eksperymentów sprawdzających np. inne funkcje liczące ryzyko czy agresywność, inne definicje małego / średniego / dużego zakładu, a nawet parametry samej ewolucji jak np. ilość generacji, ilość osobników w populacji czy częstość / rodzaj mutacji. Jest ewidentne, że nawet małe zmiany parametrów potencjalnie mogłyby prowadzić do lepszych wyników. 17

20 3.2. Agenci pokera Texas Hold em bez limitu tworzeni przez ewolucję sieci neuronowych [9] Ta publikacja opisuje wyniki prac kontynuowanych przez dwóch członków zespołu pracującego nad pracą wspomnianą powyżej. Widać jednak istotny postęp, w szczególności: Strategie są reprezentowane jako sieci neuronowe Rozważone są dodatkowe mechanizmy mające wspomagać ewolucję agentów: ko-ewolucja i galeria najlepszych wyników (hall of fame) Opis modelu agenta Strategie są reprezentowane przez sieci neuronowe o ustalonej strukturze: 35 neuronów wejściowych, 20 ukrytych, 5 wyjściowych - odpowiadających tym samym decyzjom co w poprzedniej pracy. Wejściami dla sieci są: ilość żetonów w puli, obecna wysokość zakładu, ilość przeciwników, odsetek wygrywających rąk, i dla każdego przeciwnika: ilość jego żetonów oraz jego całkowita i chwilowa agresywność. Aby obliczyć odsetek wygrywających rąk, wielokrotnie przeprowadzana jest symulacja wszystkich pozostałych kart. Dla każdego przypadku (po wylosowaniu przyszłych kart), można łatwo ocenić czy dana ręka wygra, zremisuje czy przegra jeśli dojdzie do pokazania kart. Odsetek wygrywających rąk ma być kompromisem pomiędzy siłą ręki a jej potencjałem. Agresywność gracza jest średnią z agresywności jego decyzji, gdzie pas ma agresywność 0, sprawdzenie - 1, a podbicie - x/bet jeśli agent podbił o x przy minimalnej wartości zakładu bet. Chwilowa agresywność jest liczona jako średnia agresywność z ostatnich 10 rozdań. Zostały więc rozwiązane problemy poprzedniej pracy: uboga reprezentacja strategii i prymitywne modelowanie przeciwników Problemy z pracą Reprezentacja strategii Wydaje się, że struktura sieci jest nietypowa (patrz sekcja 1.2 i [8], [16]): aż 25 neuronów pośrednich przy 35 wejściowych. Ponadto, w wejściach sieci nadal brakuje ważnych informacji o grze, np. ilości pozostałych żetonów, pozycji gracza. Być może zasadne byłoby też osobne wejście sieci na siłę ręki i osobne na jej potencjał, zamiast jednego na odsetek wygrywających rąk; są to współczynniki łatwe do obliczenia, znane i używane w środowisku pokerowym. Wiarygodność oceny agentów Podobnie jak w poprzedniej pracy, agenci są oceniani według miejsca zajętego w turnieju, co nie mówi nic o zyskach / stratach. Pomijając ten fakt, agenci są porównywani z najlepszymi agentami wyewoluowanymi z poprzedniej pracy (najlepszy data-driven, najlepszy head start i najlepszy scratch) oraz z następującymi strategiami referencyjnymi: zawsze pas, zawsze sprawdzaj, zawsze podbijaj, zawsze sprawdzaj lub podbijaj (50% szans na każdą z decyzji). Jest ewidentne, że takie referencyjne strategie mają mało wspólnego z rzeczywistością - można zaryzykować stwierdzenie, że nikt nie gra w pokera używając takich strategii. Z takimi przeciwnikami najlepsi wyewoluowani agenci zajmują średnio 3 miejsce w turnieju (agenci są oceniani w ten sam sposób co w poprzedniej pracy - średnie miejsce zajęte w turnieju). Niestety, trzeba przyznać - taki sposób przedstawienia wyników nie mówi zbyt wiele. 18

Odmiany Gry. Rozpoczęcie gry

Odmiany Gry. Rozpoczęcie gry Odmiany Gry Limit: każda runda ma określony wcześniej limit podbicia, Pot-Limit: w każdej rundzie gracz nie może postawić więcej niż wartość puli znajdującej się na stole, No-Limit: w każdej chwili można

Bardziej szczegółowo

Algorytmy genetyczne

Algorytmy genetyczne Algorytmy genetyczne Motto: Zamiast pracowicie poszukiwać najlepszego rozwiązania problemu informatycznego lepiej pozwolić, żeby komputer sam sobie to rozwiązanie wyhodował! Algorytmy genetyczne służą

Bardziej szczegółowo

Partition Search i gry z niezupełną informacją

Partition Search i gry z niezupełną informacją MIMUW 21 stycznia 2010 1 Co to jest gra? Proste algorytmy 2 Pomysł Algorytm Przykład użycia 3 Monte Carlo Inne spojrzenie Definicja Co to jest gra? Proste algorytmy Grą o wartościach w przedziale [0, 1]

Bardziej szczegółowo

TEORIA GIER W EKONOMII WYKŁAD 5: GRY DWUOSOBOWE KOOPERACYJNE O SUMIE NIESTAŁEJ

TEORIA GIER W EKONOMII WYKŁAD 5: GRY DWUOSOBOWE KOOPERACYJNE O SUMIE NIESTAŁEJ TEORI GIER W EKONOMII WYKŁD 5: GRY DWUOSOOWE KOOPERCYJNE O SUMIE NIESTŁEJ dr Robert Kowalczyk Katedra nalizy Nieliniowej Wydział Matematyki i Informatyki UŁ Gry dwumacierzowe Skończoną grę dwuosobową o

Bardziej szczegółowo

10. Wstęp do Teorii Gier

10. Wstęp do Teorii Gier 10. Wstęp do Teorii Gier Definicja Gry Matematycznej Gra matematyczna spełnia następujące warunki: a) Jest co najmniej dwóch racjonalnych graczy. b) Zbiór możliwych dezycji każdego gracza zawiera co najmniej

Bardziej szczegółowo

11. Gry Macierzowe - Strategie Czyste i Mieszane

11. Gry Macierzowe - Strategie Czyste i Mieszane 11. Gry Macierzowe - Strategie Czyste i Mieszane W grze z doskonałą informacją, gracz nie powinien wybrać akcję w sposób losowy (o ile wypłaty z różnych decyzji nie są sobie równe). Z drugiej strony, gdy

Bardziej szczegółowo

Algorytm genetyczny (genetic algorithm)-

Algorytm genetyczny (genetic algorithm)- Optymalizacja W praktyce inżynierskiej często zachodzi potrzeba znalezienia parametrów, dla których system/urządzenie będzie działać w sposób optymalny. Klasyczne podejście do optymalizacji: sformułowanie

Bardziej szczegółowo

Patrycja Prokopiuk. Zastosowanie rachunku prawdopodobieństwa w Pokerze Pięciokartowym

Patrycja Prokopiuk. Zastosowanie rachunku prawdopodobieństwa w Pokerze Pięciokartowym Patrycja Prokopiuk Zastosowanie rachunku prawdopodobieństwa w Pokerze Pięciokartowym Wrocław 7 maja 04 Spis treści Wstęp........................................ Objaśnienie obliczeń................................

Bardziej szczegółowo

Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji

Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji Weryfikacja hipotez statystycznych, parametryczne testy istotności w populacji Dr Joanna Banaś Zakład Badań Systemowych Instytut Sztucznej Inteligencji i Metod Matematycznych Wydział Informatyki Politechniki

Bardziej szczegółowo

Funkcje wymierne. Jerzy Rutkowski. Działania dodawania i mnożenia funkcji wymiernych określa się wzorami: g h + k l g h k.

Funkcje wymierne. Jerzy Rutkowski. Działania dodawania i mnożenia funkcji wymiernych określa się wzorami: g h + k l g h k. Funkcje wymierne Jerzy Rutkowski Teoria Przypomnijmy, że przez R[x] oznaczamy zbiór wszystkich wielomianów zmiennej x i o współczynnikach rzeczywistych Definicja Funkcją wymierną jednej zmiennej nazywamy

Bardziej szczegółowo

Automatyczny dobór parametrów algorytmu genetycznego

Automatyczny dobór parametrów algorytmu genetycznego Automatyczny dobór parametrów algorytmu genetycznego Remigiusz Modrzejewski 22 grudnia 2008 Plan prezentacji Wstęp Atrakcyjność Pułapki Klasyfikacja Wstęp Atrakcyjność Pułapki Klasyfikacja Konstrukcja

Bardziej szczegółowo

Teoria Gier - wojna, rybołówstwo i sprawiedliwość w polityce.

Teoria Gier - wojna, rybołówstwo i sprawiedliwość w polityce. Liceum Ogólnokształcące nr XIV we Wrocławiu 5 maja 2009 1 2 Podobieństwa i różnice do gier o sumie zerowej Równowaga Nasha I co teraz zrobimy? 3 Idee 1 Grać będą dwie osoby. U nas nazywają się: pan Wiersz

Bardziej szczegółowo

METODY SZTUCZNEJ INTELIGENCJI 2 Opis projektu

METODY SZTUCZNEJ INTELIGENCJI 2 Opis projektu Kamil Figura Krzysztof Kaliński Bartek Kutera METODY SZTUCZNEJ INTELIGENCJI 2 Opis projektu Porównanie metod uczenia z rodziny TD z algorytmem Layered Learning na przykładzie gry w warcaby i gry w anty-warcaby

Bardziej szczegółowo

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe.

Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. Zagadnienia optymalizacji i aproksymacji. Sieci neuronowe. zajecia.jakubw.pl/nai Literatura: S. Osowski, Sieci neuronowe w ujęciu algorytmicznym. WNT, Warszawa 997. PODSTAWOWE ZAGADNIENIA TECHNICZNE AI

Bardziej szczegółowo

0 + 0 = 0, = 1, = 1, = 0.

0 + 0 = 0, = 1, = 1, = 0. 5 Kody liniowe Jak już wiemy, w celu przesłania zakodowanego tekstu dzielimy go na bloki i do każdego z bloków dodajemy tak zwane bity sprawdzające. Bity te są w ścisłej zależności z bitami informacyjnymi,

Bardziej szczegółowo

OPTYMALIZACJA HARMONOGRAMOWANIA MONTAŻU SAMOCHODÓW Z ZASTOSOWANIEM PROGRAMOWANIA W LOGICE Z OGRANICZENIAMI

OPTYMALIZACJA HARMONOGRAMOWANIA MONTAŻU SAMOCHODÓW Z ZASTOSOWANIEM PROGRAMOWANIA W LOGICE Z OGRANICZENIAMI Autoreferat do rozprawy doktorskiej OPTYMALIZACJA HARMONOGRAMOWANIA MONTAŻU SAMOCHODÓW Z ZASTOSOWANIEM PROGRAMOWANIA W LOGICE Z OGRANICZENIAMI Michał Mazur Gliwice 2016 1 2 Montaż samochodów na linii w

Bardziej szczegółowo

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta

Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta Algorytm wstecznej propagacji błędów dla sieci RBF Michał Bereta www.michalbereta.pl Sieci radialne zawsze posiadają jedną warstwę ukrytą, która składa się z neuronów radialnych. Warstwa wyjściowa składa

Bardziej szczegółowo

1. Liczby naturalne, podzielność, silnie, reszty z dzielenia

1. Liczby naturalne, podzielność, silnie, reszty z dzielenia 1. Liczby naturalne, podzielność, silnie, reszty z dzielenia kwadratów i sześcianów przez małe liczby, cechy podzielności przez 2, 4, 8, 5, 25, 125, 3, 9. 26 września 2009 r. Uwaga: Przyjmujemy, że 0 nie

Bardziej szczegółowo

Scenariusz zajęć. Moduł VI. Projekt Gra logiczna zgadywanie liczby

Scenariusz zajęć. Moduł VI. Projekt Gra logiczna zgadywanie liczby Scenariusz zajęć Moduł VI Projekt Gra logiczna zgadywanie liczby Moduł VI Projekt Gra logiczna zgadywanie liczby Cele ogólne: przypomnienie i utrwalenie poznanych wcześniej poleceń i konstrukcji języka

Bardziej szczegółowo

Programowanie genetyczne, gra SNAKE

Programowanie genetyczne, gra SNAKE STUDENCKA PRACOWNIA ALGORYTMÓW EWOLUCYJNYCH Tomasz Kupczyk, Tomasz Urbański Programowanie genetyczne, gra SNAKE II UWr Wrocław 2009 Spis treści 1. Wstęp 3 1.1. Ogólny opis.....................................

Bardziej szczegółowo

Testowanie hipotez statystycznych

Testowanie hipotez statystycznych Agenda Instytut Matematyki Politechniki Łódzkiej 2 stycznia 2012 Agenda Agenda 1 Wprowadzenie Agenda 2 Hipoteza oraz błędy I i II rodzaju Hipoteza alternatywna Statystyka testowa Zbiór krytyczny Poziom

Bardziej szczegółowo

Aukcje groszowe. Podejście teoriogrowe

Aukcje groszowe. Podejście teoriogrowe Aukcje groszowe Podejście teoriogrowe Plan działania Aukcje groszowe Budowa teorii Sprawdzenie teorii Bibliografia: B. Platt, J. Price, H. Tappen, Pay-to-Bid Auctions [online]. 9 lipca 2009 [dostęp 3.02.2011].

Bardziej szczegółowo

Obliczanie procentu danej liczby i liczby na podstawie jej. procentu jako umiejętności kluczowe w pracy doradcy. inwestycyjnego.

Obliczanie procentu danej liczby i liczby na podstawie jej. procentu jako umiejętności kluczowe w pracy doradcy. inwestycyjnego. 1 Obliczanie procentu danej liczby i liczby na podstawie jej procentu jako umiejętności kluczowe w pracy doradcy inwestycyjnego. Czas trwania zajęć: ok. 40 minut Kontekst w jakim wprowadzono doświadczenie:

Bardziej szczegółowo

166 Wstęp do statystyki matematycznej

166 Wstęp do statystyki matematycznej 166 Wstęp do statystyki matematycznej Etap trzeci realizacji procesu analizy danych statystycznych w zasadzie powinien rozwiązać nasz zasadniczy problem związany z identyfikacją cechy populacji generalnej

Bardziej szczegółowo

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania Struktury i Algorytmy Wspomagania Decyzji Zadanie projektowe 2 Czas realizacji: 6 godzin Maksymalna liczba

Bardziej szczegółowo

Gra dla 2-4 graczy w wieku 8-108 lat

Gra dla 2-4 graczy w wieku 8-108 lat Autor gry: Michael Ferch Ilustracje: Maciej Szymanowicz Gra dla 2-4 graczy w wieku 8-108 lat A to heca! Zwierzaki opuściły gospodarstwo i postanowiły pohasać po łące. Zadaniem graczy będzie łapanie zwierząt

Bardziej szczegółowo

ALGORYTMICZNA I STATYSTYCZNA ANALIZA DANYCH

ALGORYTMICZNA I STATYSTYCZNA ANALIZA DANYCH 1 ALGORYTMICZNA I STATYSTYCZNA ANALIZA DANYCH WFAiS UJ, Informatyka Stosowana II stopień studiów 2 Wnioskowanie statystyczne dla zmiennych numerycznych Porównywanie dwóch średnich Boot-strapping Analiza

Bardziej szczegółowo

Statystyki: miary opisujące rozkład! np. : średnia, frakcja (procent), odchylenie standardowe, wariancja, mediana itd.

Statystyki: miary opisujące rozkład! np. : średnia, frakcja (procent), odchylenie standardowe, wariancja, mediana itd. Wnioskowanie statystyczne obejmujące metody pozwalające na uogólnianie wyników z próby na nieznane wartości parametrów oraz szacowanie błędów tego uogólnienia. Przewidujemy nieznaną wartości parametru

Bardziej szczegółowo

Wstęp do Informatyki zadania ze złożoności obliczeniowej z rozwiązaniami

Wstęp do Informatyki zadania ze złożoności obliczeniowej z rozwiązaniami Wstęp do Informatyki zadania ze złożoności obliczeniowej z rozwiązaniami Przykład 1. Napisz program, który dla podanej liczby n wypisze jej rozkład na czynniki pierwsze. Oblicz asymptotyczną złożoność

Bardziej szczegółowo

SCHEMAT ROZWIĄZANIA ZADANIA OPTYMALIZACJI PRZY POMOCY ALGORYTMU GENETYCZNEGO

SCHEMAT ROZWIĄZANIA ZADANIA OPTYMALIZACJI PRZY POMOCY ALGORYTMU GENETYCZNEGO SCHEMAT ROZWIĄZANIA ZADANIA OPTYMALIZACJI PRZY POMOCY ALGORYTMU GENETYCZNEGO. Rzeczywistość (istniejąca lub projektowana).. Model fizyczny. 3. Model matematyczny (optymalizacyjny): a. Zmienne projektowania

Bardziej szczegółowo

Algorytmy genetyczne

Algorytmy genetyczne 9 listopada 2010 y ewolucyjne - zbiór metod optymalizacji inspirowanych analogiami biologicznymi (ewolucja naturalna). Pojęcia odwzorowujące naturalne zjawiska: Osobnik Populacja Genotyp Fenotyp Gen Chromosom

Bardziej szczegółowo

Sposoby prezentacji problemów w statystyce

Sposoby prezentacji problemów w statystyce S t r o n a 1 Dr Anna Rybak Instytut Informatyki Uniwersytet w Białymstoku Sposoby prezentacji problemów w statystyce Wprowadzenie W artykule zostaną zaprezentowane podstawowe zagadnienia z zakresu statystyki

Bardziej szczegółowo

8. Neuron z ciągłą funkcją aktywacji.

8. Neuron z ciągłą funkcją aktywacji. 8. Neuron z ciągłą funkcją aktywacji. W tym ćwiczeniu zapoznamy się z modelem sztucznego neuronu oraz przykładem jego wykorzystania do rozwiązywanie prostego zadania klasyfikacji. Neuron biologiczny i

Bardziej szczegółowo

Kto jeszcze gra w domino?

Kto jeszcze gra w domino? Mirosław Dąbrowski Kto jeszcze gra w domino? Domino, choć wciąż jeszcze można jego zestawy kupić w sklepach z zabawkami, nie należy już chyba do bardzo popularnych dziecięcych rozrywek. Szkoda, bo gra

Bardziej szczegółowo

Metody Optymalizacji: Przeszukiwanie z listą tabu

Metody Optymalizacji: Przeszukiwanie z listą tabu Metody Optymalizacji: Przeszukiwanie z listą tabu Wojciech Kotłowski Instytut Informatyki Politechniki Poznańskiej email: imię.nazwisko@cs.put.poznan.pl pok. 2 (CW) tel. (61)665-2936 konsultacje: wtorek

Bardziej szczegółowo

Odkrywanie algorytmów kwantowych za pomocą programowania genetycznego

Odkrywanie algorytmów kwantowych za pomocą programowania genetycznego Odkrywanie algorytmów kwantowych za pomocą programowania genetycznego Piotr Rybak Koło naukowe fizyków Migacz, Uniwersytet Wrocławski Piotr Rybak (Migacz UWr) Odkrywanie algorytmów kwantowych 1 / 17 Spis

Bardziej szczegółowo

AiSD zadanie trzecie

AiSD zadanie trzecie AiSD zadanie trzecie Gliwiński Jarosław Marek Kruczyński Konrad Marek Grupa dziekańska I5 5 czerwca 2008 1 Wstęp Celem postawionym przez zadanie trzecie było tzw. sortowanie topologiczne. Jest to typ sortowania

Bardziej szczegółowo

Programowanie genetyczne - gra SNAKE

Programowanie genetyczne - gra SNAKE PRACOWNIA Z ALGORYTMÓW EWOLUCYJNYCH Tomasz Kupczyk, Tomasz Urbański Programowanie genetyczne - gra SNAKE II UWr Wrocław 2009 Spis treści 1. Wstęp 3 1.1. Ogólny opis.....................................

Bardziej szczegółowo

TEORIA GIER W EKONOMII WYKŁAD 2: GRY DWUOSOBOWE O SUMIE ZEROWEJ. dr Robert Kowalczyk Katedra Analizy Nieliniowej Wydział Matematyki i Informatyki UŁ

TEORIA GIER W EKONOMII WYKŁAD 2: GRY DWUOSOBOWE O SUMIE ZEROWEJ. dr Robert Kowalczyk Katedra Analizy Nieliniowej Wydział Matematyki i Informatyki UŁ TEORIA GIER W EKONOMII WYKŁAD 2: GRY DWUOSOBOWE O SUMIE ZEROWEJ dr Robert Kowalczyk Katedra Analizy Nieliniowej Wydział Matematyki i Informatyki UŁ Definicja gry o sumie zerowej Powiemy, że jest grą o

Bardziej szczegółowo

Teoria gier matematyki). optymalności decyzji 2 lub więcej Decyzja wpływa na wynik innych graczy strategiami

Teoria gier matematyki). optymalności decyzji 2 lub więcej Decyzja wpływa na wynik innych graczy strategiami Teoria gier Teoria gier jest częścią teorii decyzji (czyli gałęzią matematyki). Teoria decyzji - decyzje mogą być podejmowane w warunkach niepewności, ale nie zależą od strategicznych działań innych Teoria

Bardziej szczegółowo

MODELOWANIE RZECZYWISTOŚCI

MODELOWANIE RZECZYWISTOŚCI MODELOWANIE RZECZYWISTOŚCI Daniel Wójcik Instytut Biologii Doświadczalnej PAN Szkoła Wyższa Psychologii Społecznej d.wojcik@nencki.gov.pl dwojcik@swps.edu.pl tel. 022 5892 424 http://www.neuroinf.pl/members/danek/swps/

Bardziej szczegółowo

Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego

Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego IBS PAN, Warszawa 9 kwietnia 2008 Obrona rozprawy doktorskiej Neuro-genetyczny system komputerowy do prognozowania zmiany indeksu giełdowego mgr inż. Marcin Jaruszewicz promotor: dr hab. inż. Jacek Mańdziuk,

Bardziej szczegółowo

Badania operacyjne: Wykład Zastosowanie kolorowania grafów w planowaniu produkcji typu no-idle

Badania operacyjne: Wykład Zastosowanie kolorowania grafów w planowaniu produkcji typu no-idle Badania operacyjne: Wykład Zastosowanie kolorowania grafów w planowaniu produkcji typu no-idle Paweł Szołtysek 12 czerwca 2008 Streszczenie Planowanie produkcji jest jednym z problemów optymalizacji dyskretnej,

Bardziej szczegółowo

Zajęcia nr. 6: Równania i układy równań liniowych

Zajęcia nr. 6: Równania i układy równań liniowych Zajęcia nr. 6: Równania i układy równań liniowych 13 maja 2005 1 Podstawowe pojęcia. Definicja 1.1 (równanie liniowe). Równaniem liniowym będziemy nazwyać równanie postaci: ax = b, gdzie x oznacza niewiadomą,

Bardziej szczegółowo

MODELOWANIE RZECZYWISTOŚCI

MODELOWANIE RZECZYWISTOŚCI MODELOWANIE RZECZYWISTOŚCI Daniel Wójcik Instytut Biologii Doświadczalnej PAN d.wojcik@nencki.gov.pl tel. 022 5892 424 http://www.neuroinf.pl/members/danek/swps/ Podręcznik Iwo Białynicki-Birula Iwona

Bardziej szczegółowo

Gry o sumie niezerowej

Gry o sumie niezerowej Gry o sumie niezerowej Równowagi Nasha 2011-12-06 Zdzisław Dzedzej 1 Pytanie Czy profile równowagi Nasha są dobrym rozwiązaniem gry o dowolnej sumie? Zaleta: zawsze istnieją (w grach dwumacierzowych, a

Bardziej szczegółowo

Matematyk Ci powie, co łączy Eugeniusza Oniegina i gry hazardowe

Matematyk Ci powie, co łączy Eugeniusza Oniegina i gry hazardowe Matematyk Ci powie, co łączy Eugeniusza Oniegina i gry hazardowe Empik każdego inspiruje inaczej Aleksander Puszkin (1799 1837) Andrey (Andrei) Andreyevich Markov (1856 1922) Wśród 20 tysięcy początkowych

Bardziej szczegółowo

Optymalizacja parametrów w strategiach inwestycyjnych dla event-driven tradingu dla odczytu Australia Employment Change

Optymalizacja parametrów w strategiach inwestycyjnych dla event-driven tradingu dla odczytu Australia Employment Change Raport 4/2015 Optymalizacja parametrów w strategiach inwestycyjnych dla event-driven tradingu dla odczytu Australia Employment Change autor: Michał Osmoła INIME Instytut nauk informatycznych i matematycznych

Bardziej szczegółowo

ZASADY GRY NAJCZĘSCIEJ GRYWANA GRA LICZBOWA NA ŚWIECIE DLA CAŁEJ RODZINY

ZASADY GRY NAJCZĘSCIEJ GRYWANA GRA LICZBOWA NA ŚWIECIE DLA CAŁEJ RODZINY 12355541 Rummikub ZASADY GRY NAJCZĘSCIEJ GRYWANA GRA LICZBOWA NA ŚWIECIE DLA CAŁEJ RODZINY Dla 2 4 graczy w wieku od 7 lat Zawartość opakowania: 104 kostki do gry, ponumerowane od 1 do 13, w czterech kolorach

Bardziej szczegółowo

Ciała i wielomiany 1. przez 1, i nazywamy jedynką, zaś element odwrotny do a 0 względem działania oznaczamy przez a 1, i nazywamy odwrotnością a);

Ciała i wielomiany 1. przez 1, i nazywamy jedynką, zaś element odwrotny do a 0 względem działania oznaczamy przez a 1, i nazywamy odwrotnością a); Ciała i wielomiany 1 Ciała i wielomiany 1 Definicja ciała Niech F będzie zbiorem, i niech + ( dodawanie ) oraz ( mnożenie ) będą działaniami na zbiorze F. Definicja. Zbiór F wraz z działaniami + i nazywamy

Bardziej szczegółowo

Temat 1: Pojęcie gry, gry macierzowe: dominacje i punkty siodłowe

Temat 1: Pojęcie gry, gry macierzowe: dominacje i punkty siodłowe Temat 1: Pojęcie gry, gry macierzowe: dominacje i punkty siodłowe Teorię gier można określić jako teorię podejmowania decyzji w szczególnych warunkach. Zajmuje się ona logiczną analizą sytuacji konfliktu

Bardziej szczegółowo

Omahaha dla każdego (4/4)

Omahaha dla każdego (4/4) Omahaha dla każdego (4/4) Prezentacja: 1. Bet sizing 2. Preflop 3bet 3. Float 4. Check-raise 5. Bluff-raise Rozgrywka: Gra: PLO SH Blinds: 0.10/0.25 Sieć: Full Tilt Poker Liczba stołów: 3 Stoły: 100bb

Bardziej szczegółowo

Programowanie dynamiczne

Programowanie dynamiczne Programowanie dynamiczne Ciąg Fibonacciego fib(0)=1 fib(1)=1 fib(n)=fib(n-1)+fib(n-2), gdzie n 2 Elementy tego ciągu stanowią liczby naturalne tworzące ciąg o takiej własności, że kolejny wyraz (z wyjątkiem

Bardziej szczegółowo

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar... 1. Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16

Spis treści. Przedmowa... XI. Rozdział 1. Pomiar: jednostki miar... 1. Rozdział 2. Pomiar: liczby i obliczenia liczbowe... 16 Spis treści Przedmowa.......................... XI Rozdział 1. Pomiar: jednostki miar................. 1 1.1. Wielkości fizyczne i pozafizyczne.................. 1 1.2. Spójne układy miar. Układ SI i jego

Bardziej szczegółowo

Faza Określania Wymagań

Faza Określania Wymagań Faza Określania Wymagań Celem tej fazy jest dokładne określenie wymagań klienta wobec tworzonego systemu. W tej fazie dokonywana jest zamiana celów klienta na konkretne wymagania zapewniające osiągnięcie

Bardziej szczegółowo

PDF created with FinePrint pdffactory Pro trial version http://www.fineprint.com

PDF created with FinePrint pdffactory Pro trial version http://www.fineprint.com Analiza korelacji i regresji KORELACJA zależność liniowa Obserwujemy parę cech ilościowych (X,Y). Doświadczenie jest tak pomyślane, aby obserwowane pary cech X i Y (tzn i ta para x i i y i dla różnych

Bardziej szczegółowo

Analiza wielokryterialna wstęp do zagadnienia

Analiza wielokryterialna wstęp do zagadnienia Organizacja, przebieg i zarządzanie inwestycją budowlaną Analiza wielokryterialna wstęp do zagadnienia dr hab. Mieczysław Połoński prof. SGGW 1 Wprowadzenie Jednym z podstawowych, a równocześnie najważniejszym

Bardziej szczegółowo

Maria Romanowska UDOWODNIJ, ŻE... PRZYKŁADOWE ZADANIA MATURALNE Z MATEMATYKI

Maria Romanowska UDOWODNIJ, ŻE... PRZYKŁADOWE ZADANIA MATURALNE Z MATEMATYKI Maria Romanowska UDOWODNIJ, ŻE... PRZYKŁADOWE ZADANIA MATURALNE Z MATEMATYKI Matematyka dla liceum ogólnokształcącego i technikum w zakresie podstawowym i rozszerzonym Z E S Z Y T M E T O D Y C Z N Y Miejski

Bardziej szczegółowo

ALGORYTMICZNA I STATYSTYCZNA ANALIZA DANYCH

ALGORYTMICZNA I STATYSTYCZNA ANALIZA DANYCH 1 ALGORYTMICZNA I STATYSTYCZNA ANALIZA DANYCH WFAiS UJ, Informatyka Stosowana II stopień studiów 2 Wnioskowanie statystyczne Czyli jak bardzo jesteśmy pewni że parametr oceniony na podstawie próbki jest

Bardziej szczegółowo

Optymalizacja. Wybrane algorytmy

Optymalizacja. Wybrane algorytmy dr hab. inż. Instytut Informatyki Politechnika Poznańska www.cs.put.poznan.pl/mkomosinski, Andrzej Jaszkiewicz Problem optymalizacji kombinatorycznej Problem optymalizacji kombinatorycznej jest problemem

Bardziej szczegółowo

Liczba zadań a rzetelność testu na przykładzie testów biegłości językowej z języka angielskiego

Liczba zadań a rzetelność testu na przykładzie testów biegłości językowej z języka angielskiego Ewaluacja biegłości językowej Od pomiaru do sztuki pomiaru Liczba zadań a rzetelność testu na przykładzie testów biegłości językowej z języka angielskiego Tomasz Żółtak Instytut Badań Edukacyjnych oraz

Bardziej szczegółowo

9. ILE TO KOSZTUJE CZYLI OD ZAGADKI DO ZADANIA TEKSTOWEGO, CZ. III

9. ILE TO KOSZTUJE CZYLI OD ZAGADKI DO ZADANIA TEKSTOWEGO, CZ. III 46 Mirosław Dąbrowski 9. ILE TO KOSZTUJE CZYLI OD ZAGADKI DO ZADANIA TEKSTOWEGO, CZ. III Cele ogólne w szkole podstawowej: zdobycie przez uczniów umiejętności wykorzystywania posiadanych wiadomości podczas

Bardziej szczegółowo

Uniwersytet w Białymstoku Wydział Ekonomiczno-Informatyczny w Wilnie SYLLABUS na rok akademicki 2012/2013 http://www.wilno.uwb.edu.

Uniwersytet w Białymstoku Wydział Ekonomiczno-Informatyczny w Wilnie SYLLABUS na rok akademicki 2012/2013 http://www.wilno.uwb.edu. SYLLABUS na rok akademicki 01/013 Tryb studiów Studia stacjonarne Kierunek studiów Informatyka Poziom studiów Pierwszego stopnia Rok studiów/ semestr /3 Specjalność Bez specjalności Kod katedry/zakładu

Bardziej szczegółowo

Wykład 4. Określimy teraz pewną ważną klasę pierścieni.

Wykład 4. Określimy teraz pewną ważną klasę pierścieni. Wykład 4 Określimy teraz pewną ważną klasę pierścieni. Twierdzenie 1 Niech m, n Z. Jeśli n > 0 to istnieje dokładnie jedna para licz q, r, że: m = qn + r, 0 r < n. Liczbę r nazywamy resztą z dzielenia

Bardziej szczegółowo

Projekt Śnieżna wojna

Projekt Śnieżna wojna Nazwa implementacji: Stworzenie gry "Śnieżna wojna" Autor: mdemski Opis implementacji: Scenariusz gry "Śnieżna wojna" oraz implementacja w Scratch 2.0. Wersja podstawowa i propozycja rozbudowy gry dla

Bardziej szczegółowo

ATOLL. Wykonali: Aleksandra Kuchta, Łukasz Wójcik, Sztuczna Inteligencja, Semestr trzeci, Kierunek Informatyka, Wydział Informatyki i Zarządzania,

ATOLL. Wykonali: Aleksandra Kuchta, Łukasz Wójcik, Sztuczna Inteligencja, Semestr trzeci, Kierunek Informatyka, Wydział Informatyki i Zarządzania, Sztuczna Inteligencja, Semestr trzeci, Kierunek Informatyka, Wydział Informatyki i Zarządzania, Politechnika Poznańska ATOLL Wykonali: Aleksandra Kuchta, WFT, PP, nr 76690, rok IV Łukasz Wójcik, WIiZ,

Bardziej szczegółowo

Testowanie modeli predykcyjnych

Testowanie modeli predykcyjnych Testowanie modeli predykcyjnych Wstęp Podczas budowy modelu, którego celem jest przewidywanie pewnych wartości na podstawie zbioru danych uczących poważnym problemem jest ocena jakości uczenia i zdolności

Bardziej szczegółowo

RAPORT PO SPRAWDZIANIE SZÓSTOKLASISTY

RAPORT PO SPRAWDZIANIE SZÓSTOKLASISTY Szkoła Podstawowa nr 2 im. Jana Kochanowskiego RAPORT PO SPRAWDZIANIE SZÓSTOKLASISTY Lublin, 2016 r. 1 Wstęp 5 kwietnia 2016 roku uczniowie klas VI napisali sprawdzian szóstoklasisty. Składał się on z

Bardziej szczegółowo

25. NIE TYLKO WORECZKI CZYLI O ROZUMIENIU SYSTEMU DZIESIĘTNEGO, CZ. I

25. NIE TYLKO WORECZKI CZYLI O ROZUMIENIU SYSTEMU DZIESIĘTNEGO, CZ. I 124 25. NIE TYLKO WORECZKI CZYLI O ROZUMIENIU SYSTEMU DZIESIĘTNEGO, CZ. I Mirosław Dąbrowski 25. NIE TYLKO WORECZKI CZYLI O ROZUMIENIU SYSTEMU DZIESIĘTNEGO, CZ. I Cele ogólne w szkole podstawowej: zdobycie

Bardziej szczegółowo

Stochastyczna dynamika z opóźnieniem czasowym w grach ewolucyjnych oraz modelach ekspresji i regulacji genów

Stochastyczna dynamika z opóźnieniem czasowym w grach ewolucyjnych oraz modelach ekspresji i regulacji genów Stochastyczna dynamika z opóźnieniem czasowym w grach ewolucyjnych oraz modelach ekspresji i regulacji genów Jacek Miękisz Instytut Matematyki Stosowanej i Mechaniki Uniwersytet Warszawski Warszawa 14

Bardziej szczegółowo

Przykładowe zadania z teorii liczb

Przykładowe zadania z teorii liczb Przykładowe zadania z teorii liczb I. Podzielność liczb całkowitych. Liczba a = 346 przy dzieleniu przez pewną liczbę dodatnią całkowitą b daje iloraz k = 85 i resztę r. Znaleźć dzielnik b oraz resztę

Bardziej szczegółowo

Weryfikacja hipotez statystycznych

Weryfikacja hipotez statystycznych Weryfikacja hipotez statystycznych Hipoteza Test statystyczny Poziom istotności Testy jednostronne i dwustronne Testowanie równości wariancji test F-Fishera Testowanie równości wartości średnich test t-studenta

Bardziej szczegółowo

Zadania ze statystyki, cz.7 - hipotezy statystyczne, błąd standardowy, testowanie hipotez statystycznych

Zadania ze statystyki, cz.7 - hipotezy statystyczne, błąd standardowy, testowanie hipotez statystycznych Zadania ze statystyki, cz.7 - hipotezy statystyczne, błąd standardowy, testowanie hipotez statystycznych Zad. 1 Średnia ocen z semestru letniego w populacji studentów socjologii w roku akademickim 2011/2012

Bardziej szczegółowo

Algorytmy ewolucyjne NAZEWNICTWO

Algorytmy ewolucyjne NAZEWNICTWO Algorytmy ewolucyjne http://zajecia.jakubw.pl/nai NAZEWNICTWO Algorytmy ewolucyjne nazwa ogólna, obejmująca metody szczegółowe, jak np.: algorytmy genetyczne programowanie genetyczne strategie ewolucyjne

Bardziej szczegółowo

Przykładowe rozwiązania

Przykładowe rozwiązania Przykładowe rozwiązania Poniższy dokument zawiera przykładowe rozwiązania zadań z I etapu I edycji konkursu (2014 r.). Rozwiązania w formie takiej jak przedstawiona niżej uzyskałyby pełną liczbę punktów

Bardziej szczegółowo

Testowanie hipotez statystycznych. Wnioskowanie statystyczne

Testowanie hipotez statystycznych. Wnioskowanie statystyczne Testowanie hipotez statystycznych Wnioskowanie statystyczne Hipoteza statystyczna to dowolne przypuszczenie co do rozkładu populacji generalnej (jego postaci funkcyjnej lub wartości parametrów). Hipotezy

Bardziej szczegółowo

PHASE 10 LICZBA GRACZY: 2-6

PHASE 10 LICZBA GRACZY: 2-6 PHASE 10 LICZBA GRACZY: 2-6 CEL GRY: Być pierwszym graczem, który ukończy wszystkie 10 faz. W przypadku remisu gracz z mniejszym wynikiem zostaje zwycięzcą. ZAWARTOŚĆ: Karty ściągi (opisujące 10 faz) oraz

Bardziej szczegółowo

Uniwersytet Warszawski Teoria gier dr Olga Kiuila LEKCJA 3

Uniwersytet Warszawski Teoria gier dr Olga Kiuila LEKCJA 3 LEKCJA 3 Wybór strategii mieszanej nie jest wyborem określonych decyzji, lecz pozornie sztuczną procedurą która wymaga losowych lub innych wyborów. Gracze mieszają nie dlatego że jest im obojętna strategia,

Bardziej szczegółowo

LABORATORIUM Z FIZYKI

LABORATORIUM Z FIZYKI LABORATORIUM Z FIZYKI LABORATORIUM Z FIZYKI I PRACOWNIA FIZYCZNA C w Gliwicach Gliwice, ul. Konarskiego 22, pokoje 52-54 Regulamin pracowni i organizacja zajęć Sprawozdanie (strona tytułowa, karta pomiarowa)

Bardziej szczegółowo

O badaniach nad SZTUCZNĄ INTELIGENCJĄ

O badaniach nad SZTUCZNĄ INTELIGENCJĄ O badaniach nad SZTUCZNĄ INTELIGENCJĄ Jak określa się inteligencję naturalną? Jak określa się inteligencję naturalną? Inteligencja wg psychologów to: Przyrodzona, choć rozwijana w toku dojrzewania i uczenia

Bardziej szczegółowo

Dlaczego nie wystarczają liczby wymierne

Dlaczego nie wystarczają liczby wymierne Dlaczego nie wystarczają liczby wymierne Analiza zajmuje się problemami, w których pojawia się przejście graniczne. Przykładami takich problemów w matematyce bądź fizyce mogą być: 1. Pojęcie prędkości

Bardziej szczegółowo

9 Funkcje Użyteczności

9 Funkcje Użyteczności 9 Funkcje Użyteczności Niech u(x) oznacza użyteczność wynikającą z posiadania x jednostek pewnego dobra. Z założenia, 0 jest punktem referencyjnym, czyli u(0) = 0. Należy to zinterpretować jako użyteczność

Bardziej szczegółowo

3.5. Podejście socjotechniczne do problemów organizacji

3.5. Podejście socjotechniczne do problemów organizacji 3.5. Podejście socjotechniczne do problemów organizacji 3.5.1. Postępowanie Aby sprostać wymaganiom skutecznego rozwiązywania problemów organizacji, postępowanie badawcze powinno spełniać następujące warunki:

Bardziej szczegółowo

Prawdopodobieństwo warunkowe Twierdzenie o prawdopodobieństwie całkowitym

Prawdopodobieństwo warunkowe Twierdzenie o prawdopodobieństwie całkowitym Edward Stachowski Prawdopodobieństwo warunkowe Twierdzenie o prawdopodobieństwie całkowitym W podstawie programowej obowiązującej na egzaminie maturalnym od 05r pojawiły się nowe treści programowe Wśród

Bardziej szczegółowo

Metoda 5-WHY. Metoda 5-WHY. Wydanie 1. Zbigniew Huber. Maj 2006. Artykuł dostępny na stronie autora: http://www.huber.pl.

Metoda 5-WHY. Metoda 5-WHY. Wydanie 1. Zbigniew Huber. Maj 2006. Artykuł dostępny na stronie autora: http://www.huber.pl. Metoda 5-WHY Wydanie 1 Zbigniew Huber Maj 2006 Artykuł dostępny na stronie autora: http://www.huber.pl Copyright by Zbigniew Huber Strona 1 z 6 Wstęp Rozwiązanie jakiegoś problemu i wprowadzenie skutecznego

Bardziej szczegółowo

Elementy Modelowania Matematycznego

Elementy Modelowania Matematycznego Elementy Modelowania Matematycznego Wykład 12 Teoria gier II Spis treści Wstęp Oligopol, cła oraz zbrodnia i kara Strategie mieszane Analiza zachowań w warunkach dynamicznych Indukcja wsteczna Gry powtarzane

Bardziej szczegółowo

Algorytm Genetyczny. zastosowanie do procesów rozmieszczenia stacji raportujących w sieciach komórkowych

Algorytm Genetyczny. zastosowanie do procesów rozmieszczenia stacji raportujących w sieciach komórkowych Algorytm Genetyczny zastosowanie do procesów rozmieszczenia stacji raportujących w sieciach komórkowych Dlaczego Algorytmy Inspirowane Naturą? Rozwój nowych technologii: złożone problemy obliczeniowe w

Bardziej szczegółowo

i=7 X i. Zachodzi EX i = P(X i = 1) = 1 2, i {1, 2,..., 11} oraz EX ix j = P(X i = 1, X j = 1) = 1 7 VarS 2 2 = 14 3 ( 5 2 =

i=7 X i. Zachodzi EX i = P(X i = 1) = 1 2, i {1, 2,..., 11} oraz EX ix j = P(X i = 1, X j = 1) = 1 7 VarS 2 2 = 14 3 ( 5 2 = Kombinatoryka W tej serii zadań można znaleźć pojawiające się na egzaminach zadania dotyczące problemu wyznaczania prostych parametrów rozkładu w przypadku zgadnień kombinatorycznych. Zadania te wymagają

Bardziej szczegółowo

Zastosowanie Excela w matematyce

Zastosowanie Excela w matematyce Zastosowanie Excela w matematyce Komputer w dzisiejszych czasach zajmuje bardzo znamienne miejsce. Trudno sobie wyobrazić jakąkolwiek firmę czy instytucję działającą bez tego urządzenia. W szkołach pierwsze

Bardziej szczegółowo

Projektowanie systemu krok po kroku

Projektowanie systemu krok po kroku Rozdział jedenast y Projektowanie systemu krok po kroku Projektowanie systemu transakcyjnego jest ciągłym szeregiem wzajemnie powiązanych decyzji, z których każda oferuje pewien zysk i pewien koszt. Twórca

Bardziej szczegółowo

Metody numeryczne. materiały do wykładu dla studentów. 7. Całkowanie numeryczne

Metody numeryczne. materiały do wykładu dla studentów. 7. Całkowanie numeryczne Metody numeryczne materiały do wykładu dla studentów 7. Całkowanie numeryczne 7.1. Całkowanie numeryczne 7.2. Metoda trapezów 7.3. Metoda Simpsona 7.4. Metoda 3/8 Newtona 7.5. Ogólna postać wzorów kwadratur

Bardziej szczegółowo

6. Klasyczny algorytm genetyczny. 1

6. Klasyczny algorytm genetyczny. 1 6. Klasyczny algorytm genetyczny. 1 Idea algorytmu genetycznego została zaczerpnięta z nauk przyrodniczych opisujących zjawiska doboru naturalnego i dziedziczenia. Mechanizmy te polegają na przetrwaniu

Bardziej szczegółowo

Modyfikacja algorytmów retransmisji protokołu TCP.

Modyfikacja algorytmów retransmisji protokołu TCP. Modyfikacja algorytmów retransmisji protokołu TCP. Student Adam Markowski Promotor dr hab. Michał Grabowski Cel pracy Celem pracy było przetestowanie i sprawdzenie przydatności modyfikacji klasycznego

Bardziej szczegółowo

Organizacja informacji

Organizacja informacji Organizacja informacji 64 CZYTANIE ARTYKUŁU Z GAZETY To zadanie ma nauczyć jak: wybierać tematy i rozpoznawać słowa kluczowe; analizować tekst, aby go zrozumieć i pamiętać; przygotowywać sprawozdanie;

Bardziej szczegółowo

INSTRUKCJA. Gra dla 3-5 graczy w wieku lat

INSTRUKCJA. Gra dla 3-5 graczy w wieku lat INSTRUKCJA Gra dla 3-5 graczy w wieku 10-110 lat ELEMENTY GRY 55 kart pieniędzy Każdy gracz dysponuje jedenastoma kartami pieniędzy w wybranym kolorze o łącznej wartości 106 milionów dolarów. 10 płytek

Bardziej szczegółowo

W pudełku. Cel gry. Mądrze inwestuj pieniądze na rynku nieruchomości i pokaż innym, że to właśnie Ty jesteś najlepszy!

W pudełku. Cel gry. Mądrze inwestuj pieniądze na rynku nieruchomości i pokaż innym, że to właśnie Ty jesteś najlepszy! zasady gry 1 Mądrze inwestuj pieniądze na rynku nieruchomości i pokaż innym, że to właśnie Ty jesteś najlepszy! W pudełku Cel gry 30 kart Nieruchomości o wartości od 1 do 30. W grze Na Sprzedaż rozgrywka

Bardziej szczegółowo

LABORATORIUM 4: Algorytmy ewolucyjne cz. 2 wpływ operatorów krzyżowania i mutacji na skuteczność poszukiwań AE

LABORATORIUM 4: Algorytmy ewolucyjne cz. 2 wpływ operatorów krzyżowania i mutacji na skuteczność poszukiwań AE Instytut Mechaniki i Inżynierii Obliczeniowej Wydział Mechaniczny Technologiczny, Politechnika Śląska www.imio.polsl.pl METODY HEURYSTYCZNE LABORATORIUM 4: Algorytmy ewolucyjne cz. 2 wpływ operatorów krzyżowania

Bardziej szczegółowo

Gospodarcze zastosowania algorytmów genetycznych

Gospodarcze zastosowania algorytmów genetycznych Marta Woźniak Gospodarcze zastosowania algorytmów genetycznych 1. Wstęp Ekonometria jako nauka zajmująca się ustalaniem za pomocą metod statystycznych ilościowych prawidłowości zachodzących w życiu gospodarczym

Bardziej szczegółowo

Badacze zbudowali wiele systemów technicznych, naśladujących w komputerze ludzki mózg. Najbardziej pożyteczne okazały się sieci neuronowe.

Badacze zbudowali wiele systemów technicznych, naśladujących w komputerze ludzki mózg. Najbardziej pożyteczne okazały się sieci neuronowe. Naśladując w komputerze ludzki mózg staramy się połączyć zalety komputera (dostępność i szybkość działania) z zaletami mózgu (zdolność do uczenia się) informatyka + 2 Badacze zbudowali wiele systemów technicznych,

Bardziej szczegółowo

VI WYKŁAD STATYSTYKA. 9/04/2014 B8 sala 0.10B Godz. 15:15

VI WYKŁAD STATYSTYKA. 9/04/2014 B8 sala 0.10B Godz. 15:15 VI WYKŁAD STATYSTYKA 9/04/2014 B8 sala 0.10B Godz. 15:15 WYKŁAD 6 WERYFIKACJA HIPOTEZ STATYSTYCZNYCH PARAMETRYCZNE TESTY ISTOTNOŚCI Weryfikacja hipotez ( błędy I i II rodzaju, poziom istotności, zasady

Bardziej szczegółowo