METODA MONTE CARLO W NAUCZANIU SYMULACJI NIESŁUSZNIE POMIJANE PODEJŚCIE?

Prace Naukowe Instytutu Organizacji i Zarządzania Nr 80 Politechniki Wrocławskiej Nr 80 Studia i Materiały Nr 22 2006 Bożena MIELCZAREK * ss. 11-20 METODA MONTE CARLO W NAUCZANIU SYMULACJI NIESŁUSZNIE POMIJANE PODEJŚCIE? W artykule zostaną wyróżnione i omówione zalety techniki Monte Carlo, jednej z metod symulacji stochastycznej, które zdaniem autorki świadczą o dużej użyteczności podejścia w procesie nauczania modelowania symulacyjnego na kierunku zarządzanie. Zaprezentowane zostaną przykładowe modele opracowane z wykorzystaniem symulacji statycznej uwypuklające szeroki zakres stosowalności metody. W końcowej części wskazane zostaną ograniczenia metody, które nie pomniejszają jednak dydaktycznych walorów podejścia. 1. WPROWADZENIE Metody symulacyjne wykładane są na kierunku zarządzanie na większości uczelni w Polsce. Wyrywkowe badania przeprowadzone w 2003 roku (por. [Mielczarek 2003]) wykazały, że preferowanym podejściem z zakresu symulacji stochastycznej jest symulacja dyskretna, chociaż metoda Monte Carlo była wymieniana w zawartości kilku kursów wykładowych. W polskiej literaturze naukowej trudno co prawda znaleźć artykuły poruszające zagadnienia związane z metodyką nauczania symulacji, jednakże, biorąc pod uwagę przeprowadzone badania, jak również nieliczne publikacje pojawiające się w czasopismach o zasięgu krajowym, można pokusić się o stwierdzenie, że na kierunku zarządzanie metoda Monte Carlo nie jest powszechnie wykładanym podejściem w ramach nauczania przedmiotów z grupy modelowania symulacyjnego. Analiza przebiegu dyskusji panelowych przeprowadzanych na międzynarodowej konferencji symulogicznej odbywającej się rokrocznie w Stanach Zjednoczonych Winter Simulation Conference [Altiok i in. 2001], [Freimer i in. 2004], [Standridge i in. 2005] również nie wskazuje na istotny udział tzw. stochastycznej symulacji sta- * Politechnika Wrocławska, Instytut Organizacji i Zarządzania; bozena.mielczarek@pwr.wroc.pl

12 Bożena Mielczarek tycznej 1 w procesie nauczania studentów zarządzania, inżynierii produkcji, logistyki czy finansów. Dominującą rolę w kształceniu akademickim w dziedzinie zarządzania i biznesu z zakresu symulacji stochastycznej odgrywa symulacja dyskretna. Celem artykułu jest wyróżnienie tych cech metody Monte Carlo, które zdaniem autorki przesądzają o wysokiej użyteczności podejścia w nauczaniu symulacji. W artykule omówione zostaną również przykładowe modele MC, które pomyślnie wykorzystano do wspomagania różnorodnych procesów decyzyjnych w wielu dziedzinach. W końcowej części przedstawiony zostanie schemat przebiegu symulacji Monte Carlo oraz zasygnalizowane zostaną ograniczenia metody. Należy podkreślić, że podejście to nie powinno zastępować w procesie nauczania innych metod symulacji stochastycznej, a jedynie je uzupełniać ze względu na posiadane walory dydaktyczne. 2. POLSKIE (I NIE TYLKO) POCZĄTKI METODY Metodzie nadano nazwę znanego miasta położonego w księstwie Monako, aby podkreślić losowy charakter zjawisk, do badania których może być ona wykorzystana. Oficjalne narodziny metody Monte Carlo miały miejsce w 1944 roku w trakcie badań nad teorią konstrukcji bomby atomowej. W historii powstania metody odnajdujemy polskie ślady. Matematyk wywodzący się z Lwowskiej Szkoły Matematycznej, Stanisław Ulam współpracował z wielkim naukowcem Johnem von Neumannem i wniósł znaczący wkład w rozwój pierwszych metod numerycznych [Metropolis 1987]. To właśnie fascynacja Ulama procesami losowymi naprowadziła zespół kierowany przez profesora Johna von Neumanna na pomysł wykorzystania liczb losowych do opisu możliwych trajektorii neutronów w procesie dyfuzji jądrowej. Metoda Monte Carlo (MC) jest stosowana do modelowania matematycznego procesów zbyt złożonych, aby można było przewidzieć ich wyniki za pomocą podejścia analitycznego. Istotną rolę w metodzie MC odgrywa losowanie (wybór przypadkowy) wielkości charakteryzujących proces, przy czym losowanie dotyczy rozkładów znanych skądinąd. Początkowo metoda stosowana była głównie w fizyce i matematyce, jednak obecnie przykłady zastosowania można bez najmniejszego trudu odnaleźć nie tylko w naukach fizyczno-matematycznych ale również wszędzie pomiędzy chemią, naukami przyrodniczymi a ekonomią, zarządzaniem i praktyką finansową. Ponieważ sposób zastosowania różni się w zależności od dziedziny, bardzo często mówi się o metodach Monte Carlo uwypuklając szeroką gamę modyfikacji i wariantów metody. 1 Zamiennie używane w literaturze określenia metod symulacyjnych Monte Carlo to symulacja statyczna lub symulacja stochastyczna w arkuszu kalkulacyjnym.

Metoda Monte Carlo w nauczaniu symulacji niesłusznie pomijane podejście? 13 3. SYMULACJA MONTE CARLO W MODELACH DECYZYJNYCH Przykłady wykorzystania symulacji Monte Carlo do rozwiązywania różnorodnych problemów decyzyjnych przebiegających w warunkach niepewności w dziedzinie ekonomii i zarządzania mają wieloletnią tradycję. Przegląd kilkunastu zaledwie prac opublikowanych w ostatnich latach wskazuje na szeroki zakres stosowalności tej metody. Rauner i współautorzy [Rauner i in. 2005] przedstawiają model symulacyjny umożliwiający ocenę efektywności ekonomicznej programów zapobiegania zespołowi stopy cukrzycowej. Choroba ta jest szczególnym zagrożeniem dla zdrowia, gdyż prowadzi często do amputacji stopy i kalectwa. Leczenie cukrzycy jest bardzo kosztowne i pochłania znaczące kwoty z globalnego budżetu państw w krajach europejskich jest to od 3-6% wydatków na ochronę zdrowia. Coraz częściej uruchamia się zatem programy zapobiegawcze, których celem jest niedopuszczenie do rozwoju choroby. Autorzy wykorzystali symulację Monte Carlo do przeprowadzenia ekonomicznej oceny dwóch scenariuszy działań zapobiegawczych: optymistycznego i pesymistycznego w czterech grupach ryzyka i dla ośmiu etapów rozwoju choroby. W trakcie symulacji wygenerowano dane 10000 pacjentów o wieku określanym według rozkładu losowego (był to jeden z czynników ryzyka) i analizowano liczbę komplikacji powodowanych zespołem stopy cukrzycowej. Wyniki przeprowadzonych badań okazały się bardzo obiecujące. Pozwoliły ocenić nie tylko spadek w liczbie komplikacji na skutek prowadzenia przez okres 10 lat wybranych programów zapobiegawczych, ale doprowadziły również do oszacowania oszczędności z tego tytułu w skali budżetu państwa. Kolejny przykład dotyczy programów szczepień pediatrycznych. Statyczny model symulacyjny Monte Carlo zaproponowany przez Jacobsona i Sewella, [Jacobson, Sewell 2002] umożliwia określenie maksymalnej ceny handlowej czterech typów szczepionek kombinowanych chroniących przed sześcioma chorobami zakaźnymi (przykład z USA). Wyniki eksperymentów symulacyjnych pozwalają określić parametry rozkładów losowych (średnia, odchylenie standardowe) maksymalnej ceny szczepionki kombinowanej dla sześciu oferowanych na rynku szczepionek z podziałem na dziewięć typów populacji rodziców/opiekunów. Symulacja Monte Carlo jest uznaną i często stosowaną techniką przy ocenie ryzyka finansowego projektów (por. [Doctor i in. 2001], [Elkjaer 2000]). Wiele projektów realizowanych jest w wyjątkowo złożonym otoczeniu. Wcześniej zaakceptowane definicje muszą być w tracie realizacji projektu anulowane lub co najmniej zmieniane, a nowe okoliczności wymuszają inną perspektywę procesu decyzyjnego. Często zdarza się, że nie są dostępne wiarygodne dane potrzebne do oceny elementów kosztów. Dodatkowo, w fazie oceny projektu wiele zmiennych można opisać jedynie za pomocą oszacowań probabilistycznych. Symulacja stochastyczna metodą Monte Carlo oferuje stosunkowo prosty sposób uwzględnienia niepewności. Typowy przebieg oceny projektu polega na wyodrębnieniu składowych elementów kosztowych i

14 Bożena Mielczarek uszeregowaniu ich według wpływu, jaki wywierają na niepewność wyniku końcowego. W kolejnym kroku wyróżnia się najbardziej elementarne grupy ryzyka i przypisuje się im oszacowania losowe. Najczęściej przyjmują one postać rozkładów trójkątnych, jako że jest to jeden z najbardziej intuicyjnych rozkładów, najchętniej wskazywany przez decydentów. Po wykonaniu kilkuset powtórzeń szacowana jest najbardziej prawdopodobna wartość kosztu końcowego. Podejście Monte Carlo stosuje się również w harmonogramowaniu realizacji zleceń. [Chantaravarapan i in. 2004] opracowali model symulacyjny planujący przydział pracowników do stanowisk roboczych w zakładzie produkującym podzespoły do samolotów. Funkcja optymalizująca poszukuje minimalnej liczby pracowników do obsady stanowisk roboczych przy jednoczesnej minimalizacji zleceń oczekujących na realizację. Zaproponowany przez autorów algorytm najpierw tworzy harmonogram w kolejności wymaganych dat realizacji zleceń, co prowadzi do minimalnej zwłoki dla oczekujących zleceń ale silnie niezrównoważonej obsady stanowisk roboczych. Następnie podejmowana jest próba poprawy harmonogramu za pomocą metody Monte Carlo. Autorzy zaproponowali różne warianty algorytmu, którego podstawowa idea sprowadza się do losowego wyboru zlecenia i próby przesunięcia daty realizacji tak, aby usprawnić obłożenie stanowisk. Symulacja Monte Carlo jest uznaną, często wykorzystywaną techniką w modelach oceny ryzyka finansowego, np. w szacowaniu przyszłych dochodów z inwestycji. W przypadku wyceny opcji zależnych od ścieżek symulacja MC jest wręcz postrzegana jako najlepsza metoda ilościowa (por. [Jackson i Staunton 2004]). O zastosowaniu symulacji Monte Carlo do wyceny europejskiej opcji kupna piszą Saliby i współautorzy, [Saliby i in 2005]. Liczby losowe wykorzystuje się w charakterze próbek wyznaczających cenę, jaką akcja może przyjąć w świecie niezależnym od ryzyka. Dla każdej z próbek obliczany jest zysk z opcji, a średnia zysków zdyskontowana stopą wolną od ryzyka wyznacza szacunkową wartość opcji. Problemem jest niska precyzja oszacowań, którą autorzy proponują zwiększyć za pomocą opracowanej przez siebie metody redukcji wariancji. O zastosowaniu metody Monte Carlo na zajęciach z rachunkowości pisze Togo [2004] prezentując modele decyzyjne przepływów finansowych, inwestycyjne i bilansowe. Johnston i współautorzy [Johnston i in. 2001] stosują symulację Monte Carlo do oceny ryzyka występującego przy indywidualnie ustalanym planie ubezpieczeń emerytalnych. W sposób losowy generowane są stopy zwrotu dla bonów skarbowych i obligacji na przestrzeni 60 lat, wyznaczana jest wartość końcowa zainwestowanego kapitału oraz ryzyko zgromadzenia kapitału niższego niż spodziewany. Symulacja Monte Carlo może być jedną z technik decyzyjnych w systemach podejmowania decyzji grupowych (Group Decision Suport Systems) [Jimenez i in. 2005], rozpoczynając proces negocjacji mający doprowadzić do osiągnięcia konsensu pomiędzy kilkoma grupami decydentów, z których każda definiuje własne preferencje.

Metoda Monte Carlo w nauczaniu symulacji niesłusznie pomijane podejście? 15 4. PRZEBIEG SYMULACJI MONTE CARLO Symulację metodą Monte Carlo wykonuje się poprzez realizację kolejnych kroków, po uprzednim sformułowaniu deterministycznej postaci modelu matematycznego i zapisaniu go w postaci formuł logicznych w arkuszu kalkulacyjnym. W literaturze (por. [Powell i Baker 2004]) najczęściej wymienia się pięć głównych etapów, jednakże wydaje się, że dla większej czytelności procedury realizacji badania symulacyjnego należałoby wyodrębnić pięć faz głównych oraz sześć faz szczegółowych, których krótką charakterystykę przedstawiono poniżej. Etap 1. Określenie rozkładów losowych wybranych zmiennych wejściowych 1.1. Wybór zmiennych opisywanych losowo Decyzja o wskazaniu losowych parametrów modelu wydaje się być oczywista, jednakże zaleca się przypisanie losowości tylko tym elementom, które mają największy wpływ na szacowaną zmienną wynikową. Wprowadzanie kolejnych zmiennych o charakterze losowym do modelu automatycznie zwiększa wariancję pozyskiwanego na wyjściu zbioru wartości (por. [Mielczarek 2005]), nie zawsze jest natomiast niezbędne z punktu widzenia celu budowy modelu. 1.2. Określenie postaci rozkładu losowego W zależności od tego, czy losowy charakter wyróżnionej zmiennej przejawia się w sposób dyskretny czy ciągły, należy doprowadzić, poprzez analizę danych wejściowych, do sformułowania dystrybuanty skumulowanej dla każdej wybranej dyskretnej zmiennej losowej lub/oraz do zapisania odpowiedniej teoretycznej formuły funkcyjnej dla każdej ciągłej zmiennej losowej. Etap 2. Wybór zmiennych wyjściowych Symulacja może doprowadzić do wygenerowania wynikowych rozkładów losowych dla bardzo wielu zmiennych. Jedną z zalet symulacji jest między innymi możliwość koncentrowania się na więcej niż jednym parametrze wyjściowym. Etap 3. Przeprowadzenie jednego pełnego eksperymentu symulacyjnego 3.1. Generowanie ciągów liczb losowych oddzielnie dla każdej (ciągłej i dyskretnej) zmiennej losowej Uzyskanie w modelu losowych zmian zgodnych z wybranym rozkładem obejmuje dwa etapy: generowanie liczb losowych o rozkładzie równomiernym z przedziału [0,1], a następnie przekształcanie uzyskanych liczb losowych w dowolny rozkład zmiennej losowej czy w dowolny proces stochastyczny. Zaleca się uzależnienie losowego charakteru poszczególnych zmiennych od odrębnych ciągów liczb losowych. W powszechnie stosowanym w symulacji Monte Carlo arkuszu kalkulacyjnym Excel wykorzystuje się w tym celu funkcję LOS(). 3.2. Wykorzystanie wygenerowanych liczb losowych do wyznaczenia wartości zmiennych losowych

16 Bożena Mielczarek Formuły niezbędne do przekształcenia liczb losowych w zmienne losowe są w większości automatycznie dostępne w standardowej wersji arkusza kalkulacyjnego, lub też w kilku nielicznych przypadkach wymagane jest samodzielne skonstruowanie prostych formuł. 3.3. Wprowadzenie zmiennych losowych do analitycznej postaci modelu Model analityczny wiąże ze sobą dane wejściowe (deterministyczne i pozyskiwane z rozkładów losowych) z miernikami wyjściowymi poprzez formuły logiczne. 3.4. Wykonanie n powtórzeń (n ) Wykonanie pojedynczego eksperymentu symulacyjnego wymaga pobrania n losowych wartości z rozkładu wejściowego, wprowadzenia tych wartości do formuł modelu, wyznaczenia wartości wynikowych i przechowania ich do późniejszych oszacowań. Im więcej powtórzeń zostanie wykonanych tym bardziej precyzyjne będą oszacowania końcowe. Etap 4. Przeprowadzenie pełnego badania symulacyjnego, t.j. wykonanie k eksperymentów (k>>1) Pełny eksperyment symulacyjny wymaga w niektórych przypadkach wielokrotnego powtórzenia eksperymentu pojedynczego, czyli wykonania k razy n powtórzeń. Takie postępowanie zalecane jest przy symulacji typowego zachowania systemu. Zwiększanie liczby powtórzeń n oraz liczby eksperymentów k zapewnia nam najwyższą precyzję przy szacowaniu średniej z próby. Etap 5. Analiza wyników Wyniki symulacji przedstawiane są za pomocą wartości średnich oraz w postaci histogramów, które interpretowane są jako rozkłady losowe zmiennych wynikowych. Miarą precyzji wyników są najczęściej: wariancja, przedział ufności oraz średni błąd kwadratowy. 5. DYDAKTYCZNE WALORY METODY MONTE CARLO Podejście Monte Carlo zalicza się do metod symulacji statycznej. Celem nie jest obserwowanie zmian zachodzących w miarę upływu czasu i w związku z tym upływem. Model nie odtwarza stanów systemu zachodzących w kolejnych chwilach czasu i nie śledzi łańcucha przyczyn, które doprowadzają do określonego zachowania. Oczywiście, w modelu możemy odwoływać się do określonego momentu czasu, np. wtedy, gdy rejestrujemy stan magazynu na określony dzień, cenę akcji pod koniec miesiąca, czy przyrost zysku w roku, ale jest to wyłącznie pewna dodatkowa wskazówka, informacja ułatwiająca interpretację wyników, ale niemająca żadnego znaczenia w trakcie konstruowania modelu.

Metoda Monte Carlo w nauczaniu symulacji niesłusznie pomijane podejście? 17 Symulację Monte Carlo przeprowadza się najczęściej przy użyciu arkusza kalkulacyjnego, co automatycznie przenosi na metodę wszystkie zalety jak i wady związane z modelowaniem za pomocą tego narzędzia. Poniżej omówione zostaną zagadnienia, które zdaniem autorki przemawiają za wysoką użytecznością dydaktyczną metody Monte Carlo w nauczaniu podstaw symulacji stochastycznej. Powszechna znajomość i dostępność arkusza kalkulacyjnego Excel Arkusz kalkulacyjny jest narzędziem wykorzystywanym powszechnie. Studenci przystępujący do kursu z modelowania symulacyjnego mają już zwykle za sobą rozliczne projekty z innych przedmiotów, w realizacji których wykorzystywali Excel a. Nie ma zatem potrzeby poświęcania części zajęć na omawianie narzędzia, co jest konieczne w przypadku dyskretnych modeli symulacyjnych, które powstają przy użyciu specjalnie dedykowanych pakietów. Dodatkowym atutem jest dostęp do licencjonowanej wersji arkusza kalkulacyjnego, która zwykle jest już zainstalowana w laboratorium dydaktycznym. W przypadku pakietów do symulacji dyskretnej niezbędny jest albo zakup drogiego oprogramowania, albo prowadzenie zajęć na tzw. wersjach dydaktycznych, z których każda posiada swoje niedogodności czy ograniczenia. Powszechność występowania arkuszy kalkulacyjnych w przedsiębiorstwach przemawia również na korzyść stosowalności metody Monte Carlo. Łatwiej jest zaproponować i wdrożyć rozwiązanie, które nie pociąga za sobą zakupu drogiego oprogramowania, niż sugerować podejście, przy którym wymagane jest zainwestowanie dość sporej kwoty już na początku realizacji projektu. Nieskomplikowana struktura modeli Ważną dydaktyczną zaletą modeli Monte Carlo jest ich stosunkowo prosta budowa. Istota symulacji statycznej wymusza prostszą strukturę modeli, ponieważ nie są w nich uwzględniane dynamiczne powiązania pomiędzy obiektami. Mniejsza złożoność modeli stanowi wartościową cechę w trakcie wprowadzania pojęć z zakresu symulacji stochastycznej. Można się wtedy skupić na samej istocie procesu symulacji, a nie na złożonych elementach modelowania. W przypadku modeli dyskretnych zdecydowanie więcej czasu i wysiłku trzeba poświęcić na budowę modeli, oraz ich późniejszą weryfikację. Model Monte Carlo zawiera najczęściej kilka formuł logicznych i co jest bardzo ważne nie wymaga wykazania się umiejętnościami programowania. Szeroki zakres zastosowań Metoda symulacji komputerowej jest środkiem a nie celem samym w sobie. Nadrzędnym zadaniem kursu modelowana symulacyjnego powinno być nauczenie studentów umiejętności zadawania właściwych pytań odnoszących się do zachowania systemu i rozpoznawania poprawnych odpowiedzi. Szeroki zakres stosowalności metody Monte Carlo pozwala zaplanować zajęcia zgodnie z profilem zainteresowań słuchaczy. Projektowane modele mogą dotyczyć zagadnień typowo finansowych (związanych np. z szacowaniem ryzyka finansowego, przewidywaniem dochodu, wyceną

18 Bożena Mielczarek instrumentów pochodnych, ustalaniem optymalnych strategii inwestycji dla oszczędności klientów, itd.) lub odnoszących się do tzw. decyzji menedżerskich (planowanie wielkości produkcji, ustalanie wielkości zamówienia, ocena skutków przyjęcia określonego rozwiązania, itd.). Przejrzystość procesu symulacji stochastycznej Najistotniejszą, zdaniem autorki, zaletą dydaktyczną metody Monte Carlo jest jej przejrzystość. Na przykładzie modeli MC można w przekonujący i zrozumiały sposób wyjaśnić nieintuicyjne zagadnienia związane z probabilistycznym charakterem modelowanych zjawisk oraz strategią wprowadzania losowości do modelu symulacyjnego. Złożone zagadnienia symulacji stochastycznej dają się czytelnie przedstawić za pomocą modeli Monte Carlo, ponieważ skutki manipulowania losowością widoczne są natychmiast. Nieskomplikowany model analityczny nie przesłania procesu symulacji, co sprawia że zrozumiały staje się związek między losowością na wejściu oraz losowością w wynikach symulacji. W arkuszu kalkulacyjnym formuły wprowadzane są ręcznie przez modelującego. Ta zasada obowiązuje również zazwyczaj przy generowaniu wartości zmiennych losowych. Student nie zawsze może wywołać gotową funkcję najczęściej sam musi skonstruować formułę pozwalającą uzyskać losowy charakter zjawisk. To sprawia, że poprawniej interpretuje niepewność zjawisk i lepiej potrafi zrozumieć mechanizmy pozwalające nad tą losowością zapanować. Symulowane wartości wraz z cząstkowymi wynikami każdego powtórzenia symulacyjnego są bezustannie prezentowane na ekranie. Student przeprowadzając kolejne eksperymenty obserwuje losowe zmiany wpływające na miernik wyjściowy a nie tylko uśrednione końcowe wartości. Taki dynamiczny odbiór wyników pozwala docenić potrzebę opisu zjawiska za pomocą odpowiednich parametrów statystycznych. Dobrym przykładem jest etap planowania eksperymentu symulacyjnego. Korygowanie liczby powtórzeń symulacyjnych odbywa się na bieżąco poprzez obserwację podstawowych parametrów statystycznych (wariancja, długość przedziału ufności). Natychmiastowy efekt jest również widoczny po zastosowaniu metod redukcji wariancji, co pozwala przekonać studentów o potrzebie wprowadzenia tych technik na stałe do eksperymentu w symulacji stochastycznej. 6. PODSUMOWANIE Metoda Monte Carlo, pomimo swoich istotnych zalet, nie powinna stanowić alternatywy dla innych metod symulacji stochastycznej. Modelowanie w arkuszu kalkulacyjnym niesie bowiem ze sobą szereg niedogodności, do których zaliczyć trzeba przede wszystkim problemy z weryfikacją, brak modelu symbolicznego oraz łączenie danych z modelem logicznym. Jeżeli dodamy do tego ograniczenia wynikające z sa-

Metoda Monte Carlo w nauczaniu symulacji niesłusznie pomijane podejście? 19 mej istoty symulacji statycznej uzyskamy narzędzie dalekie od ideału ale jednocześnie atrakcyjne dydaktycznie. Wydaje się, że metoda ta jest szczególnie użyteczna na początku kursu z modelowania symulacyjnego, tj. na etapie wprowadzania pojęć dotyczących losowości zjawisk, przedstawiania zasad projektowania eksperymentów symulacyjnych, omawiania zagadnień związanych z analizą wyników symulacji. Przejrzystość metody pozwala czytelnie omówić ideę prowadzenia symulacji stochastycznej i przejść w dalszej części kursu do bardziej złożonych zagadnień związanych na przykład z symulacją dyskretną. LITERATURA ALTIOK, T., KELTON, W.D., L ECUYER, P., NELSON, B.L., SCHMEISER, B.W., SCHRIBER T.J, SCHRUBEN, L.W., WILSON, J.R. 2001. Various ways academics teach simulation: are they all appropriate?; [w:] Proceedings of 2001 Winter Simulation Conference; ss. 1580-1591. Dostępne również pod adresem: http://www.wintersim.org/prog01.htm CHANTARAVARAPAN, S., GUNAL, A., WILLIMAS, E.J. 2004. On using Monte Carlo methods for scheduling; [w:] Proceedings of 2004 Winter Simulation Conference; ss. 1870-1875. Dostępne również pod adresem: http://www.wintersim.org/prog04.htm CHYLIŃSKI, A. 1999. Metoda Monte Carlo w bankowości. Twigger S.A., Warszawa DOCTOR, R.N., NEWTON, D.P., PEARSON, A. 2001. Managing uncertainty in research and development; [w:] Technovation (21); ss. 79-90. ELKJAER, M. 2000. Stochastic budget simulation; [w:] International Journal of Project Management (18); ss. 139-147. FREIMER, M., SCHRUBEN, L.W., ROEDER, T.M., STANDRIDGE, C.R., HARMONOSKY, C.M., STAHL, I. 2004. You are going to teach simulation now what? Tips and strategies; [w:] Proceedings of 2004 Winter Simulation Conference; ss. 1580-1591. Dostępne również pod adresem: http://www.wintersim.org/prog04.htm JACKSON, M., STAUNTON, M. 2004. Zaawansowane modele finansowe z wykorzystaniem Excela i VBA. John Wiley & Sons, Ltd; Wydawnictwo Helion, Gliwice. JACOBSON, S.H., SEWELL, E.C. 2002. Using Monte Carlo Simulation to determine combination vaccine price distributions for childhood diseases; [w:] Health Care Management Science (5); ss. 135-145. JIMENEZ, A., MATEOS, A., RIOS-INSUA, S. 2005. Monte Carlo simulation techniques in a decision support system in group decision making; [w:] Group Decision and Negotiation (14); ss. 109-130. JOHNSTON, K., FORBES, S., HATEM, J. 2001. A comparison of state university defined benefit and defined contribution pension plans: a Monte Carlo simulation; [w:] Financial Services Review (10); ss. 37-44. METROPOLIS, N. 1987. The beginning of the Monte Carlo method; [w:] Los Alamos Science (15); ss. 125-130. Dostępne również pod adresem: http://jackman.stanford.edu/mcmc/metropolis1.pdf MIELCZAREK, B. 2003. Rozważania na temat nauczania symulacji w szkołach wyższych; [w:] Symulacja Systemów Gospodarczych, Prace Naukowe Instytutu Organizacji i Zarządzania

20 Bożena Mielczarek Politechniki Wrocławskiej. Seria Studia i Materiały, Oficyna Wydawnicza Politechniki Wrocławskiej; ss. 133-141. MIELCZAREK, B. 2005. Aspekty losowości w modelach symulacyjnych; [w:] Symulacja Systemów Gospodarczych, Prace Naukowe Instytutu Organizacji i Zarządzania Politechniki Wrocławskiej. Seria Studia i Materiały, Oficyna Wydawnicza Politechniki Wrocławskiej; ss. 133-141. POWELL, S.G., BAKER, K.R. 2004. The art of modeling with spreadsheets. John Wiley & Sons. RAUNER, M.S., HEIDENBERGER, K., PESENDORFER, E.M. 2005. Model-based evaluation of diabetic foot prevention strategies in Austria; [w:] Health Care Management Science (8); ss. 253-265. SALIBY, E., MARINS, J.T.M., DOS SANTOS, J.F. 2005. Out-of-the-money Monte Carlo simulation option pricing: the joint use of importance sampling and descriptive sampling; [w:] Proceedings of 2005 Winter Simulation Conference; ss. 1869-1875. Dostępne również pod adresem: http://www.wintersim.org/prog05.htm STAHL, I., HERPER, H., HILL, R.R., HARMONOSKY, C.M., DONOHUE, J.M., KELTON, W.D. 2003. Teaching the Classics of Simulation to Beginners (Panel); [w:] Proceedings of 2003 Winter Simulation Conference; ss. 1580-1591. Dostępne również pod adresem: http://www.wintersim.org/prog03.htm STANDRIDGE, C.R., CENTENO, M.A., JOHANSSON, B., STAHL, I. 2005. Introducing simulation across the disciplines; [w:] Proceedings of 2005 Winter Simulation Conference; ss. 1580-1591. Dostępne również pod adresem: http://www.wintersim.org/prog05.htm TOGO, D.F. 2004. Risk analysis for accounting models: a spreadsheet simulation approach; [w:] Journal of Accounting Education (22); ss. 153-163.