Strategie optymalne i prawie optymalne w dyskretnym stochastycznym programowaniu dynamicznym

Podobne dokumenty
A C T A U N I V E R S I T A T I S N I C O L A I C O P E R N I C I EKONOMIA XLIII nr 2 (2012)

Zarządzanie Projektami. Wykład 3 Techniki sieciowe (część 1)

Analiza danych DRZEWA DECYZYJNE. Drzewa decyzyjne. Entropia. test 1 dopełnienie testu 1

DYNAMIKA KONSTRUKCJI

ZESZYTY NAUKOWE UNIWERSYTETU SZCZECIŃSKIEGO NR 690 FINANSE, RYNKI FINANSOWE, UBEZPIECZENIA NR

Matematyka ubezpieczeń majątkowych r. ma złożony rozkład Poissona. W tabeli poniżej podano rozkład prawdopodobieństwa ( )

Prognozowanie średniego miesięcznego kursu kupna USD

DYNAMICZNE MODELE EKONOMETRYCZNE

Pobieranie próby. Rozkład χ 2

ROCZNIKI INŻYNIERII BUDOWLANEJ ZESZYT 7/2007 Komisja Inżynierii Budowlanej Oddział Polskiej Akademii Nauk w Katowicach

PROGRAMOWY GENERATOR PROCESÓW STOCHASTYCZNYCH LEVY EGO

2.1 Zagadnienie Cauchy ego dla równania jednorodnego. = f(x, t) dla x R, t > 0, (2.1)

Harmonogram czyszczenia z osadów sieci wymienników ciepła w trakcie eksploatacji instalacji na przykładzie destylacji rurowo-wieżowej

WNIOSKOWANIE STATYSTYCZNE

OCENA ATRAKCYJNOŚCI INWESTYCYJNEJ AKCJI NA PODSTAWIE CZASU PRZEBYWANIA W OBSZARACH OGRANICZONYCH KRZYWĄ WYKŁADNICZĄ

OPTYMALIZACJA PORTFELA INWESTYCYJNEGO ZE WZGLĘDU NA MINIMALNY POZIOM TOLERANCJI DLA USTALONEGO VaR

WYKORZYSTANIE RACHUNKU WARIACYJNEGO DO ANALIZY WAHAŃ PRODUKCJI W PRZEDSIĘBIORSTWACH

Analiza i Zarządzanie Portfelem cz. 6 R = Ocena wyników zarządzania portfelem. Pomiar wyników zarządzania portfelem. Dr Katarzyna Kuziak

Politechnika Częstochowska Wydział Inżynierii Mechanicznej i Informatyki. Sprawozdanie #2 z przedmiotu: Prognozowanie w systemach multimedialnych

Metody badania wpływu zmian kursu walutowego na wskaźnik inflacji

WYKORZYSTANIE TESTU OSTERBERGA DO STATYCZNYCH OBCIĄŻEŃ PRÓBNYCH PALI

Ewa Dziawgo Uniwersytet Mikołaja Kopernika w Toruniu. Analiza wrażliwości modelu wyceny opcji złożonych

Równania różniczkowe. Lista nr 2. Literatura: N.M. Matwiejew, Metody całkowania równań różniczkowych zwyczajnych.

LABORATORIUM PODSTAWY ELEKTRONIKI Badanie Bramki X-OR

Studia Ekonomiczne. Zeszyty Naukowe Uniwersytetu Ekonomicznego w Katowicach ISSN Nr

C d u. Po podstawieniu prądu z pierwszego równania do równania drugiego i uporządkowaniu składników lewej strony uzyskuje się:

Eksploracja danych. KLASYFIKACJA I REGRESJA cz. 1. Wojciech Waloszek. Teresa Zawadzka.

ψ przedstawia zależność

EFEKT DŹWIGNI NA GPW W WARSZAWIE WPROWADZENIE

ZASTOSOWANIE METODY OBLICZEŃ UPROSZCZONYCH DO WYZNACZANIA CZASU JAZDY POCIĄGU NA SZLAKU

Analiza metod oceny efektywności inwestycji rzeczowych**

RACHUNEK EFEKTYWNOŚCI INWESTYCJI METODY ZŁOŻONE DYNAMICZNE

4.2. Obliczanie przewodów grzejnych metodą dopuszczalnego obciążenia powierzchniowego

ZASTOSOWANIE TEORII MASOWEJ OBSŁUGI DO MODELOWANIA SYSTEMÓW TRANSPORTOWYCH

ZASTOSOWANIE UCZENIA ZE WZMOCNIENIEM W UKŁADACH STEROWANIA RUCHEM STATKU

MIARA I ODWZOROWANIE RYZYKA FORWARD NA RYNKU SKOŃCZONYM

O pewnym algorytmie rozwiązującym problem optymalnej alokacji zasobów. Cezary S. Zaremba*, Leszek S. Zaremba ** WPROWADZENIE

Magdalena Sokalska Szkoła Główna Handlowa. Modelowanie zmienności stóp zwrotu danych finansowych o wysokiej częstotliwości

WYCENA OBLIGACJI KATASTROFICZNEJ WRAZ Z SYMULACJAMI NUMERYCZNYMI

Użyteczność bezpośredniej likwidacji szkód (BLS) dla klientów zakładów ubezpieczeń

ANALIZA PORÓWNAWCZA ŚREDNIEGO ODSETKA CZASU PRZEBYWANIA W PIERWSZEJ I DRUGIEJ POŁOWIE DNIA BADANIA EMPIRYCZNE

WIELOKRYTERIALNE PORZĄDKOWANIE METODĄ PROMETHEE ODPORNE NA ZMIANY WAG KRYTERIÓW

DYNAMICZNE MODELE EKONOMETRYCZNE

ANALIZA, PROGNOZOWANIE I SYMULACJA / Ćwiczenia 1

MODELOWANIE PROCESU OBSŁUGI STATKÓW POWIETRZNYCH

METODY STATYSTYCZNE W FINANSACH

SZACOWANIE MODELU RYNKOWEGO CYKLU ŻYCIA PRODUKTU

Ocena efektywności procedury Congruent Specyfication dla małych prób

Rozwiązanie uogólnionego problemu optymalnej alokacji zasobów. Cezary S. Zaremba*, Leszek S. Zaremba ** WPROWADZENIE

PROGNOZOWANIE I SYMULACJE. mgr Żaneta Pruska. Ćwiczenia 2 Zadanie 1

PROPOZYCJA NOWEJ METODY OKREŚLANIA ZUŻYCIA TECHNICZNEGO BUDYNKÓW

ĆWICZENIE NR 43 U R I (1)

Zeszyty Problemowe Maszyny Elektryczne Nr 72/

Całka nieoznaczona Andrzej Musielak Str 1. Całka nieoznaczona

ZASTOSOWANIE DRZEW KLASYFIKACYJNYCH DO BADANIA KONDYCJI FINANSOWEJ PRZEDSIĘBIORSTW SEKTORA ROLNO-SPOŻYWCZEGO

KONCEPCJA WARTOŚCI ZAGROŻONEJ VaR (VALUE AT RISK)

FOLIA POMERANAE UNIVERSITATIS TECHNOLOGIAE STETINENSIS

Przemysław Klęsk. Słowa kluczowe: analiza składowych głównych, rozmaitości algebraiczne

Kombinowanie prognoz. - dlaczego należy kombinować prognozy? - obejmowanie prognoz. - podstawowe metody kombinowania prognoz

Silniki cieplne i rekurencje

1.1. Bezpośrednie transformowanie napięć przemiennych

IMPLEMENTACJA WYBRANYCH METOD ANALIZY STANÓW NIEUSTALONYCH W ŚRODOWISKU MATHCAD

Dynamiczne formy pełzania i relaksacji (odprężenia) górotworu

Akademia Ekonomiczna im. Oskara Langego we Wrocławiu Katedra Inwestycji Finansowych i Ubezpieczeń

Analiza efektywności kosztowej w oparciu o wskaźnik dynamicznego kosztu jednostkowego

Wskazówki projektowe do obliczania nośności i maksymalnego zanurzenia statku rybackiego na wstępnym etapie projektowania

WSPOMAGANIE DECYZJI - MIŁOSZ KADZIŃSKI LAB X - ELECTRE TRI

Stanisław Cichocki Natalia Nehrebecka. Wykład 4

BEZRYZYKOWNE BONY I LOKATY BANKOWE ALTERNATYWĄ DLA PRZYSZŁYCH EMERYTÓW. W tym krótkim i matematycznie bardzo prostym artykule pragnę osiągnąc 3 cele:

hact , 4 haot technice świec japońskich. 4 Na podstawie strony internetowej:

WYKORZYSTANIE MIERNIKÓW KREOWANIA WARTOŚCI W RACHUNKU ODPOWIEDZIALNOŚCI

ZESZYTY NAUKOWE UNIWERSYTETU SZCZECIŃSKIEGO NR 690 FINANSE, RYNKI FINANSOWE, UBEZPIECZENIA NR

Europejska opcja kupna akcji calloption

hact , 4 haot technice świec japońskich. 4 Na podstawie strony internetowej:

Zastosowanie sztucznych sieci neuronowych do prognozowania szeregów czasowych

Teoria kolejek w zastosowaniu do opisu procesu transportowego

specyfikacji i estymacji modelu regresji progowej (ang. threshold regression).

Wyzwania praktyczne w modelowaniu wielowymiarowych procesów GARCH

POZYCJONOWANIE I NADĄŻANIE MINIROBOTA MOBILNEGO M.R.K

Alicja Ganczarek Akademia Ekonomiczna w Katowicach. Analiza niezależności przekroczeń VaR na wybranym segmencie rynku energii

ANALIZA ODPOWIEDZI UKŁADÓW KONSTRUKCYJNYCH NA WYMUSZENIE W POSTACI SIŁY O DOWOLNYM PRZEBIEGU CZASOWYM

Analiza opłacalności inwestycji logistycznej Wyszczególnienie

ROZDZIAŁ 8 WIELOSTABILNOŚĆ W NIELINIOWYM MODELU CYKLU KONIUNKTURALNEGO Z OCZEKIWANIAMI

Rozdział 4 Instrukcje sekwencyjne

O PEWNYCH KRYTERIACH INWESTOWANIA W OPCJE NA AKCJE

UWARUNKOWANIA DIAGNOSTYCZNE STEROWANIA PROCESEM EKSPLOATACJI OKRĘTOWYCH SILNIKÓW GŁÓWNYCH

WPŁYW NIEPEWNOŚCI OSZACOWANIA ZMIENNOŚCI NA CENĘ INSTRUMENTÓW POCHODNYCH

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra Inżynierii Systemów Sterowania. Podstawy Automatyki

METODA WYBORU EFEKTYWNYCH PORTFELI PRZEDSIĘWZIĘĆ INWESTYCYJNYCH

( ) ( ) ( τ) ( t) = 0

OPTYMALNE POSTÊPOWANIE W PROBLEMIE SEKWENCYJNEJ SELEKCJI: PRAKTYKA I TEORIA

Ruch płaski. Bryła w ruchu płaskim. (płaszczyzna kierująca) Punkty bryły o jednakowych prędkościach i przyspieszeniach. Prof.

1.2.1 Ogólny algorytm podejmowania decyzji Algorytm postępowania diagnostycznego Analiza decyzyjna... 27

Witold Orzeszko Uniwersytet Mikołaja Kopernika w Toruniu. Własności procesów STUR w świetle metod z teorii chaosu 1

Zasada pędu i popędu, krętu i pokrętu, energii i pracy oraz d Alemberta bryły w ruchu postępowym, obrotowym i płaskim

E k o n o m e t r i a S t r o n a 1. Nieliniowy model ekonometryczny

FOLIA POMERANAE UNIVERSITATIS TECHNOLOGIAE STETINENSIS Folia Pomer. Univ. Technol. Stetin., Oeconomica 2015, 323(81)4,

Wojewódzki Konkurs Matematyczny dla uczniów gimnazjów. Etap szkolny 5 listopada 2013 Czas 90 minut

OPTYMALNE REGUŁY WYDATKOWE W PROWADZENIU POLITYKI FISKALNEJ

Rys.1. Podstawowa klasyfikacja sygnałów

Transkrypt:

Zarządzanie i Finanse Journal of Managemen and Finance Vol. 3, No. 4/2/205 Tadeusz Trzaskalik Sraegie opymalne i prawie opymalne w dyskrenym sochasycznym programowaniu dynamicznym Wsęp W niniejszym arykule zajmujemy się wieloeapowymi, dyskrenymi procesami decyzyjnymi. Rozparujemy procesy podzielone na skończoną liczbę eapów. Decyzja nie jes podejmowana jednorazowo, lecz wielokronie, na począku każdego eapu. W zależności od dokonanych wyborów skuki wcześniejszych decyzji ograniczają lub przeciwnie rozszerzają możliwości decyzyjne w nasępnych eapach. Dynamikę rozparywanych procesów można przedsawić nasępująco [Trzaskalik, 986, 990, 998]. Na począku każdego z eapów proces może się znajdować w pewnym zbiorze sanów dopuszczalnych. Decyden podejmuje decyzję dopuszczalną, co skukuje przejściem procesu do sanu począkowego nasępnego eapu. W procesach deerminisycznych przejście o określone jes poprzez funkcję przejścia. Ciąg podejmowanych decyzji oceniany jes całościowo za pomocą wieloeapowej funkcji kryerium, będącej sumą kryeriów eapowych, charakeryzujących wybory dokonane w kolejnych eapach. Kluczową rolę w zarządzaniu wieloeapowym procesem decyzyjnym odgrywa pojęcie sraegii. Jes o funkcja, kóra każdemu dopuszczalnemu procesu przyporządkowuje decyzję dopuszczalną. Opymalne serowanie wieloeapowym, dyskrenym procesem decyzyjnym wymaga znalezienia sraegii opymalnej, dla kórej wieloeapowa funkcja kryerium przyjmuje w zależności od charakeru rozparywanego problemu warość maksymalną (ak jak w rozparywanych w dalszej części niniejszej pracy procesach) lub minimalną. Do jej znalezienia sosujemy meodę programowania dynamicznego, wykorzysującą równania opymalności Bellmana [Bellman, 957; Bellman, Dreyfus, 967]. Niejednokronie jednoznaczne opisanie dynamiki procesu oraz oszacowanie skuków podejmowanych decyzji nie jes jednak możliwe. W wielu przypadkach saramy się uzyskać częściową wiedzę pozwalającą na oszacowanie rozkładów prawdopodobieńswa, opisujących Prof. dr hab., Kaedra Badań Operacyjnych, Wydział Informayki i Komunikacji, Uniwersye Ekonomiczny w Kaowicach, ul. Maja 50, 40-287 Kaowice, adeusz. rzaskalik@ue.kaowice.pl

288 Tadeusz Trzaskalik zachowanie się procesu w zależności od podejmowanych decyzji, oraz warości kryeriów eapowych związanych z ymi zmianami. Podejście o nazwane jes podejściem sochasycznym. Oceniając rozparywane sraegie, wykorzysujemy u pojęcie warości oczekiwanej sraegii, związane ze znanym decydenowi rozkładem prawdopodobieńswa w zbiorze sanów począkowych. Do określenia sraegii opymalnej ponownie wykorzysujemy zasadę opymalności Bellmana, ym razem w wersji sochasycznej [Trzaskalik, 986; Trzaskalik, Do Thien Hoa, 999; Trzaskalik, Siarz, 2007; Trzaskalik, Nowak, 202]. Dla decydena ineresująca może być jednak nie ylko informacja o ym, jaką posać ma sraegia opymalna, ale również znalezienie kolejnych sraegii, dla kórych warość oczekiwana jes bliska warości opymalnej, z dokładnością określoną przez decydena. Pojawia się pyanie o o, czy i w jaki sposób sraegie e mogą być znajdowane. Zagadnienie o w przypadku zadań deerminisycznych podejmowane było we wcześniejszych pracach. Proponowane rozwiązania doyczyły jednak poszukiwania odpowiednich realizacji procesu, kóre w przypadku zagadnień deerminisycznych mogły być wyznaczone ze względu na charaker ych procesów [Elmaghraby, 970; Trzaskalik 990]. W przypadku zadań sochasycznych akie podejście nie jes możliwe. Proponowana w niniejszej pracy meoda polega na znalezieniu zbioru sraegii opymalnych, a nasępnie rozszerzaniu ego zbioru o kolejne sraegie prawie opymalne, kóre mieszczą się w obszarze zaineresowań decydena. Nowe sraegie generujemy poprzez zmianę decyzji w jednym sanie dla sraegii zaakcepowanej wcześniej. Dla każdej nowo określonej sraegii sprawdzamy, czy nie była już wcześniej analizowana, a jeżeli nie, o wyliczamy jej warość oczekiwaną i sprawdzamy, czy mieści się ona w obszarze zaineresowań decydena. Proponowany dalej algorym porządkuje o posępowanie. Jego szczegóły przedsawiono w dalszej części opracowania. Zaproponowany sposób posępowania wzorowany jes na meodzie poszukiwania prawie opymalnych sraegii w analizie drzewa decyzyjnego, zaproponowanej w pracy [Nowak, 204]. Wcześniej podobne podejście, polegające na analizowaniu baz sąsiednich w sosunku do bazy akualnie rozparywanej, zasosował R. Seuer w wielokryerialnej meodzie programowania liniowego ADBASE, kóra pozwala na znalezienie wszyskich baz sprawnych [Seuer, 2003].

Sraegie opymalne i prawie opymalne 289 Celem niniejszego arykułu jes prezenacja meody poszukiwania rozwiązań prawie opymalnych, polegającej na generowaniu kolejnych sraegii przez zmianę decyzji w jednym sanie. Pozwala ona na ograniczenie przeglądu zbioru wszyskich sraegii. Arykuł składa się z 4 części. W części przedsawione zosały: wykorzysywana dalej noacja, meoda obliczenia warości oczekiwanej dla dowolnej sraegii oraz równania opymalności, pozwalające na znalezienie w oparciu o zasadę opymalności Bellmana sraegii opymalnej. W części 2 zdefiniowano pojęcie sraegii prawie opymalnej i przedsawiono proponowany algorym, pozwalający na wyznaczenie zbioru sraegii prawie opymalnych z zadaną przez decydena dokładnością. Część 3 ma charaker ilusracyjny. Przedsawiono w niej szczegółowo przykład liczbowy, ilusrujący działanie algorymu. W części 4 znajduje się dyskusja i wnioski. Praca wykonana w ramach projeku badawczego NCN DEC- 203//B/HS4/047.. Sraegia opymalna Wykorzysamy nasępujące oznaczenia [Trzaskalik, 986]: T liczba eapów rozparywanego procesu decyzyjnego, y san procesu na począku eapu (=,,T), Y skończony zbiór sanów procesu na począku eapu, YT+ skończony zbiór sanów końcowych procesu, x san dopuszczalny na począku eapu, X(y) skończony zbiór sanów dopuszczalnych na począku eapu, jeżeli proces na począku ego eapu znajdował się w sanie y Y, F(y+ y, x) warość kryerium eapowego dla eapu przy przejściu od sanu y do sanu y+, gdy podjęa była decyzja x X(y), P(y+ y, x) prawdopodobieńswo przejścia procesu w eapie ze sanu y do sanu y+, gdy podjęa zosała decyzja x X(y). P(y) rozkład prawdopodobieńswa dla sanów począkowych y Y. Zachodzi związek: ( ) (, ) =, y x X y P y+ y x T Y () y y + Y + gdzie: {x} sraegia, czyli funkcja, kóra każdemu sanowi y Y przyporządkowuje jednoznacznie decyzję x X(y), {X} zbiór wszyskich sraegii rozparywanego procesu,

290 Tadeusz Trzaskalik { x,t } sraegia skrócona, obejmująca eapy od do T,. Załóżmy, że wybraliśmy pewną sraegię { x } { X}. Oczekiwaną warość realizacji procesu dla sraegii skróconej x } obliczamy nasępująco: { T,T G ( y,{ x }) = F ( y y, x ) P ( y y, x T T T, T T T + T T T T + y + T YT + Oczekiwaną warość realizacji procesu dla sraegii skróconej x }, T T ) {,T gdy proces na począku eapu znajdował się w sanie y Y obliczamy ze wzoru: G ( y,{ x }) =,T ( F ( y+ y, x ) + G+ ( y+,{ x })) P ( +, T y+ y + Y + y, x ) Oczekiwaną warość realizacji procesu dla usalonej sraegii {x} obliczamy ze wzoru: { x} = G ( y,{ x}) P ( y y Y (2) (3) G ) (4) Wykorzysując zasadę opymalności Bellmana [Bellman, 997], określamy sraegię opymalną. Algorym. Dla każdego sanu yt YT obliczamy warości opymalne G * T ( yt ) = max FT ( yt + yt, xt ) PT ( yt + xt X ( y ) yt + YT + i znajdujemy decyzję x * (y), dla kórej o maksimum jes osiągnięe. Decyzja a jes częścią konsruowanej przez nas sraegii opymalnej. 2. Dla eapu, T, i każdego sanu y Y obliczamy warości opymalne G * y ( ) = + * + + y + T, x max ( F ( y y, x ) + G ( y )) P ( y y, x ) x X ( y ) y+ Y + i znajdujemy decyzję x * (y), dla kórej o maksimum jes osiągnięe. Decyzja a jes częścią konsruowanej przez nas sraegii opymalnej. 3. Opymalną oczekiwaną warość realizacji procesu obliczamy ze wzoru: * * * { x } = G ( y,{ x }) P ( y y Y T ) (5) (6) G ) (7)

Sraegie opymalne i prawie opymalne 29 2. Wyznaczanie sraegii prawie opymalnych Sraegię {x p } nazywamy sraegią prawie opymalną, jeżeli jej oczekiwana warość różni się od oczekiwanej warości sraegii opymalnej {x*} co najwyżej o zadaną warość ε, czyli G x } G{ x } ε (8) { * p Oznacza o, że decydena ineresują sraegie, dla kórych przy czym G{x p } Z (9) Z = G x } ε (0) { * Przypuścimy, że decyden zaineresowany jes znalezieniem sraegii prawie opymalnych i określił warość ε. Przyjmujemy nasępujące oznaczenia: LS lisa sraegii opymalnych i prawie opymalnych, LSB lisa sraegii do przebadania, czyli akich, kóre mogą być modyfikowane w celu wyznaczenia kolejnych sraegii prawie opymalnych. LSC lisa sraegii rozparywanych w rakcie działania algorymu. Algorym 2. Przyjmij: LS:=, LSB:=, LSC =. 2. Wykorzysując Algorym, wyznacz zbiór sraegii {X*}, dla kórych rozparywane kryerium osiąga warość opymalną. 3. Zapisz sraegie ze zbioru {X*} do zbiorów LS, LSB i LSC: LS:= LSC {X*}. LSB := LBS {X*}. LSC:= LSC {X*}. 4. Jeżeli LSB =, przejdź do kroku. 5. Wybierz kolejną sraegię {x} ze zbioru LSB i usuń ją z ego zbioru: LSB:= LSB \ {x}. 6. Wyznacz wszyskie sraegie zmodyfikowane, kóre różnią się od sraegii {x} decyzją podejmowaną w jednym sanie i zapisz je w zbiorze M{x}. 7. Sprawdź, czy w zbiorze M{x} znajdują się sraegie, kóre są również w zbiorach LS, LSB oraz LSC. Usuń powarzające się sraegie ze zbioru M{x}. M{x} = M{x} \ (M{x} LS) \ (M{x} LSB) \ (M{x} LSC) 8. Sprawdź, czy M{x}. Jeżeli nie, przejdź do kroku 4. 9. Dla kolejnych sraegii {x m } M{x}:

292 Tadeusz Trzaskalik a) wykorzysując wzory (2) i (3), oblicz warość oczekiwaną rozparywanej sraegii {x m }, b) zapisz sraegię {x m } w zbiorze LSC: LSC:= LSC {x m }, c) jeżeli warość oczekiwana rozparywanej sraegii jes nie niższa niż Z o zapisz sraegię {x m } do zbiorów LS oraz LSB: LS:= LS {x n }, LSB:= LSB {x n }. 0. Przejdź do kroku 4.. Koniec procedury. 3. Ilusracja działania Algorymu 2 Rozparujemy rzyeapowy proces decyzyjny. Zbiory sanów na począku kolejnych eapów są nasępujące: Y = {,2} Y2 = {3,4} Y3 = {5,6} Zbiór sanów końcowych procesu ma posać: Y4 = {7,8} Zbiory decyzji dopuszczalnych są nasępujące: X() = {A,B} X(2) = {C,D} X2(3) = {E,F} X2(4) = {G,H} X3(5) = {I,J} X3{6} = {K,L} Graf procesu przedsawiony jes na rysunku. Rysunek. Graf procesu Eap Eap 2 Eap 3 A E I B 3 F 5 J 7 C G K 2 D 4 H 6 L 8 Źródło: Opracowanie własne.

Sraegie opymalne i prawie opymalne 293 Przykładowo, jeżeli proces znajduje się w sanie i podjęa zosała decyzja A, wedy prawdopodobieńswo przejścia procesu do sanu 3 wynosi P(3,A), naomias prawdopodobieńswo przejścia do sanu 4 jes równe P(4,A). Odpowiadające ym syuacjom warości funkcji kryerium wynoszą odpowiednio F(3,A) oraz F(4,A). Wszyskie warości prawdopodobieńsw przejść oraz eapowych funkcji korzyści dane są w ablicy. Tablica. Warości prawdopodobieńsw przejść i funkcji korzyści Eap (y+ y,x) P( ) F( ) Eap (y+ y,x) P( ) F( ) (3,A) 0,4 5 2 (5 4,G) 0,5 5 (4,A) 0,6 7 2 (6 4,G) 0,5 8 (3,B) 0,7 8 2 (5 4,H) 0,3 3 (4,B) 0,3 9 2 (6 4,H) 0,7 22 (3 2,C) 0,4 5 3 (7 5,I) 0,2 30 (4 2,C) 0,6 7 3 (8 5,I) 0,8 2 (3 2,D) 0,7 8 3 (7 5,J) 0,9 22 (4 2,D) 0,3 9 3 (8 5,J) 0, 28 2 (5 3,E) 0,5 5 3 (7 6,K) 0,2 30 2 (6 3,E) 0,5 8 3 (8 6,K) 0,8 2 2 (5 3,F) 0,3 3 3 (7 6,L) 0,9 22 2 (6 3,F) 0,7 22 3 (8 6,L) 0, 28 Źródło: Opracowanie własne. Ze względu na niewielkie rozmiary ego ilusracyjnego zadania isniejące sraegie możemy dla lepszej przejrzysości wypisać i ponumerować od do 64. Numerację ę przedsawia ablica 2. Tablica 2. Lisa sraegii Nr Decyzje Nr Decyzje Nr Decyzje Nr Decyzje (A,C,E,G.I,K) 7 (A,D,E,G.I,K) 33 (B,C,E,G.I,K) 49 (B,D,E,G.I,K) 2 (A,C,E,G.I,L) 8 (A,D,E,G.I,L) 34 (B,C,E,G.I,K) 50 (B,D,E,G.I,L) 3 (A,C,E,G.J,K) 9 (A,D,E,G.J,K) 35 (B,C,E,G.J,K) 5 (B,D,E,G.J,K) 4 (A,C,E,G.J,L) 20 (A,D,E,G.J,L) 36 (B,C,E,G.J,L) 52 (B,D,E,G.J,L) 5 (A,C,E,H.I,K) 2 (A,D,E,H.I,K) 37 (B,C,E,H.I,K) 53 (B,D,E,H.I,K) 6 (A,C,E,H.I,L) 22 (A,D,E,H.I,L) 38 (B,C,E,H.I,L) 54 (B,D,E,H.I,L) 7 (A,C,E,H.J,K) 23 (A,D,E,H.J,K) 39 (B,C,E,H.J,K) 55 (B,D,E,H.J,K)

294 Tadeusz Trzaskalik Nr Decyzje Nr Decyzje Nr Decyzje Nr Decyzje 8 (A,C,E,H.J,L) 24 (A,D,E,H.J,L) 40 (B,C,E,H.J,L) 56 (B,D,E,H.J,L) 9 (A,C,F,G.I,K) 25 (A,D,F,G.I,K) 4 (B,C,F,G.I,K) 57 (B,D,F,G.I,K) 0 (A,C,F,G.I,L) 26 (A,D,F,G.I,L) 42 (B,C,F,G.I,L) 58 (B,D,F,G.I,L) (A,C,F,G.J,K) 27 (A,D,F,G.J,K) 43 (B,C,F,G.J,K) 59 (B,D,F,G.J,K) 2 (A,C,F,G.J,L) 28 (A,D,F,G.J,L) 44 (B,C,F,G.J,L) 60 (B,D,F,G.J,L) 3 (A,C,F,H.I,K) 29 (A,D,F,H.I,K) 45 (B,C,F,H.I,K) 6 (B,D,F,H.I,K) 4 (A,C,F,H.I,L) 30 (A,D,F,H.I,L) 46 (B,C,F,H.I,L) 62 (B,D,F,H.I,L) 5 (A,C,F,H.J,K) 3 (A,D,F,H.J,K) 47 (B,C,F,H.J,K) 63 (B,D,F,H.J,K) 6 (A,C,F,H.J,L) 32 (A,D,F,H.J,L) 48 (B,C,F,H.J,L) 64 (B,D,F,H.J,L) Źródło: Opracowanie własne. Przypuśćmy, że decyden określił, że ineresują go sraegie opymalne oraz prawie opymalne, dla kórych oczekiwana warość może być mniejsza od oczekiwanej warości opymalnej nie więcej niż o,5%. Wykorzysując Algorym 2, wyznaczamy sraegie opymalne i prawie opymalne w nasępujący sposób:. Przyjmujemy: LS:=, LSB:=, LSC :=. 2. Wykorzysując Algorym, znajdujemy zbiór sraegii opymalnych: {X * } = {{x 64 }} przy czym {x 64 } = (B, D, F, H, J, L) (parz ablica ). Mamy G*{x 64 } = 60.2. Ponieważ warości oczekiwane dla sraegii prawie opymalnych nie mogą się odchylać od oczekiwanej warości opymalnej więcej niż o,5%, mamy: ε= 0,903, Z = 59,297. 3. Dodajemy sraegię opymalną do zbiorów LS i LSB. Mamy: LS := LS {X * } = { {x 64 } } LSB := LSB {X * } = { {x 64 } }. 4. Ponieważ LSB przechodzimy do kroku 5. 5. Wybieramy sraegię {x 64 } ze zbioru LSB, usuwamy ją z ego zbioru i dodajemy do zbioru LSC: LSB:= LSB \ {x 64 } = LSC = LSC {x 64 } = { {x 64 } }. 6. Określamy wszyskie sraegie zmodyfikowane, różniące się od sraegii {x 64 } decyzją w jednym sanie. Orzymujemy nasępujące sraegie: {x 63 } = {B, D, F, H, J, K} {x 56 } = {B, D, E, H, J, L}

Sraegie opymalne i prawie opymalne 295 {x 62 } = {B, D, F, H, I, L} {x 48 } = {B, C, F, H, J, L} {x 60 } = {B, D, F, G, J, L} {x 32 } = {A, D, F, H, J, L} i umieszczamy je w zbiorze M{x 64 }: M{x 64 } := { {x 63 }, {x 62 }, {x 60 }, {x 56 }, {x 48 }, {x 32 } }. 7. Sprawdzamy, czy zbiór M{x 64 } zawiera sraegie, kóre znajdują się również w zbiorach LS, LSB i LSC. Orzymujemy: M{x 64 } LS = M{x 64 } LSB = M{x 64 } LSC = sąd M{x 64 } \ (M{x 64 } LS) \ (M{x 64 } LSB) \ (M{x 64 } LSC) = M{x 64 } 8. Mamy M{x 64 }. 9. Rozparujemy kolejne sraegie {x m } ze zbioru M{x 64 }. Sraegia {x 63 } a) obliczamy G{x 63 } = 55,3 b) dodajemy sraegię {x 63 } do zbioru LSC: LSC := LSC {x 63 } = {{x 64 }, {x 63 } } c) ponieważ G{x 63 } < 59,297, sraegii {x 63 } nie dodajemy ani do zbioru LS, ani do zbioru LSB. Sraegia{x 62 } a) obliczamy G{x 62 } = 58, b) dodajemy sraegię {x 62 } do zbioru LSC: LSC := LSC {x 62 } = { {x 64 }, {x 63 }, {x 62 } } c) ponieważ G{x 62 } < 59,297, sraegii {x 62 } nie dodajemy ani do zbioru LS, ani do zbioru LSB. Sraegia{x 60 } a) obliczamy G{x 60 } = 59,36 b) dodajemy sraegię {x 60 } do zbioru LSC: LSC := LSC {x 60 } = { {x 64 }, {x 63 }, {x 62 }, {x 60 } } c) ponieważ G{x 63 } > 59,297, sraegię {x 60 } dodajemy zarówno do zbioru LS, jak i do zbioru LSB: LS := LS {x 60 } = { {x 64 }, {x 60 } } LSB := LSB {x 60 } = { {x 60 } } Sraegia{x 56 } a) obliczamy G{x 56 } = 58,24 b) dodajemy sraegię {x 56 } do zbioru LSC: LSC := LSC {x 56 } = { {x 64 }, {x 63 }, {x 62 }, {x 60 }, {x 56 } }

296 Tadeusz Trzaskalik c) ponieważ G{x 56 } < 59,297, sraegii {x 56 } nie dodajemy ani do zbioru LS, ani do zbioru LSB. Sraegia{x 48 } a) obliczamy G{x 48 } = 58,94 b) dodajemy sraegię {x 48 } do zbioru LSC: LSC := LSC {x 48 } = { {x 64 }, {x 63 }, {x 62 }, {x 60 }, {x 56 } {x 48 } } c) ponieważ G{x 56 } < 59,297, sraegii {x 56 } nie dodajemy ani do zbioru LS, ani do zbioru LSB: Sraegia{x 32 } a) obliczamy G{x 32 } = 59,36 b) dodajemy sraegię {x 32 } do zbioru LSC: LSC := LSC {x 32 } = { {x 64 }, {x 63 }, {x 62 }, {x 60 }, {x 56 } {x 48 } {x 32 } } c) ponieważ G{x 32 } > 59,297, sraegię {x 32 }.dodajemy zarówno do zbioru LS, jak i do zbioru LSB: LS := LS {x 32 } = {{x 64 }, {x 32 }, {x 60 }} LSB := LSB {x 32 } = {{x 60 }, {x 32 } } 0. Przechodzimy do kroku 4. 4. Ponieważ LSB, przechodzimy do kroku 5. 5. Ze zbioru LSB wybieramy sraegię {x 60 } = (B, D, F, G, J, L), usuwamy ją z ego zbioru: LSB:= LSB \ {x 60 } = { {x 32 } 6. Określamy wszyskie sraegie zmodyfikowane, różniące się od sraegii {x 60 } decyzją w jednym sanie. Orzymujemy nasępujące sraegie: {x 59 } = {B, D, F, G, J, K} {x 52 } = (B, D, E, G, J, L), {x 58 } = (B, D, F, G, I, L), {x 44 } = (B, C, F, G, J, L), {x 64 } = (B, D, F, H, J, L), } {x 28 } = (A, D, F, G, J, L), i umieszczamy je w zbiorze M{x 60 }: M{x 60 } := { {x 59 }, {x 58 }, {x 64 }, {x 52 }, {x 44 }, {x 28 } }. 7. Sprawdzamy, czy zbiór M{x 60 } zawiera sraegie, kóre znajdują się również w zbiorach LS, LSB i LSC. Orzymujemy: M{x 60 } LS = M{x 60 } LSB = M{x 60 } LSC = {x 64 }, sąd M{x 60 } := M{x 60 } \ (M{x 60 } LS) \ (M{x 60 } LSB) \ (M{x 60 } LSC) =. { {x 59 }, {x 58 }, {x 52 }, {x 44 }, {x 28 } }.. 8. Mamy M{x 60 }.

Sraegie opymalne i prawie opymalne 297 9. Rozparujemy kolejne sraegie {x m } ze zbioru M{x 60 }. Ponieważ G{x 59 } = 54,88 < 59,297 G{x 44 } = 57,596 < 59,297 G{x 58 } = 56,84 < 59,297 G{x 28 } = 58,84 < 59,297 G{x 52 } = 57,4 < 59,297 żadnej ze sraegii ze zbioru M{x 32 } nie dołączamy do zbioru LS, ani do zbioru LSB, sąd: LS = {{x 64 }, {x 32 }, {x 60 }} LSB = { {x 32 } } Po wykonaniu kolejnych operacji orzymujemy: LSC = { {x 64 }, {x 63 }, {x 62 }, {x 60 }, {x 56 } {x 48 }, {x 32 },{x 59 }, {x 58 }, {x 52 }, {x 44 }, {x 28 }} 0. Przechodzimy do kroku 4. 4. Ponieważ LSB, przechodzimy do kroku 5. 5. Ze zbioru LSB wybieramy sraegię {x 32 } = (A, D, F, H, J, L), usuwamy ją z ego zbioru: LSB:= LSB \ {x 32 } = 6. Określamy wszyskie sraegie zmodyfikowane, różniące się od sraegii {x 32 } decyzją w jednym sanie. Orzymujemy nasępujące sraegie: {x 3 } = {A, D, F, H, J, K} {x 24 } = {A, D, E, H, J, L} {x 30 } = {A, D, F, H, I, L} {x 6 } = {A, C, F, H, J, L} {x 28 } = {A, D, F, G, J, L} {x 64 } = {B, D, F, H, J, L} i umieszczamy je w zbiorze M{x 32 }: M{x 32 } := { {x 3 }, {x 30 }, {x 28 }, {x 24 }, {x 6 }, {x 64 } }. 7. Sprawdzamy, czy zbiór M{x 32 } zawiera sraegie, kóre znajdują się również w zbiorach LS, LSB i LSC. Orzymujemy: M{x 32 } LS = M{x 32 } LSB = M{x 32 } LSC = { {x 64 }, {x 28 } } sąd M{x 32 } := M{x 32 } \ (M{x 32 } LS) \ (M{x 32 } LSB) \ (M{x 32 } LSC) = { {x 3 }, {x 30 }, {x 28 }, {x 24 }, {x 6 }, }. 8. Mamy M{x 32 }. 9. Rozparujemy kolejne sraegie {x m } ze zbioru M{x 32 }. Ponieważ G{x 3 } = 54,46 < 59,297 G{x 24 } = 57,736 < 59,297 G{x 30 } = 57,26 < 59,297 G{x 6 } = 58, < 59,297 żadnej ze sraegii ze zbioru M{x 32 } nie dołączamy do zbioru LS, ani do zbioru LSB, czyli LS = {{x 64 }, {x 60 }, {{x 32 } }

298 Tadeusz Trzaskalik LSB = Do zbioru LSC dodajemy kolejne rozparywane sraegie ze zbioru M{x 32 }, sąd: LSC = { {x 6 }, {x 24 }, {x 28 }, {x 30 }, {x 3 }, {x 32 }, {x 48 }, {x 56 }, {x 60 }, {x 62 }, {x 63 }, {x 64 }, }, 0. Przechodzimy do kroku 4. 4. Ponieważ LSB =, przechodzimy do kroku.. Koniec procedury. Zakończenie W arykule zdefiniowano pojęcie sraegii prawie opymalnych dla dyskrenych, sochasycznych procesów wieloeapowych oraz zaproponowano algorym pozwalający na znalezienie sraegii opymalnych i prawie opymalnych. W rozparywanym przykładzie oprócz sraegii opymalnej znaleziono dwie sraegie prawie opymalne, różniące się od sraegii opymalnej nie więcej niż o,5%. Algorym poddawany jes obecnie esom kompuerowym. Czas porzebny na jego realizację zależny jes od liczby sraegii, dla kórych warość oczekiwana mieści się w zadanym przez decydena przedziale olerancji. Jeżeli przedział en obejmuje zby dużo sraegii, obliczenia mogą nie zosać przeprowadzone do końca. Dysponujemy wówczas jednak ymi sraegiami, kóre udało się wyznaczyć do momenu przerwania obliczeń. Zagadnienie wyznaczania sraegii opymalnych i prawie opymalnych znajduje zasosowanie w podejściu hierarchicznym wielokryerialnego programowania dynamicznego. Dalsze prace nad wykorzysaniem ej meody skierowane będą w ym kierunku. Zakres prakycznych zasosowań proponowanego algorymu obejmuje wszyskie e problemy, w kórych wysępuje sekwencja powiązanych ze sobą decyzji. Z syuacją aką mamy na przykład do czynienia w zarządzaniu porfelem projeków. Skład porfela podlega ciągłym zmianom. Zakończenie określonego przedsięwzięcia umożliwia wykorzysanie zwolnionych zasobów, przy czym realizowane projeky są częso powiązane. Algorym może być również przydany w problemach z zakresu zarządzania zdolnością produkcyjną. Usalając sraegię zwiększania możliwości wywórczych, firma kieruje się głównie finansową oceną inwesycji. Jednocześnie jednak bierze pod uwagę inne, rudno kwanyfikowalne czynniki. Sraegia opymalna pod względem finansowym może okazać się mniej korzysna ze względu na inne krye-

Sraegie opymalne i prawie opymalne 299 ria. Decydenci mogą zaem być zaineresowani poszukiwaniem akiego rozwiązania, kóre co prawda jes oceniane nieco gorzej z punku widzenia finansowego, o jednak jes zdecydowanie bardziej arakcyjne z punku widzenia innych ważnych celów organizacji. Lieraura. Bellman R. (957), Dynamic Programming, Princeon Universiy Press. 2. Bellman R., Dreyfus S. (967), Programowania dynamiczne. Zasosowania, PWE, Warszawa. 3. Elmaghraby S. E. (970), The Theory of Neworks and Managemen Science, Par Managemen Science, Vol. 7. 4. Nowak M. (204), Wykorzysanie podejścia quasi-hierarchicznego w wielokryerialnym drzewie decyzyjnym, w: Analiza i wspomaganie decyzji, D. Kopańska-Bródka (red.), Sudia Ekonomiczne. Zeszyy Naukowe Wydziałowe, nr 208, Uniwersye Ekonomiczny w Kaowicach. 5. Nowak M., Trzaskalik T. (202), Ineracive procedure for a muliobjecive sochasic discree dynamic problem, Journal of Global Opimizaion, Vol. 57, No. 2. 6. Seuer R. E. (2003), ADBASE: A Muliple Objecive Linear Programming Solver for All Efficien Exreme Poins and All Efficien Unbounded Edges, Terry College of Business, Universiy of Georgia, Ahens, Georgia. 7. Trzaskalik T. (998), Muliobjecive Analysis in Dynamic Environmnen, The Karol Adamiecki Universiy of Economics in Kaowice Press, Kaowice. 8. Trzaskalik T. (990), Wielokryerialne dyskrene programowanie dynamiczne. Teoria i zasosowania w prakyce gospodarczej, Akademia Ekonomiczna w Kaowicach, Kaowice. 9. Trzaskalik T. (986), Wybrane problemy programowania dynamicznego, Akademia Ekonomiczna w Kaowicach, Kaowicach. 0. Trzaskalik T., Do Thien Hoa (999), Wielokryerialne, wieloeapowe procesy decyzyjne w warunkach niepewności, w: Modelowanie preferencji a ryzyko 99, część 2, Trzaskalik T. (red.), Akademia Ekonomiczna im. K. Adamieckiego, Kaowice.. Trzaskalik T., Siarz S. (2007), Discree dynamic programming wih oucomes in random variable srucures, European Journal of Operaional Research, Vol. 77.

300 Tadeusz Trzaskalik Sreszczenie W pracy rozparujemy wieloeapowe, dyskrene, sochasyczne procesy decyzyjne. Dla decydena ineresujące może być nie ylko znalezienie sraegii opymalnej, ale również kolejnych sraegii, dla kórych warość oczekiwana jes bliska warości oczekiwanej sraegii opymalnej, z dokładnością określoną przez decydena. Celem arykułu jes zaproponowanie algorymu pozwalającego na znalezienie sraegii opymalnych i prawie opymalnych. Sraegie opymalne znajdujemy, wykorzysując zasadę opymalności Bellmana. Proponowana w niniejszej pracy meoda polega na znalezieniu zbioru sraegii opymalnych, a nasępnie rozszerzaniu ego zbioru o kolejne sraegie prawie opymalne, kóre mieszczą się w obszarze zaineresowań decydena. Nowe sraegie generujemy poprzez zmianę decyzji w jednym sanie dla sraegii zaakcepowanej wcześniej. Zaproponowany algorym ilusrowany jes prosym przykładem liczbowym, wyjaśniającym jego działanie. Słowa kluczowe programowanie dynamiczne, sraegia, modele sochasyczne Opimal and Near Opimal Sraegies in Discree Sochasic Dynamic Programming (Summary) In he paper mulisage, discree sochasic decision processes are considered. For he decision maker i may be ineresing no only o find he opimal sraegy, bu also anoher sraegies, for which heir expeced values are close o he expeced value of he opimal sraegy, wih he accuracy deermined by he decision maker. The aim of he paper is o propose he algorihm ha allows o find opimal and near opimal sraegies. We find he opimal sraegies using Bellman s principle of opimaliy. The mehod proposed in he paper relies on finding he se of opimal sraegies and expanding i o he nex near opimal sraegies ha are of ineres o he decision maker. New sraegies are generaed by changing decision in one sae only for he sraegies approved earlier. The proposed algorihm is illusraed wih a simple numerical example explaining of how i works. Keywords dynamic programming, sraegy, sochasic models