Strategie optymalne i prawie optymalne w dyskretnym stochastycznym programowaniu dynamicznym

Transkrypt

1 Zarządzanie i Finanse Journal of Managemen and Finance Vol. 3, No. 4/2/205 Tadeusz Trzaskalik Sraegie opymalne i prawie opymalne w dyskrenym sochasycznym programowaniu dynamicznym Wsęp W niniejszym arykule zajmujemy się wieloeapowymi, dyskrenymi procesami decyzyjnymi. Rozparujemy procesy podzielone na skończoną liczbę eapów. Decyzja nie jes podejmowana jednorazowo, lecz wielokronie, na począku każdego eapu. W zależności od dokonanych wyborów skuki wcześniejszych decyzji ograniczają lub przeciwnie rozszerzają możliwości decyzyjne w nasępnych eapach. Dynamikę rozparywanych procesów można przedsawić nasępująco [Trzaskalik, 986, 990, 998]. Na począku każdego z eapów proces może się znajdować w pewnym zbiorze sanów dopuszczalnych. Decyden podejmuje decyzję dopuszczalną, co skukuje przejściem procesu do sanu począkowego nasępnego eapu. W procesach deerminisycznych przejście o określone jes poprzez funkcję przejścia. Ciąg podejmowanych decyzji oceniany jes całościowo za pomocą wieloeapowej funkcji kryerium, będącej sumą kryeriów eapowych, charakeryzujących wybory dokonane w kolejnych eapach. Kluczową rolę w zarządzaniu wieloeapowym procesem decyzyjnym odgrywa pojęcie sraegii. Jes o funkcja, kóra każdemu dopuszczalnemu procesu przyporządkowuje decyzję dopuszczalną. Opymalne serowanie wieloeapowym, dyskrenym procesem decyzyjnym wymaga znalezienia sraegii opymalnej, dla kórej wieloeapowa funkcja kryerium przyjmuje w zależności od charakeru rozparywanego problemu warość maksymalną (ak jak w rozparywanych w dalszej części niniejszej pracy procesach) lub minimalną. Do jej znalezienia sosujemy meodę programowania dynamicznego, wykorzysującą równania opymalności Bellmana [Bellman, 957; Bellman, Dreyfus, 967]. Niejednokronie jednoznaczne opisanie dynamiki procesu oraz oszacowanie skuków podejmowanych decyzji nie jes jednak możliwe. W wielu przypadkach saramy się uzyskać częściową wiedzę pozwalającą na oszacowanie rozkładów prawdopodobieńswa, opisujących Prof. dr hab., Kaedra Badań Operacyjnych, Wydział Informayki i Komunikacji, Uniwersye Ekonomiczny w Kaowicach, ul. Maja 50, Kaowice, adeusz. rzaskalik@ue.kaowice.pl

2 288 Tadeusz Trzaskalik zachowanie się procesu w zależności od podejmowanych decyzji, oraz warości kryeriów eapowych związanych z ymi zmianami. Podejście o nazwane jes podejściem sochasycznym. Oceniając rozparywane sraegie, wykorzysujemy u pojęcie warości oczekiwanej sraegii, związane ze znanym decydenowi rozkładem prawdopodobieńswa w zbiorze sanów począkowych. Do określenia sraegii opymalnej ponownie wykorzysujemy zasadę opymalności Bellmana, ym razem w wersji sochasycznej [Trzaskalik, 986; Trzaskalik, Do Thien Hoa, 999; Trzaskalik, Siarz, 2007; Trzaskalik, Nowak, 202]. Dla decydena ineresująca może być jednak nie ylko informacja o ym, jaką posać ma sraegia opymalna, ale również znalezienie kolejnych sraegii, dla kórych warość oczekiwana jes bliska warości opymalnej, z dokładnością określoną przez decydena. Pojawia się pyanie o o, czy i w jaki sposób sraegie e mogą być znajdowane. Zagadnienie o w przypadku zadań deerminisycznych podejmowane było we wcześniejszych pracach. Proponowane rozwiązania doyczyły jednak poszukiwania odpowiednich realizacji procesu, kóre w przypadku zagadnień deerminisycznych mogły być wyznaczone ze względu na charaker ych procesów [Elmaghraby, 970; Trzaskalik 990]. W przypadku zadań sochasycznych akie podejście nie jes możliwe. Proponowana w niniejszej pracy meoda polega na znalezieniu zbioru sraegii opymalnych, a nasępnie rozszerzaniu ego zbioru o kolejne sraegie prawie opymalne, kóre mieszczą się w obszarze zaineresowań decydena. Nowe sraegie generujemy poprzez zmianę decyzji w jednym sanie dla sraegii zaakcepowanej wcześniej. Dla każdej nowo określonej sraegii sprawdzamy, czy nie była już wcześniej analizowana, a jeżeli nie, o wyliczamy jej warość oczekiwaną i sprawdzamy, czy mieści się ona w obszarze zaineresowań decydena. Proponowany dalej algorym porządkuje o posępowanie. Jego szczegóły przedsawiono w dalszej części opracowania. Zaproponowany sposób posępowania wzorowany jes na meodzie poszukiwania prawie opymalnych sraegii w analizie drzewa decyzyjnego, zaproponowanej w pracy [Nowak, 204]. Wcześniej podobne podejście, polegające na analizowaniu baz sąsiednich w sosunku do bazy akualnie rozparywanej, zasosował R. Seuer w wielokryerialnej meodzie programowania liniowego ADBASE, kóra pozwala na znalezienie wszyskich baz sprawnych [Seuer, 2003].

3 Sraegie opymalne i prawie opymalne 289 Celem niniejszego arykułu jes prezenacja meody poszukiwania rozwiązań prawie opymalnych, polegającej na generowaniu kolejnych sraegii przez zmianę decyzji w jednym sanie. Pozwala ona na ograniczenie przeglądu zbioru wszyskich sraegii. Arykuł składa się z 4 części. W części przedsawione zosały: wykorzysywana dalej noacja, meoda obliczenia warości oczekiwanej dla dowolnej sraegii oraz równania opymalności, pozwalające na znalezienie w oparciu o zasadę opymalności Bellmana sraegii opymalnej. W części 2 zdefiniowano pojęcie sraegii prawie opymalnej i przedsawiono proponowany algorym, pozwalający na wyznaczenie zbioru sraegii prawie opymalnych z zadaną przez decydena dokładnością. Część 3 ma charaker ilusracyjny. Przedsawiono w niej szczegółowo przykład liczbowy, ilusrujący działanie algorymu. W części 4 znajduje się dyskusja i wnioski. Praca wykonana w ramach projeku badawczego NCN DEC- 203//B/HS4/047.. Sraegia opymalna Wykorzysamy nasępujące oznaczenia [Trzaskalik, 986]: T liczba eapów rozparywanego procesu decyzyjnego, y san procesu na począku eapu (=,,T), Y skończony zbiór sanów procesu na począku eapu, YT+ skończony zbiór sanów końcowych procesu, x san dopuszczalny na począku eapu, X(y) skończony zbiór sanów dopuszczalnych na począku eapu, jeżeli proces na począku ego eapu znajdował się w sanie y Y, F(y+ y, x) warość kryerium eapowego dla eapu przy przejściu od sanu y do sanu y+, gdy podjęa była decyzja x X(y), P(y+ y, x) prawdopodobieńswo przejścia procesu w eapie ze sanu y do sanu y+, gdy podjęa zosała decyzja x X(y). P(y) rozkład prawdopodobieńswa dla sanów począkowych y Y. Zachodzi związek: ( ) (, ) =, y x X y P y+ y x T Y () y y + Y + gdzie: {x} sraegia, czyli funkcja, kóra każdemu sanowi y Y przyporządkowuje jednoznacznie decyzję x X(y), {X} zbiór wszyskich sraegii rozparywanego procesu,

4 290 Tadeusz Trzaskalik { x,t } sraegia skrócona, obejmująca eapy od do T,. Załóżmy, że wybraliśmy pewną sraegię { x } { X}. Oczekiwaną warość realizacji procesu dla sraegii skróconej x } obliczamy nasępująco: { T,T G ( y,{ x }) = F ( y y, x ) P ( y y, x T T T, T T T + T T T T + y + T YT + Oczekiwaną warość realizacji procesu dla sraegii skróconej x }, T T ) {,T gdy proces na począku eapu znajdował się w sanie y Y obliczamy ze wzoru: G ( y,{ x }) =,T ( F ( y+ y, x ) + G+ ( y+,{ x })) P ( +, T y+ y + Y + y, x ) Oczekiwaną warość realizacji procesu dla usalonej sraegii {x} obliczamy ze wzoru: { x} = G ( y,{ x}) P ( y y Y (2) (3) G ) (4) Wykorzysując zasadę opymalności Bellmana [Bellman, 997], określamy sraegię opymalną. Algorym. Dla każdego sanu yt YT obliczamy warości opymalne G * T ( yt ) = max FT ( yt + yt, xt ) PT ( yt + xt X ( y ) yt + YT + i znajdujemy decyzję x * (y), dla kórej o maksimum jes osiągnięe. Decyzja a jes częścią konsruowanej przez nas sraegii opymalnej. 2. Dla eapu, T, i każdego sanu y Y obliczamy warości opymalne G * y ( ) = + * + + y + T, x max ( F ( y y, x ) + G ( y )) P ( y y, x ) x X ( y ) y+ Y + i znajdujemy decyzję x * (y), dla kórej o maksimum jes osiągnięe. Decyzja a jes częścią konsruowanej przez nas sraegii opymalnej. 3. Opymalną oczekiwaną warość realizacji procesu obliczamy ze wzoru: * * * { x } = G ( y,{ x }) P ( y y Y T ) (5) (6) G ) (7)

5 Sraegie opymalne i prawie opymalne Wyznaczanie sraegii prawie opymalnych Sraegię {x p } nazywamy sraegią prawie opymalną, jeżeli jej oczekiwana warość różni się od oczekiwanej warości sraegii opymalnej {x*} co najwyżej o zadaną warość ε, czyli G x } G{ x } ε (8) { * p Oznacza o, że decydena ineresują sraegie, dla kórych przy czym G{x p } Z (9) Z = G x } ε (0) { * Przypuścimy, że decyden zaineresowany jes znalezieniem sraegii prawie opymalnych i określił warość ε. Przyjmujemy nasępujące oznaczenia: LS lisa sraegii opymalnych i prawie opymalnych, LSB lisa sraegii do przebadania, czyli akich, kóre mogą być modyfikowane w celu wyznaczenia kolejnych sraegii prawie opymalnych. LSC lisa sraegii rozparywanych w rakcie działania algorymu. Algorym 2. Przyjmij: LS:=, LSB:=, LSC =. 2. Wykorzysując Algorym, wyznacz zbiór sraegii {X*}, dla kórych rozparywane kryerium osiąga warość opymalną. 3. Zapisz sraegie ze zbioru {X*} do zbiorów LS, LSB i LSC: LS:= LSC {X*}. LSB := LBS {X*}. LSC:= LSC {X*}. 4. Jeżeli LSB =, przejdź do kroku. 5. Wybierz kolejną sraegię {x} ze zbioru LSB i usuń ją z ego zbioru: LSB:= LSB \ {x}. 6. Wyznacz wszyskie sraegie zmodyfikowane, kóre różnią się od sraegii {x} decyzją podejmowaną w jednym sanie i zapisz je w zbiorze M{x}. 7. Sprawdź, czy w zbiorze M{x} znajdują się sraegie, kóre są również w zbiorach LS, LSB oraz LSC. Usuń powarzające się sraegie ze zbioru M{x}. M{x} = M{x} \ (M{x} LS) \ (M{x} LSB) \ (M{x} LSC) 8. Sprawdź, czy M{x}. Jeżeli nie, przejdź do kroku Dla kolejnych sraegii {x m } M{x}:

6 292 Tadeusz Trzaskalik a) wykorzysując wzory (2) i (3), oblicz warość oczekiwaną rozparywanej sraegii {x m }, b) zapisz sraegię {x m } w zbiorze LSC: LSC:= LSC {x m }, c) jeżeli warość oczekiwana rozparywanej sraegii jes nie niższa niż Z o zapisz sraegię {x m } do zbiorów LS oraz LSB: LS:= LS {x n }, LSB:= LSB {x n }. 0. Przejdź do kroku 4.. Koniec procedury. 3. Ilusracja działania Algorymu 2 Rozparujemy rzyeapowy proces decyzyjny. Zbiory sanów na począku kolejnych eapów są nasępujące: Y = {,2} Y2 = {3,4} Y3 = {5,6} Zbiór sanów końcowych procesu ma posać: Y4 = {7,8} Zbiory decyzji dopuszczalnych są nasępujące: X() = {A,B} X(2) = {C,D} X2(3) = {E,F} X2(4) = {G,H} X3(5) = {I,J} X3{6} = {K,L} Graf procesu przedsawiony jes na rysunku. Rysunek. Graf procesu Eap Eap 2 Eap 3 A E I B 3 F 5 J 7 C G K 2 D 4 H 6 L 8 Źródło: Opracowanie własne.

7 Sraegie opymalne i prawie opymalne 293 Przykładowo, jeżeli proces znajduje się w sanie i podjęa zosała decyzja A, wedy prawdopodobieńswo przejścia procesu do sanu 3 wynosi P(3,A), naomias prawdopodobieńswo przejścia do sanu 4 jes równe P(4,A). Odpowiadające ym syuacjom warości funkcji kryerium wynoszą odpowiednio F(3,A) oraz F(4,A). Wszyskie warości prawdopodobieńsw przejść oraz eapowych funkcji korzyści dane są w ablicy. Tablica. Warości prawdopodobieńsw przejść i funkcji korzyści Eap (y+ y,x) P( ) F( ) Eap (y+ y,x) P( ) F( ) (3,A) 0,4 5 2 (5 4,G) 0,5 5 (4,A) 0,6 7 2 (6 4,G) 0,5 8 (3,B) 0,7 8 2 (5 4,H) 0,3 3 (4,B) 0,3 9 2 (6 4,H) 0,7 22 (3 2,C) 0,4 5 3 (7 5,I) 0,2 30 (4 2,C) 0,6 7 3 (8 5,I) 0,8 2 (3 2,D) 0,7 8 3 (7 5,J) 0,9 22 (4 2,D) 0,3 9 3 (8 5,J) 0, 28 2 (5 3,E) 0,5 5 3 (7 6,K) 0, (6 3,E) 0,5 8 3 (8 6,K) 0,8 2 2 (5 3,F) 0,3 3 3 (7 6,L) 0, (6 3,F) 0, (8 6,L) 0, 28 Źródło: Opracowanie własne. Ze względu na niewielkie rozmiary ego ilusracyjnego zadania isniejące sraegie możemy dla lepszej przejrzysości wypisać i ponumerować od do 64. Numerację ę przedsawia ablica 2. Tablica 2. Lisa sraegii Nr Decyzje Nr Decyzje Nr Decyzje Nr Decyzje (A,C,E,G.I,K) 7 (A,D,E,G.I,K) 33 (B,C,E,G.I,K) 49 (B,D,E,G.I,K) 2 (A,C,E,G.I,L) 8 (A,D,E,G.I,L) 34 (B,C,E,G.I,K) 50 (B,D,E,G.I,L) 3 (A,C,E,G.J,K) 9 (A,D,E,G.J,K) 35 (B,C,E,G.J,K) 5 (B,D,E,G.J,K) 4 (A,C,E,G.J,L) 20 (A,D,E,G.J,L) 36 (B,C,E,G.J,L) 52 (B,D,E,G.J,L) 5 (A,C,E,H.I,K) 2 (A,D,E,H.I,K) 37 (B,C,E,H.I,K) 53 (B,D,E,H.I,K) 6 (A,C,E,H.I,L) 22 (A,D,E,H.I,L) 38 (B,C,E,H.I,L) 54 (B,D,E,H.I,L) 7 (A,C,E,H.J,K) 23 (A,D,E,H.J,K) 39 (B,C,E,H.J,K) 55 (B,D,E,H.J,K)

8 294 Tadeusz Trzaskalik Nr Decyzje Nr Decyzje Nr Decyzje Nr Decyzje 8 (A,C,E,H.J,L) 24 (A,D,E,H.J,L) 40 (B,C,E,H.J,L) 56 (B,D,E,H.J,L) 9 (A,C,F,G.I,K) 25 (A,D,F,G.I,K) 4 (B,C,F,G.I,K) 57 (B,D,F,G.I,K) 0 (A,C,F,G.I,L) 26 (A,D,F,G.I,L) 42 (B,C,F,G.I,L) 58 (B,D,F,G.I,L) (A,C,F,G.J,K) 27 (A,D,F,G.J,K) 43 (B,C,F,G.J,K) 59 (B,D,F,G.J,K) 2 (A,C,F,G.J,L) 28 (A,D,F,G.J,L) 44 (B,C,F,G.J,L) 60 (B,D,F,G.J,L) 3 (A,C,F,H.I,K) 29 (A,D,F,H.I,K) 45 (B,C,F,H.I,K) 6 (B,D,F,H.I,K) 4 (A,C,F,H.I,L) 30 (A,D,F,H.I,L) 46 (B,C,F,H.I,L) 62 (B,D,F,H.I,L) 5 (A,C,F,H.J,K) 3 (A,D,F,H.J,K) 47 (B,C,F,H.J,K) 63 (B,D,F,H.J,K) 6 (A,C,F,H.J,L) 32 (A,D,F,H.J,L) 48 (B,C,F,H.J,L) 64 (B,D,F,H.J,L) Źródło: Opracowanie własne. Przypuśćmy, że decyden określił, że ineresują go sraegie opymalne oraz prawie opymalne, dla kórych oczekiwana warość może być mniejsza od oczekiwanej warości opymalnej nie więcej niż o,5%. Wykorzysując Algorym 2, wyznaczamy sraegie opymalne i prawie opymalne w nasępujący sposób:. Przyjmujemy: LS:=, LSB:=, LSC :=. 2. Wykorzysując Algorym, znajdujemy zbiór sraegii opymalnych: {X * } = {{x 64 }} przy czym {x 64 } = (B, D, F, H, J, L) (parz ablica ). Mamy G*{x 64 } = Ponieważ warości oczekiwane dla sraegii prawie opymalnych nie mogą się odchylać od oczekiwanej warości opymalnej więcej niż o,5%, mamy: ε= 0,903, Z = 59, Dodajemy sraegię opymalną do zbiorów LS i LSB. Mamy: LS := LS {X * } = { {x 64 } } LSB := LSB {X * } = { {x 64 } }. 4. Ponieważ LSB przechodzimy do kroku Wybieramy sraegię {x 64 } ze zbioru LSB, usuwamy ją z ego zbioru i dodajemy do zbioru LSC: LSB:= LSB \ {x 64 } = LSC = LSC {x 64 } = { {x 64 } }. 6. Określamy wszyskie sraegie zmodyfikowane, różniące się od sraegii {x 64 } decyzją w jednym sanie. Orzymujemy nasępujące sraegie: {x 63 } = {B, D, F, H, J, K} {x 56 } = {B, D, E, H, J, L}

9 Sraegie opymalne i prawie opymalne 295 {x 62 } = {B, D, F, H, I, L} {x 48 } = {B, C, F, H, J, L} {x 60 } = {B, D, F, G, J, L} {x 32 } = {A, D, F, H, J, L} i umieszczamy je w zbiorze M{x 64 }: M{x 64 } := { {x 63 }, {x 62 }, {x 60 }, {x 56 }, {x 48 }, {x 32 } }. 7. Sprawdzamy, czy zbiór M{x 64 } zawiera sraegie, kóre znajdują się również w zbiorach LS, LSB i LSC. Orzymujemy: M{x 64 } LS = M{x 64 } LSB = M{x 64 } LSC = sąd M{x 64 } \ (M{x 64 } LS) \ (M{x 64 } LSB) \ (M{x 64 } LSC) = M{x 64 } 8. Mamy M{x 64 }. 9. Rozparujemy kolejne sraegie {x m } ze zbioru M{x 64 }. Sraegia {x 63 } a) obliczamy G{x 63 } = 55,3 b) dodajemy sraegię {x 63 } do zbioru LSC: LSC := LSC {x 63 } = {{x 64 }, {x 63 } } c) ponieważ G{x 63 } < 59,297, sraegii {x 63 } nie dodajemy ani do zbioru LS, ani do zbioru LSB. Sraegia{x 62 } a) obliczamy G{x 62 } = 58, b) dodajemy sraegię {x 62 } do zbioru LSC: LSC := LSC {x 62 } = { {x 64 }, {x 63 }, {x 62 } } c) ponieważ G{x 62 } < 59,297, sraegii {x 62 } nie dodajemy ani do zbioru LS, ani do zbioru LSB. Sraegia{x 60 } a) obliczamy G{x 60 } = 59,36 b) dodajemy sraegię {x 60 } do zbioru LSC: LSC := LSC {x 60 } = { {x 64 }, {x 63 }, {x 62 }, {x 60 } } c) ponieważ G{x 63 } > 59,297, sraegię {x 60 } dodajemy zarówno do zbioru LS, jak i do zbioru LSB: LS := LS {x 60 } = { {x 64 }, {x 60 } } LSB := LSB {x 60 } = { {x 60 } } Sraegia{x 56 } a) obliczamy G{x 56 } = 58,24 b) dodajemy sraegię {x 56 } do zbioru LSC: LSC := LSC {x 56 } = { {x 64 }, {x 63 }, {x 62 }, {x 60 }, {x 56 } }

10 296 Tadeusz Trzaskalik c) ponieważ G{x 56 } < 59,297, sraegii {x 56 } nie dodajemy ani do zbioru LS, ani do zbioru LSB. Sraegia{x 48 } a) obliczamy G{x 48 } = 58,94 b) dodajemy sraegię {x 48 } do zbioru LSC: LSC := LSC {x 48 } = { {x 64 }, {x 63 }, {x 62 }, {x 60 }, {x 56 } {x 48 } } c) ponieważ G{x 56 } < 59,297, sraegii {x 56 } nie dodajemy ani do zbioru LS, ani do zbioru LSB: Sraegia{x 32 } a) obliczamy G{x 32 } = 59,36 b) dodajemy sraegię {x 32 } do zbioru LSC: LSC := LSC {x 32 } = { {x 64 }, {x 63 }, {x 62 }, {x 60 }, {x 56 } {x 48 } {x 32 } } c) ponieważ G{x 32 } > 59,297, sraegię {x 32 }.dodajemy zarówno do zbioru LS, jak i do zbioru LSB: LS := LS {x 32 } = {{x 64 }, {x 32 }, {x 60 }} LSB := LSB {x 32 } = {{x 60 }, {x 32 } } 0. Przechodzimy do kroku Ponieważ LSB, przechodzimy do kroku Ze zbioru LSB wybieramy sraegię {x 60 } = (B, D, F, G, J, L), usuwamy ją z ego zbioru: LSB:= LSB \ {x 60 } = { {x 32 } 6. Określamy wszyskie sraegie zmodyfikowane, różniące się od sraegii {x 60 } decyzją w jednym sanie. Orzymujemy nasępujące sraegie: {x 59 } = {B, D, F, G, J, K} {x 52 } = (B, D, E, G, J, L), {x 58 } = (B, D, F, G, I, L), {x 44 } = (B, C, F, G, J, L), {x 64 } = (B, D, F, H, J, L), } {x 28 } = (A, D, F, G, J, L), i umieszczamy je w zbiorze M{x 60 }: M{x 60 } := { {x 59 }, {x 58 }, {x 64 }, {x 52 }, {x 44 }, {x 28 } }. 7. Sprawdzamy, czy zbiór M{x 60 } zawiera sraegie, kóre znajdują się również w zbiorach LS, LSB i LSC. Orzymujemy: M{x 60 } LS = M{x 60 } LSB = M{x 60 } LSC = {x 64 }, sąd M{x 60 } := M{x 60 } \ (M{x 60 } LS) \ (M{x 60 } LSB) \ (M{x 60 } LSC) =. { {x 59 }, {x 58 }, {x 52 }, {x 44 }, {x 28 } }.. 8. Mamy M{x 60 }.

11 Sraegie opymalne i prawie opymalne Rozparujemy kolejne sraegie {x m } ze zbioru M{x 60 }. Ponieważ G{x 59 } = 54,88 < 59,297 G{x 44 } = 57,596 < 59,297 G{x 58 } = 56,84 < 59,297 G{x 28 } = 58,84 < 59,297 G{x 52 } = 57,4 < 59,297 żadnej ze sraegii ze zbioru M{x 32 } nie dołączamy do zbioru LS, ani do zbioru LSB, sąd: LS = {{x 64 }, {x 32 }, {x 60 }} LSB = { {x 32 } } Po wykonaniu kolejnych operacji orzymujemy: LSC = { {x 64 }, {x 63 }, {x 62 }, {x 60 }, {x 56 } {x 48 }, {x 32 },{x 59 }, {x 58 }, {x 52 }, {x 44 }, {x 28 }} 0. Przechodzimy do kroku Ponieważ LSB, przechodzimy do kroku Ze zbioru LSB wybieramy sraegię {x 32 } = (A, D, F, H, J, L), usuwamy ją z ego zbioru: LSB:= LSB \ {x 32 } = 6. Określamy wszyskie sraegie zmodyfikowane, różniące się od sraegii {x 32 } decyzją w jednym sanie. Orzymujemy nasępujące sraegie: {x 3 } = {A, D, F, H, J, K} {x 24 } = {A, D, E, H, J, L} {x 30 } = {A, D, F, H, I, L} {x 6 } = {A, C, F, H, J, L} {x 28 } = {A, D, F, G, J, L} {x 64 } = {B, D, F, H, J, L} i umieszczamy je w zbiorze M{x 32 }: M{x 32 } := { {x 3 }, {x 30 }, {x 28 }, {x 24 }, {x 6 }, {x 64 } }. 7. Sprawdzamy, czy zbiór M{x 32 } zawiera sraegie, kóre znajdują się również w zbiorach LS, LSB i LSC. Orzymujemy: M{x 32 } LS = M{x 32 } LSB = M{x 32 } LSC = { {x 64 }, {x 28 } } sąd M{x 32 } := M{x 32 } \ (M{x 32 } LS) \ (M{x 32 } LSB) \ (M{x 32 } LSC) = { {x 3 }, {x 30 }, {x 28 }, {x 24 }, {x 6 }, }. 8. Mamy M{x 32 }. 9. Rozparujemy kolejne sraegie {x m } ze zbioru M{x 32 }. Ponieważ G{x 3 } = 54,46 < 59,297 G{x 24 } = 57,736 < 59,297 G{x 30 } = 57,26 < 59,297 G{x 6 } = 58, < 59,297 żadnej ze sraegii ze zbioru M{x 32 } nie dołączamy do zbioru LS, ani do zbioru LSB, czyli LS = {{x 64 }, {x 60 }, {{x 32 } }

12 298 Tadeusz Trzaskalik LSB = Do zbioru LSC dodajemy kolejne rozparywane sraegie ze zbioru M{x 32 }, sąd: LSC = { {x 6 }, {x 24 }, {x 28 }, {x 30 }, {x 3 }, {x 32 }, {x 48 }, {x 56 }, {x 60 }, {x 62 }, {x 63 }, {x 64 }, }, 0. Przechodzimy do kroku Ponieważ LSB =, przechodzimy do kroku.. Koniec procedury. Zakończenie W arykule zdefiniowano pojęcie sraegii prawie opymalnych dla dyskrenych, sochasycznych procesów wieloeapowych oraz zaproponowano algorym pozwalający na znalezienie sraegii opymalnych i prawie opymalnych. W rozparywanym przykładzie oprócz sraegii opymalnej znaleziono dwie sraegie prawie opymalne, różniące się od sraegii opymalnej nie więcej niż o,5%. Algorym poddawany jes obecnie esom kompuerowym. Czas porzebny na jego realizację zależny jes od liczby sraegii, dla kórych warość oczekiwana mieści się w zadanym przez decydena przedziale olerancji. Jeżeli przedział en obejmuje zby dużo sraegii, obliczenia mogą nie zosać przeprowadzone do końca. Dysponujemy wówczas jednak ymi sraegiami, kóre udało się wyznaczyć do momenu przerwania obliczeń. Zagadnienie wyznaczania sraegii opymalnych i prawie opymalnych znajduje zasosowanie w podejściu hierarchicznym wielokryerialnego programowania dynamicznego. Dalsze prace nad wykorzysaniem ej meody skierowane będą w ym kierunku. Zakres prakycznych zasosowań proponowanego algorymu obejmuje wszyskie e problemy, w kórych wysępuje sekwencja powiązanych ze sobą decyzji. Z syuacją aką mamy na przykład do czynienia w zarządzaniu porfelem projeków. Skład porfela podlega ciągłym zmianom. Zakończenie określonego przedsięwzięcia umożliwia wykorzysanie zwolnionych zasobów, przy czym realizowane projeky są częso powiązane. Algorym może być również przydany w problemach z zakresu zarządzania zdolnością produkcyjną. Usalając sraegię zwiększania możliwości wywórczych, firma kieruje się głównie finansową oceną inwesycji. Jednocześnie jednak bierze pod uwagę inne, rudno kwanyfikowalne czynniki. Sraegia opymalna pod względem finansowym może okazać się mniej korzysna ze względu na inne krye-

13 Sraegie opymalne i prawie opymalne 299 ria. Decydenci mogą zaem być zaineresowani poszukiwaniem akiego rozwiązania, kóre co prawda jes oceniane nieco gorzej z punku widzenia finansowego, o jednak jes zdecydowanie bardziej arakcyjne z punku widzenia innych ważnych celów organizacji. Lieraura. Bellman R. (957), Dynamic Programming, Princeon Universiy Press. 2. Bellman R., Dreyfus S. (967), Programowania dynamiczne. Zasosowania, PWE, Warszawa. 3. Elmaghraby S. E. (970), The Theory of Neworks and Managemen Science, Par Managemen Science, Vol Nowak M. (204), Wykorzysanie podejścia quasi-hierarchicznego w wielokryerialnym drzewie decyzyjnym, w: Analiza i wspomaganie decyzji, D. Kopańska-Bródka (red.), Sudia Ekonomiczne. Zeszyy Naukowe Wydziałowe, nr 208, Uniwersye Ekonomiczny w Kaowicach. 5. Nowak M., Trzaskalik T. (202), Ineracive procedure for a muliobjecive sochasic discree dynamic problem, Journal of Global Opimizaion, Vol. 57, No Seuer R. E. (2003), ADBASE: A Muliple Objecive Linear Programming Solver for All Efficien Exreme Poins and All Efficien Unbounded Edges, Terry College of Business, Universiy of Georgia, Ahens, Georgia. 7. Trzaskalik T. (998), Muliobjecive Analysis in Dynamic Environmnen, The Karol Adamiecki Universiy of Economics in Kaowice Press, Kaowice. 8. Trzaskalik T. (990), Wielokryerialne dyskrene programowanie dynamiczne. Teoria i zasosowania w prakyce gospodarczej, Akademia Ekonomiczna w Kaowicach, Kaowice. 9. Trzaskalik T. (986), Wybrane problemy programowania dynamicznego, Akademia Ekonomiczna w Kaowicach, Kaowicach. 0. Trzaskalik T., Do Thien Hoa (999), Wielokryerialne, wieloeapowe procesy decyzyjne w warunkach niepewności, w: Modelowanie preferencji a ryzyko 99, część 2, Trzaskalik T. (red.), Akademia Ekonomiczna im. K. Adamieckiego, Kaowice.. Trzaskalik T., Siarz S. (2007), Discree dynamic programming wih oucomes in random variable srucures, European Journal of Operaional Research, Vol. 77.

14 300 Tadeusz Trzaskalik Sreszczenie W pracy rozparujemy wieloeapowe, dyskrene, sochasyczne procesy decyzyjne. Dla decydena ineresujące może być nie ylko znalezienie sraegii opymalnej, ale również kolejnych sraegii, dla kórych warość oczekiwana jes bliska warości oczekiwanej sraegii opymalnej, z dokładnością określoną przez decydena. Celem arykułu jes zaproponowanie algorymu pozwalającego na znalezienie sraegii opymalnych i prawie opymalnych. Sraegie opymalne znajdujemy, wykorzysując zasadę opymalności Bellmana. Proponowana w niniejszej pracy meoda polega na znalezieniu zbioru sraegii opymalnych, a nasępnie rozszerzaniu ego zbioru o kolejne sraegie prawie opymalne, kóre mieszczą się w obszarze zaineresowań decydena. Nowe sraegie generujemy poprzez zmianę decyzji w jednym sanie dla sraegii zaakcepowanej wcześniej. Zaproponowany algorym ilusrowany jes prosym przykładem liczbowym, wyjaśniającym jego działanie. Słowa kluczowe programowanie dynamiczne, sraegia, modele sochasyczne Opimal and Near Opimal Sraegies in Discree Sochasic Dynamic Programming (Summary) In he paper mulisage, discree sochasic decision processes are considered. For he decision maker i may be ineresing no only o find he opimal sraegy, bu also anoher sraegies, for which heir expeced values are close o he expeced value of he opimal sraegy, wih he accuracy deermined by he decision maker. The aim of he paper is o propose he algorihm ha allows o find opimal and near opimal sraegies. We find he opimal sraegies using Bellman s principle of opimaliy. The mehod proposed in he paper relies on finding he se of opimal sraegies and expanding i o he nex near opimal sraegies ha are of ineres o he decision maker. New sraegies are generaed by changing decision in one sae only for he sraegies approved earlier. The proposed algorihm is illusraed wih a simple numerical example explaining of how i works. Keywords dynamic programming, sraegy, sochasic models