WALIDACJA MODELI SYMULACYJNYCH - ŹRÓDŁA POSTAW BADAWCZYCH

Transkrypt

1 Prace Naukowe Instytutu Organizacji i Zarządzania Politechniki Wrocławskiej Wyd. Oficyna Wydawnicza Politechniki Wrocławskiej, Wrocław 2003; pp Alicja BALCERAK * WALIDACJA MODELI SYMULACYJNYCH - ŹRÓDŁA POSTAW BADAWCZYCH Poszukując źródeł postaw badawczych przyjmowanych przy ocenie modeli symulacyjnych, dokonano przeglądu historycznych i współczesnych stanowisk metodologicznych. Skonfrontowano je z poglądami i wskazówkami dotyczącymi walidacji reprezentowanymi przez przedstawicieli symulacji cyfrowej, dynamiki systemowej i symulacji niealgorytmicznej. Poddano dyskusji użyteczność analogii ocena modelu symulacyjnego - ocena teorii naukowej. 1. WALIDACJA I WERYFIKACJA MODELU SYMULACYJNEGO Określenia model zasadny, trafny, adekwatny używane są w literaturze symulogicznej w rozmaitych znaczeniach. Zmienny jest również zakres znaczeniowy terminów walidacja i weryfikacja modelu symulacyjnego. Niektórzy uważają, że rozgraniczanie tych pojęć należy do przeszłości i traktują je jak synonimy (por. Pidd [1998, s. 33]), inni traktują weryfikację jako bliską kuzynkę walidacji (np. [Feinstein i Cannon 2003, s. 186]). Większość zgadza się jednak, że weryfikacja jest etapem - koniecznym, ale nie wystarczającym - walidacji, czyli procesu oceny modelu. Symulodzy ze środowiska symulacji cyfrowej (SCS 1 - Simulation - ACM 2 ), pozostają w swoim rozumieniu walidacji w zgodzie ze standardem SCS Technical Committee on Model Credibility [Schlesinger i in. 1979], ewentualnie poszerzając lub zawężając jego kluczowe elementy (model w miejsce modelu komputerowego, wierne odwzorowanie rzeczywistości zamiast wystarczający poziom trafności) - por. tab. 1. Przed- * Politechnika Wrocławska, Instytut Organizacji i Zarządzania; alicja.balcerak@pwr.wroc.pl 1 Society for Computer Simulation. 2 Association for Computing Machinery.

2 28 Alicja Balcerak stawiciele szkoły dynamiki systemowej 1 odwołują się najczęściej do utylitarnych definicji: Forrestera i Senge a [1980]: Walidacja to proces pozyskiwania zaufania w sensowność (soundness) i użyteczność modelu. Coyle a [1977]: Walidacja to proces dochodzenia do wystarczającego przeświadczenia, że model jest przygotowany do użycia w pewnym szczególnym celu. Tab. 1. Walidacja i weryfikacja algorytmicznego modelu symulacyjnego według wybranych autorów Źródło Walidacja Weryfikacja Sprawdzanie, czy model komputerowy ma - w swojej dziedzinie zastosowań - wystarczający poziom trafności. modelu konceptualnego. [Schlesinger i in. 1979] [Balci 1997] [Tucker i in. 1995] Stwierdzanie, że działanie modelu, w założonej dziedzinie zastosowań, jest zasadne; zgodne z celami modelowania. Proces rozstrzygania o stopniu, w jakim model jest wiernym odwzorowaniem rzeczywistości z perspektywy jego zamierzanych zastosowań. Opracowanie własne Sprawdzanie, czy model komputerowy jest wystarczająco trafną reprezentacją Stwierdzanie wystarczającej trafności transformacji jednej formy modelu w drugą Proces rozstrzygania, czy implementacja modelu jest zgodna z opisem i specyfikacją jego twórcy. Trudno znaleźć definicję walidacji reprezentatywną dla środowiska symulacji niealgorytmicznej (ABSEL 2 - Simulation & Gaming - ISAGA 3 ); stopień złożoności zagadnienia idzie tu w parze z zamieszniem terminologicznym. 4 Z drugiej strony - sens oceny gry jako swoistego modelu symulacyjnego oddaje każda z wyżej przywołanych. Przyczyną wielu nieporozumień (nie tylko w symulacji growej) jest przemienne używanie terminu walidacja w dwóch znaczeniach: szerokim (proces badania zasadności modelu) i wąskim (jeden z etapów tego procesu). W tym tekście termin walidacja (bez dodatkowych określeń) będzie używany w szerokim znaczeniu. Odwołując się do poszczególnych etapów walidacji (rys. 1.) skorzystam z dość rozpowszechnionej klasyfikacji Sargenta [1998], który wyróżnia: walidację modelu konceptualnego, weryfikację modelu, walidację operacyjną i walidację danych. Walidacja modelu konceptualnego to ocena założeń i sposobu reprezentacji problemu, weryfikacja - poprawności implementacji, zaś walidacja operacyjna to badanie modelu w trakcie jego eksploatacji. Walidacja danych rozciąga się na wszystkie etapy tworzenia i 1 Reprezentowana przez członków System Dynamics Society, z silnymi ośrodkami w Massachussets Institute of Technology (Sloan School of Management) i w uniwersytecie w Mannheim, z publikacjami w System Dynamics Review. 2 Association for Business Simulation and Experiential Learning. 3 International Simulation and Gaming Association. 4 Więcej na ten temat w: [Balcerak 2000, 2001], [Feinstein i Cannon 2001, 2002].

3 Walidacja modeli symulacyjnych - źródła postaw badawczych 29 sprawdzania modelu; jej celem jest upewnienie się, że dane wykorzystane do tworzenia koncepcji, budowy, oceny i eksploatacji modelu są poprawne. problem walidacja operacyjna eksperymentowanie dane walidacja modelu konceptualnego analiza i modelowanie model skomputeryzowany implementacja model konceptualny weryfikacja modelu Rys. 1. Fazy tworzenia i oceny modelu symulacyjnego Źródło: [Sargent 1998] 2. MODEL SYMULACYJNY - TEORIA NAUKOWA Ocena modelu symulacyjnego bywa często traktowana jak szczególny przypadek sprawdzania teorii. 1 Przy takim podejściu poglądy na sens i cel walidacji postrzega się jako konsekwencje wyborów epistemologicznych, przy czym najchętniej przywoływane są historyczne stanowiska justyfikacjonistyczne, które postulują możliwość sprawdzenia całkowitego (pozytywnego lub negatywnego). Repertuar metodologiczny jest jednak szerszy i obejmuje: I Sprawdzanie pozytywne: całkowite: weryfikacja (ustalenie wiarogodności, potwierdzenie), częściowe: konfirmacja (częściowe potwierdzenie) lub koroboracja (wzmocnienie). II Sprawdzanie negatywne: całkowite: falsyfikacja, częściowe: dyskonfirmacja czyli zmniejszenie wiarogodności [Such 1975, s. 91]. 1 Por. [Naylor i Finger 1975], [Wandor 1983], [Radosiński 2001], [Kwaśnicki 2000], [Szczurowski 1986], [Kleindorfer i in. 1998].

4 30 Alicja Balcerak W następnym rozdziale zostaną przedstawione również niejustyfikacjonistyczne stanowiska metodologiczne, które bywają źródłami (lub przynajmniej domniemanymi źródłami) postaw badawczych reprezentowanych przez współczesnych symulogów. Nie oznacza to jednak akceptacji dla założenia, że model symulacyjny jest formą teorii lub sądu. Wątpliwości budzi już rozumienie terminu model jako synonimu terminu teoria. Wśród filozofów nauki nie ma zgody na temat tej relacji; zależy to od poziomu rozwoju teorii i stanowiska teoriopoznawczego. Zawsze jednak model pełni wobec teorii rolę podrzędną. Teoria dostarcza systemu pojęciowego, na model składają się prawa teorii i warunki idealizacyjne (por. [Grabińska 1994]). Zbyt dosłowne traktowanie analogii ocena teorii naukowej - ocena modelu symulacyjnego nieuchronnie prowadzi do pytania o osiągalność tej ostatniej i - ostatecznie - może okazać się szkodliwe dla jakości oceny 1. Sterman [2000, s. 890] uważa, że słowo walidacja powinno zostać wykreślone ze słownika symulogów. Wszystkie modele są fałszywe i nie korzystamy z nich dla ich prawdziwości, lecz dla użyteczności. Sam jednak - na szczęście - używa tego tradycyjnego określenia. Alternatywą jest bowiem mnożenie bytów i wzrost zamieszania terminologicznego. 3. STANOWISKA METODOLOGICZNE 3.1. RACJONALIZM (APRIORYZM), EMPIRYZM I EKONOMIA POZYTYWNA Triada racjonalizm - empiryzm - ekonomia pozytywna pojawia się w literaturze symulogicznej za sprawą słynnego, nieustannie przywoływanego artykułu Naylora i Fingera [1975], 2 którzy uznali te trzy stanowiska za bazę swojej wielostopniowej procedury oceny modelu. Terminu racjonalizm użyli oni w znaczeniu, które lepiej oddaje określenie aprioryzm. Aprioryzm uznaje rozum za jedyne (w wersji skrajnej) lub główne (w wersji umiarkowanej) źródło poznania naukowego. Weryfikacja sądów sprowadza się do zbadania możliwości wyprowadzenia ich ze zdań analitycznych lub zdań syntetycz- 1 Kompromisowe pod tym względem podejście zaproponowali Vázquez i Liz [1989] zalecając stopniowanie mocy orzeczeń o zasadności modelu: rozumianego wąsko (model symulacyjny) i szeroko (forma teorii). Wprowadzili w tym celu pojęcia technologicznej i epistemologicznej adekwatności modeli Model zasadny epistemologicznie na pewno jest również zasadny technologicznie, ale brak zasadności epistemologicznej nie musi dyskredytować modelu symulacyjnego użytecznego w sensie, jaki nadaje mu definicja zasadności technologicznej. 2 Pierwsze wydanie: Naylor, T.H., Finger, J.M. Verification of Computer Simulation Models; [w:] Management Science XIV, October 1967; pp

5 Walidacja modeli symulacyjnych - źródła postaw badawczych 31 nych 1 a priori. Czyste zastosowanie tego podejścia do oceny modelu symulacyjnego skutkowałoby nieempirycznym sprawdzaniem zasadności. Ograniczałoby to możliwość sprawdzania modeli systemów słabo opisanych (por. [Szczurowski 1986, s. 142]), a tym samym uniemożliwiło stosowanie symulacji jako drogi poznania i projektowania. Praktycznie prowadziłoby to do podziału na modele niezasadne i trywialne. Naylor i Finger [1975] zachęcają do tej postawy w pierwszym etapie wielostopniowej procedury oceny modelu. Zastrzegają przy tym, że nie mają na myśli redukcji modelu do zbioru aksjomatów: Usiłujemy tylko postawić tezę, że badacz nie może poddać formalnemu, empirycznemu testowaniu wszystkich możliwych postulatów i dlatego musi on wybierać, w zasadzie na podstawie sądów a priori, ograniczoną liczbę postulatów do dalszych, bardziej szczegółowych badań. [op. cit. s. 216]. Z kontekstu tej wypowiedzi wynika, że na podstawie sądów a priori oznacza u autorów to samo, co arbitralnie. Zwłaszcza, że dalej piszą: Żadna hipoteza, którą można by odrzucić a priori nie może być odrzucona tylko na tej podstawie, gdyż testowanie oparte na takiej procedurze jest mniej warte niż formalne testowanie statystyczne. [op. cit. s. 222] W drugim etapie swojej procedury - testowaniu założeń modelu - Naylor i Finger zalecają postawę empiryczną. Empiryzm miał w historii wiele wersji. Radykalny empiryzm metodologiczny odrzucał wszystkie założenia aprioryczne i uznawał wyłącznie uzasadnianie doświadczalne (aposterioryzm). Empiryzm logiczny i pozytywizm logiczny głosił prymat wiedzy empirycznej nad pozadoświadczalną (metafizyką); weryfikacja hipotez wymaga eksperymentu, zatem zdania, które nie mogą być empirycznie sprawdzone nie mają sensu - są problemami pozornymi. Sprawdzenie to - jak postulował pozytywizm logiczny - powinno być osiągalne metodami obowiązującymi w przyrodoznawstwie i opisane uniwersalnym językiem nauki - językiem fizykalnym [Buczyńska-Garewicz 1987]. Autorzy wielostopniowej procedury w teoretycznym doń wprowadzeniu przywołują opinie skrajnego empiryzmu ( obserwacja zmysłowa stanowi pierwotne źródło oraz ostateczny sąd naukowy ), ale już założenia procedury formułują bardzo liberalnie: Jeżeli postulaty są trudne do empirycznego testowania należy z nich zrezygnować i przyjąć inne lub potraktować je jako próbne [op. cit. s ]). Doświadczalny charakter oceny modelu symulacyjnego nie podlega dyskusji. Jednak eksperymentalne rzetelne zdiagnozowanie poprawności modelu w kategoriach albo/albo jest skazane na niedokończenie. Łatwo jest uzyskać potwierdzenia czy też weryfikacje niemal każdej teorii, jeśli ich właśnie szukamy. - krytykował justyfikacjonistów Popper [1999, s. 66]. To samo dotyczy problemu walidacji modelu symula- 1 Zdanie analityczne można przyjąć lub odrzucić ze względu na znaczenia zawartych w nich wyrażeń, zdanie syntetyczne a posteriori przyjmuje się lub odrzuca na podstawie doświadczenia, a priori - bez odwoływania się do doświadczenia [Woleński 1993, s. 116].

6 32 Alicja Balcerak cyjnego; orzeczenie o zasadności na podstawie skończonej liczby testów może być wręcz niebezpieczne, jeżeli nie jest traktowane prowizorycznie. Stanowisko ekonomii pozytywnej uznaje wyłącznie weryfikację hipotez ex post - poprzez ocenę ich trafności predykcyjnej i bez badania założeń modelu. Stanowisko to cechuje twarda demarkacja: model zasadny to ten, który sprawdził się jako narzędzie predykcji; niezasadny = zawodny predykcyjnie. W zastosowaniu do walidacji modeli symulacyjnych stanowisko to pozostawia poza obszarem rozważań modele systemów idealnych i hipotetycznych. Jednak zasadność predykcyjna jest często stosowanym kryterium oceny modelu w tzw. symulacji cyfrowej. Naylor i Finger [1975, s ] stwierdzają wręcz, że...ostateczna decyzja dotycząca słuszności modelu musi opierać się na predykcji, gdyż... celem symulacji jest predykcja". W innym rozdziale książki w której zamieszczono ów artykuł, Naylor w celach poglądowych posługuje się modelem systemu hipotetycznego. W podpunkcie dotyczącym oceny zasadności modelu stwierdza: [S]ugerowaliśmy, że aby ocenić zasadność modelu komputerowego, należy porównać dane symulowane z danymi rzeczywistymi lub historycznymi. Z uwagi na to, że nasz przykładowy model jest modelem czysto teoretycznym, ten rodzaj weryfikacji jest, oczywiście, niemożliwy. [Naylor 1975, s. 266]. Wymienione tu fundamentalistyczne stanowiska metodologiczne zakładają ostateczne orzeczenie o dobroci modelu. Stosowanie ich w stanie czystym zwiększa ryzyko popełnienia obu rodzajów błędów walidacji: I - odrzucenie modelu mimo jego wystarczającej zasadności, II - zaakceptowanie modelu mimo niewystarczającej zasadności FALSYFIKACJONIZM K. Popper proponując kryterium falsyfikowalności miał na celu odróżnienie teorii naukowych od nienaukowych. Teoria może być uznana za naukową, jeżeli jest falsyfikowalna, zaś ta, której nie może obalić żadne dające się pomyśleć zdarzenie 1 naukową nie jest. Falsyfikacja teorii T przebiega zgodnie z zasadą modus tollens: (T P) ~P ~T. Demarkacjonizm falsyfikacjonizmu objawia się zatem w podziale na teorie naukowe (falsyfikowalne) i metafizyczne (niefalsyfikowalne). O słabości tego stanowiska w zastosowaniu do sprawdzania modeli symulacyjnych przesądzają te same cechy, które wskazywali krytycy falsyfikacjonizmu naiwnego 2 : kryteria falsyfikowalności są jednocześnie za słabe (również fałszywe założenia mogą mieć potencjalne falsyfikatory) i za mocne (często niemożliwe jest wskazanie falsyfikatorów dla nowej, rewolucyjnej teorii). Warto w tym miejscu przypomnieć, że 1 [Popper 1999, s. 66]. Tamże: Każda dobra teoria naukowa jest zakazem, to znaczy wyklucza zachodzenie pewnych zjawisk; a im więcej ona zakazuje, tym jest lepsza. 2 Por.: [Lakatos 1995], [Kuhn 1968], [Such 1975].

7 Walidacja modeli symulacyjnych - źródła postaw badawczych 33 proponując kryterium falsyfikowalności Popper nie myślał o rozwiązaniu problemu znaczenia, prawdy, czy dopuszczalności systemów teoretycznych. Na pytanie: Dlaczego rozsądnie jest przedkładać twierdzenia niesfalsyfikowane nad sfalsyfikowane? odpowiadał: [T]eorie fałszywe bywają jak najbardziej użyteczne. Wiadomo, że większość wzorów, z których korzysta się w inżynierii oraz w nawigacji, to wzory fałszywe, choć jako dobre przybliżenia są wygodne w stosowaniu i cieszą się zaufaniem ludzi, którzy doskonale wiedzą, że są fałszywe. Jedyna słuszna odpowiedź na powyższe pytanie powiada: ponieważ dążymy do prawdy (choć nigdy nie możemy być pewni, że ją osiągnęliśmy) [Popper 1999, s. 101]. Narzuca się pytanie: Czy celem modelowania symulacyjnego jest dążenie do prawdy? Czy twórcy modeli symulacyjnych powinni - stając na palcach - trzymać się analogii model symulacyjny - teoria naukowa, czy też może poprzestać na skromnym podobieństwie do owych fałszywych, ale cieszących się zaufaniem wzorów, o których wspominał Popper. Odpowiedzi na to pytanie udziela praktyka: wykorzystujemy modele idealizacyjne, wykorzystujemy modele systemów fikcyjnych. Nie oczekujemy od nich prawdziwości dla niej samej. Oczekujemy - w zależności od celu, dla którego powstały - użyteczności, poprawnej predykcji, skuteczności dydaktycznej, zasadności psychologicznej, zawsze - prostoty. Użyteczność falsyfikacjonizmu jako postawy badawczej w sprawdzaniu zasadności modeli (i generalnie, jako zasady uczciwości intelektualnej) jest nie do przecenienia. Wynika to nie tyle z jego zasady rozstrzygalności negatywnej, co z negacji rozstrzygalności pozytywnej. Jej konsekwencją jest akceptacja potrzeby ustawicznego krytycyzmu: walidacji permanentnej. Jak ujął to, parafrazując Poppera, Radosiński [2001, s. 109]: Gra zwana weryfikacją modeli nie ma w istocie kresu KONWENCJONALIZM Tak zwana słaba teza Duhema-Quine a mówi, że definitywna falsyfikacja hipotezy, która nie jest samodzielną jednostką sprawdzeniową jest niemożliwa. Najmniejszą samodzielną falsyfikowalną jednostkę sprawdzeniową tworzy system teoretyczny, do którego należy hipoteza sprawdzana. Jeżeli sprawdzamy teorię (T), której towarzyszą pewne założenia (Z), to modus tollens zasady falsyfikacji powinniśmy przedstawić jako: [(T Z) P] ~P ~(T Z). Falsyfikacja dotyczy więc albo teorii (T) albo założeń 1 (Z). Tak zwani skrajni konwencjonaliści (Le Roy, K. Ajdukiewicz) utrzymywali, że jeżeli dane doświadczenia zmuszają nas do uznania pewnych sądów gdy stajemy na gruncie danej aparatury pojęciowej, to nie znaczy to, że uznamy je po zmianie aparatury pojęciowej - mimo tych samych danych doświadcze- 1 Co ma dowodzić konwencjonalizmu stanowiska Poppera: Uznanie, że wynik falsyfikuje właśnie sprawdzaną teorię, jest wynikiem konwencji oddzielającej wiedzę sprawdzaną od towarzyszącej Amsterdamski [1973, s ].

8 34 Alicja Balcerak nia. Stąd żadna teoria nie może być obalona, jeżeli ochronią ją odpowiednie metodologiczne decyzje. Większość symulogów stwierdza brak możliwości bezwzględnego wyrokowania o poprawności modelu symulacyjnego. Miser i Quade [1988, s. 534] zwracają uwagę na wpływ wyboru metodologii badań i narzędzi pomiarowych na przebieg i interpretację porównań skutków użycia modelu ze zjawiskami rzeczywistymi. Forrester [1961, s. 123] przestrzega, że każda uznawana za obiektywną procedura walidacji modelu zależy w końcu w pewnym sensie od akceptacji tejże procedury. Konwencjonalistycznymi w sposób nieunikniony nazywają Kleindorfer i Ganeshan [1993] założenia uprawomacniające uproszczenia i agregacje w modelu symulacyjnym. Bez wątpienia wiedza o tych założeniach i ich przesłankach wpływa na ocenę zasadności modelu. Zwiększeniu kontroli nad kontekstem modelowania, nad założeniami (ową wiedzą towarzyszącą ) służą, jak sądzę, koncepcje wielostopniowych walidacji, które zakładają orzekanie o poprawności modelu na każdym z etapów modelowania, poczynając od oceny modelu konceptualnego (rys. 1). Współcześni symulodzy są świadomi znaczenia, jakie dla skuteczności badania walidacyjnego (a tym samym dla skuteczności modelowania) ma jawność kontekstu modelu. Pierwsze z czterech, sformułowanych przez Stermana [2000, s. 852], Pytań Które Użytkownik Modelu Powinien Zadać, ale Zazwyczaj Tego Nie Robi brzmią: Jaki jest cel modelu? Jakie są jego granice? Jaki jest horyzont czasowy odpowiedni dla modelowanego problemu? Czy - ze względu na cel modelu - zastosowano odpowiedni stopień agregacji? 3.4. TEORIE POSTĘPU NAUKOWEGO T. KUHNA I I. LAKATOSA Kryterium demarkacji falsyfikacjonizmu metodologicznego Poppera (akceptowalną jest teoria falsyfikowalna) falsyfikacjonizm wyrafinowany modyfikuje następująco: Teoria T 2 jest akceptowalna, jeżeli: (1) ma nadwyżkę treści empirycznej wobec swojej poprzedniczki T 1, (tłumaczy to, co było nieprawdopodobne lub zakazane w świetle T 1 ); (2) zawiera całą niesfalsyfikowaną treść T 1 ; (3) przynajmniej część nadwyżki została potwierdzona empirycznie [Lakatos 1995 s. 45]. W metodologii naukowych programów badawczych Lakatos rozszerza tę zasadę na serię teorii T 1, T 2, T 3,..., czyli program badawczy, który jest postępowy, jeżeli spełnia warunki (1) - (3) i degeneruje się w wypadku przeciwnym. Lakatos wyraźnie oddziela metodologiczną ocenę programu badawczego od decyzji o jego zarzuceniu: Jeśli program badawczy w postępowy sposób wyjaśnia więcej, niż jego konkurent, to wypiera go, a konkurent może zostać wyeliminowany (lub, jeśli wolicie, odłożony na półkę ). (...) Musimy zdawać sobie sprawę z tego, że nasz oponent, nawet jeśli wlecze

9 Walidacja modeli symulacyjnych - źródła postaw badawczych 35 się z tyłu, może jednak powrócić na scenę. Żadnej przewagi jednej ze stron nie można uznać za absolutnie decydującą. [Lakatos 1995a s ]. Z metodologią naukowych programów badawczych koresponduje - zdaniem Wandora [1983] - koncepcja weryfikacji 1 porównawczej polegającej na porównywaniu ze sobą co najmniej dwóch modeli konkurencyjnych. Warunkiem skuteczności takiego podejścia jest wspólna miara podobieństwa (wspólna przestrzeń stanów) badanych modeli [Wandor 1998, s ]. Warunek ten jest w dość oczywisty sposób spełniony, gdy w trakcie pracy nad modelem badane są skutki jego kolejnych modyfikacji. Zastosowany w ocenie modelu falsyfikacjonizm wyrafinowany zmniejsza - w porównaniu z falsyfikacjonizmem naiwnym - ryzyko tzw. I błędu walidacji (odrzucenie modelu mimo jego wystarczającej zasadności). Teoria paradygmatycznego rozwoju nauki T. Kuhna wyjaśnia rozwój dyscyplin naukowych jako następujący proces: Współobecność wielu zwalczających się szkół naukowych. Wyodrębnienie i rozwinięcie paradygmatu (matrycy dyscyplinarnej, powszechnie uznawanego sposobu prowadzenia badań). Kryzys 2 (okres, w którym dotychczasowy paradygmat zawodzi i powstają konkurencyjne pomysły). Powstanie nowego paradygmatu ([Kuhn 1968], [Kuhn 1985], [Amsterdamski 1973]). W odniesieniu do walidacji modeli symulacyjnych poszukiwanie analogii z teorią Kuhna może mieć zastosowanie w skali mikro (rozwój i życie modelu symulacyjnego jako skutek jego nieustannej oceny i doskonalenia) oraz makro (procedury walidacyjne akceptowane w głównych szkołach modelowania symulacyjnego). Kleindorfer i Ganeshan [1993 s. 54] dostrzegają zgodność z teorią Kuhna w funkcjonowaniu takich nieformalnych metod walidacji jak test Turinga, czy walidacja fasadowa, w których ocena modelu jest głównie kwestią opinii oceniającego. Również Wandor [1983, s. 210] stwierdza: Sprawdzanie adekwatności modelu czyli jego weryfikacja zależy od intersubiektywnych (przyjmowanych w pewnym środowisku, w określonym miejscu i czasie) albo w skrajnym przypadku od subiektywnych poglądów dotyczących niektórych cech poznawanego obiektu ( rzeczywistości ). Dobrym przykładem na niewspółmierność zasad walidacji charakterystycznych dla różnych szkół modelowania symulacyjnego jest problem walidacji prospektywnej i/lub retrospektywnej. W symulacji cyfrowej jest to dominujące kryterium oceny modelu, środowisko dynamiki systemowej charakteryzuje się dość sceptycznym stosunkiem do znaczenia zasadności odtworzeniowej. 3 Od gier symulacyjnych oczekuje się 1 Wandor należy do autorów używających określenia weryfikacja w sensie szerokim, co jest równoznaczne z terminem walidacja używanym w tej pracy. 2 Ten etap Kuhn uznał z czasem za niekonieczny (por. [Kuhn 1985a]). 3 Modele rzadko zawodzą dlatego, że modelujący zastosowali błędną technikę regresji, albo dlatego, że nie odwzorowują dostatecznie dokładnie danych historycznych. Modele zawodzą, gdyż nie rozstrzygnięto bardziej podstawowych kwestii dotyczących ich adekwatności do danego problemu, bo naruszają podstawowe prawa fizyczne, jak prawo zachowania masy, bo zbyt wąsko ujęte granice modelu

10 36 Alicja Balcerak zasadności predykcyjnej tylko wtedy, gdy mają przeznaczenie treningowe 1 i - odwzorowując realny system przedmiotowy - przygotowują uczestników do konkretnych przedsięwzięć. Nie jest to obecnie często stosowany ich rodzaj PRAGMATYZM I ABDUKCJA Pragmatyzm za kryterium prawdziwości poznania przyjmuje praktyczną użyteczność (skuteczność) sądów. Według tzw. pragmatycznej koncepcji prawdy W. Jamesa prawda jest: w swej istocie względna, zmienna i subiektywna - zależy od poznawanego, poznającego i okoliczności poznawania; wartością utylitarną, stąd bez znaczenia są różnice w przedmiocie poznania, które nie pociągają za sobą żadnych konsekwencji. 2 Uznawany za twórcę pragmatyzmu C.S. Peirce dedukcji racjonalistów i indukcji empiryków przeciwstawił abdukcję. Polega ona na próbnym przyjmowaniu hipotezy, jeśli dostatecznie wyjaśnia jakieś zjawisko. Od dobrych hipotez Peirce wymagał prostoty i modyfikowalności. Prosty, modyfikowalny i przyjęty zawsze tylko na próbę - są to określenia z charektyrystyki użytecznego modelu symulacyjnego. Pragmatyczne podejście do problemu walidacji modeli prezentuje wielu teoretyków i praktyków symulacji, zwłaszcza szkoły dynamiki systemowej: Kwestią, którą muszą rozstrzygnąć twórcy i użytkownicy modelu nie jest: czy model jest prawdziwy?, lecz: czy jest on użyteczny? [Sterman 2000, s. 890]. Żaden model nie może być zupełnie sprawdzony (...) Użyteczny, instruktywny, przekonujący, budzący zaufanie są trafniejszymi określeniami w stosunku do modelu, niż zasadny 3 [Greenberger i in. 1976, s ] 4. Forrester i Senge [1980] w swojej definicji zasadności uczynili użyteczność modelu jednym z dwóch głównych (obok wieloznacznej sensowności ) kryteriów walidacji. Konsekwencją jest względność oceny modelu: Walidacja jest zrelatywizowana w tym sensie, że może dotyczyć tylko szczególnego zastosowania modelu. Bezcelowym jest dowodzenie, że model jest użyteczny bez określenia do jakich celów jest przeznaczony [op. cit. s. 211]. Zeigler [1984], który bierze pod uwagę tylko jedno kryterium walidacji (porównanie reakcji modelu z reakcją systemu rzeczywistego) dostrzegł względność orzeczenia o zasadności wyróżniając jej trzy rodzaje: przecinają krytyczne sprzężenia zwrotne, bo modelujący nie ujawnili użytkownikom założeń modelu, bo nie włączyli w proces modelowania najważniejszych interesariuszy [Sterman 2000, s. 890]. 1 Por. [Becker 1974]. 2 Por. [Cackowski i Hetmański 1992], [Russell 1995]. 3 Valid. 4 Za [Sterman 2000, s. 846]

11 Walidacja modeli symulacyjnych - źródła postaw badawczych 37 replikatywna lub retrospektywna (model jest zasadny replikatywnie jeżeli generowane przezeń dane odpowiadają danym uzyskanym uprzednio z systemu rzeczywistego); predykcyjna lub prospektywna (generowane przezeń dane odpowiadają danym uzyskanym później z systemu rzeczywistego); strukturalna (poza reakcjami systemu rzeczywistego model odtwarza też wiernie sposób ich generowania). Powyższy podział niejawnie uzależnia orzeczenie o zasadności od celu modelowania. Na przykład model może być zaakceptowany mimo niezasadności strukturalnej, bo jest zasadny prospektywnie i to wystarcza do celów, dla których powstał. Szczególne bogactwo kryteriów oceny i rodzajów walidacji znajdujemy w dziedzinie gier symulacyjnych: strukturalna, procesualna, psychologiczna, zewnętrzna, wewnętrzna, dydaktyczna, reprezentacji 1 (lista jest długa). Rozmaitość względów branych pod uwagę przy ocenie gry powoduje, że używanie określenia walidacja bez przymiotnika traci sens. Używanie określenia walidacja z przymiotnikiem też nie chroni od nieporozumień, bo i interpretacja poszczególnych typów zasadności bywa różna ANARCHIZM METODOLOGICZNY P. K. Feyerabend był zwolennikiem pluralizmu teoretycznego. Uważał, że oceny jednej teorii można dokonać tylko stojąc na gruncie teorii alternatywnej, przy czym żadna teoria nie może być faworyzowana. Wszystkie metodologie, nawet te najbardziej oczywiste, posiadają ograniczenia. [Feyerabend 1996, s. 30] Zatem jedyna warta bezwzględnej obrony zasada badawcza to: nic świętego 3 (anything goes). Ta ironiczne użyta przez Feyerabenda fraza stała się hasłem anarchizmu epistemologicznego (metodologicznego), przez niektórych jego krytyków i wyznawców - tzw. anarchistów naiwnych - rozumianym zbyt dosłownie: Naiwny anarchista głosi, że (a) zarówno reguły absolutne, jak i kontekstowe posiadają własne ograniczenia i wnioskuje, że (b) wszystkie reguły i standardy są bezwartościowe i należy z nich zrezygnować. [op. cit., s. 233]. Sam Feyerabend nie głosił bynajmniej bezwartościowości wszystkich reguł i standardów. Uważał jednak, że standardy są zmienne i nie można ich traktować jak byty ponadczasowe: Dla Arystotelesa wiedza miała charakter ja- 1 Jedną z najnowszych prób usystematyzowania typów walidacji w symulacji growej podjęli Feinstein i Cannon [2001]. 2 Por. [Feinstein i Cannon 2001, 2002]. 3 Tłumaczone również, między innymi, jako wszystko ujdzie, wszystko jest dopuszczalne, rób, co chcesz, wszystko wolno.

12 38 Alicja Balcerak kościowy i pochodziła z obserwacji. Obecnie wiedza ma charakter ilościowy i teoretyczny, przynajmniej według czołowych przedstawicieli nauk przyrodniczych. Kto ma rację? Zależy to od tego, jakiemu rodzajowi informacji przyznamy status uprzywilejowany, a to z kolei zależy od kultury lub przywódców kulturowych posługujących się tymi informacjami. [Feyerabend 1996, s. 237]. Normy racjonalności wynikają więc z tradycji metodologicznej. Normy te stają się obiektywnymi wzorcami doskonałości z chwilą zaakceptowania ich przez podmioty uczestniczące w tego rodzaju tradycji. (...) Projekcje owych podmiotów zdają się obiektywne, podobnie jak opisujące je zdania brzmią obiektywnie, a to dlatego, ze nigdzie nie wspomina się w nich o założonej tradycji ani o jej podmiotach. [op. cit., s. 227]. Z uwagami Feyerabenda koresponduje opinia Forrestera [1961, s ] o niebezpieczeństwie nadużywania ilościowych procedur weryfikacji, co bywa czynione nawet wówczas, gdy założenia do modelu są nieweryfikowalne. Ten, jak to nazywa Forrester, pseudonaukowy rytuał powoduje często utratę lub przekłamania informacji. Jeżeli większość założeń do modelu ma charakter jakościowy (a każda forma wiedzy powinna być na tym etapie modelowania uwzględniona), to również jakościowa powinna być ocena modelu. Fałszywy obiektywizm jako skutek nieprawomocnego stosowania ilościowych procedur walidacji jest - zdaniem Forrestera [1961] - o wiele bardziej niebezpieczny, niż jawne zastosowanie metod niesformalizownych. Sargent [1998] w aspekcie obiektywizmu oceny walidacyjnej identyfikuje trzy podejścia: Podejście opierające się na subiektywnej decyzji twórców modelu przeprowadzających badania walidacyjne. (Podstawą decyzji o akceptacji danej wersji modelu są wyniki przeprowadzonych testów i procedur ewaluacyjnych.) Niezależna weryfikacja i walidacja prowadzona przez specjalistów spoza grupy twórców, sponsorów i użytkowników modelu. Jej owocem jest subiektywna decyzja zespołu o uznaniu modelu za wystarczająco (lub niewystarczająco) zasadny. Uzależnienie decyzji o zasadności modelu od wartości ocen przypisywanych modelowi, a w szczególności - od różnicy między oceną przyznaną modelowi a jej wartością progową (najniższą dopuszczalną). Sargent krytykuje to podejście za ukryty subiektywizm: decyzja o progowej wartości oceny jest subiektywna. Osiągnięcie oceny dopuszczalnej nie oznacza, że model jest poprawny, choć pozorny obiektywizm tego podejścia może powodować przecenianie wiarogodności oceny, a także skłaniać do porównywania modeli pod względem uzyskanych ocen. Jak widać, w klasyfikacji Sargenta nie występuje walidacja obiektywna ; wybór jest między subiektywizmem jawnym (twórców, audytorów, użytkowników) a subiektywizmem ukrytym.

13 Walidacja modeli symulacyjnych - źródła postaw badawczych 39 Symulacja niealgorytmiczna dostarcza przykładów zarówno na pluralizm metodologiczny, anarchizm (w pejoratywnym znaczniu), jak i pseudonaukowe rytuały. Przyczyna jest wspólna: w tej dziedzinie nie ma standardów badawczych i nie istnieje uniwersalna, powszechnie akceptowana metoda oceny gier symulacyjnych. Prowadzone są wielokierunkowe poszukiwania metodologiczne. Niektórzy traktują wymóg walidacji dość swobodnie (aż do całkowitego poniechania włącznie), inni zaś próbują obiektywizować subiektywne i stosować - bez względu na okoliczności - metody uznawane w przyrodoznawstwie, czyniąc przy tym nieuprawnione kwantyfikacje i popełniając błędy (np. pomiaru). Czytelnicy literatury symulogicznej zgodzą się zapewne, że w kontekście walidacji modelu symulacyjnego warto przytoczyć jeszcze jedną opinię P.K. Feyerabenda: Myślę, że naukowcy zawsze zachowywali się niechlujnie i dość oportunistycznie, kiedy prowadzili badania, chociaż często wyrażali inne poglądy, kiedy głosili kazania na temat badań HERMENEUTYKA Początkowo hermeneutyka była zbiorem reguł interpretacji tekstów religijnych. Obecnie pojęcie to oznacza teorię interpretacji i rozumienia wypowiedzi 1 (tekstów, czynów i wytworów); swoistego rodzaju metodologię nauk humanistycznych. Hermeneutyka obiektywnej diagnozie przeciwstawia - zawsze zależną od kontekstu - interpretację. Jednym z jej ważniejszych założeń jest zasada koła hermeneutycznego: Interpretacja i interpretowane wpływają na siebie nawzajem; wypowiedź zależy od kontekstu, w którym powstała, kontekst jest rozumiany dzięki wypowiedzi. SYSTEM PRZEDMIOTOWY MODELOWANIE (zrozumienie, interpretacja) BADANIE (w kontekście danej interpretacji) MODEL SYMULACYJNY Rys. 3. Koło hermeneutyczne w modelowaniu symulacyjnym Opracowanie własne 1 Jest to najpowszechniejsze z wielu funkcjonujących współcześnie znaczeń tego terminu (por. [Cackowski i Hetmański 1992]).

14 40 Alicja Balcerak Odrzuciwszy założenie, że modelowanie jest odkrywaniem Prawdy lub najlepszej drogi, analogię koła hermeneutycznego można dostrzec w procesie tworzenia i badania modelu symulacyjnego (rys. 3). Wypada tu podkreślić słowo tworzenie dopuszczające rozmaitość oglądów, ujęć problemu i interpretacji. modyfikacja walidacja modelu konceptualnego model mentalny użytkownika rozwój <modyfikacja> akumulacja doświadczenia użytkownika model konceptualny <rozwój> model symulacyjny przedstawianie <modyfikacja> system przedmio towy zachowanie systemu przedmioto wego <modyfikacja> weryfikacja <modyfikacja> walidacja operacyjna doskonalenie <modyfikacja> zachowanie systemu symulowanego (przypadek bazowy) parametry modelu zaufanie użytkownika Rys. 4. Proces walidacji w aspekcie budowania zaufania użytkownika do modelu symulacyjnego Źródło: [Coyle i Exelby 2000]. (Autorzy w miejsce przyjętych w tym tekście określeń etapów walidacji: walidacja modelu konceptualnego, weryfikacja i walidacja operacyjna używają odpowiednio: validation with mental models, verification of simulation model i validation with simulation model.) Świadomi tego symulodzy szkoły dynamikosystemowej przywiązują dużą wagę do komunikacji pomiędzy twórcami i użytkownikami modelu. Sterman [2000, s. 890] za jedną z głównych przyczyn zawodności modeli symulacyjnych uważa błędną lub żadną komunikację między ich twórcami a interesariuszami. Budowanie kanałów komunikacyjnych twórcy użytkownicy to zarówno część procesu tworzenia, jak i walidacji modelu (rys. 4). Warunkiem koniecznym sensownego wykorzystania modelu staje się zbliżenie koncepcji (modelu konceptualnego) do oglądu rzeczywistości właściwego użytkownikowi. Zbliżenie to nie musi oznaczać dostosowania się modelującego do wyobrażeń klienta; często w trakcie budowy modelu następuje zmiana oglądu problemu po stronie użytkownika. Tak więc skuteczność symulacji jako drogi

15 Walidacja modeli symulacyjnych - źródła postaw badawczych 41 poznawania rzeczywistości może ujawnić się już w początkowych etapach pracy nad modelem (por. [Forrester i Senge 1980]). Gdyż, jak to ujął czołowy przedstawiciel hermeneutyki, [n]ie ma wypowiedzi, którą można by ująć tylko ze względu na podaną w niej treść, jeśli chce się ją uchwycić w jej prawdzie. Każda wypowiedź jest umotywowana. Każda wypowiedź ma założenia, których nie wypowiada. Uwzględnienie tych założeń jest warunkiem zgłębienia prawdy wypowiedzi. [Gadamer 1979, s. 41]. Kleindorfer i in. [1998] porównują orzeczenie o dobroci modelu do werdyktu sądowego, bazującego na znanych normach i przepisach, ale - w końcu - uzależnionego od subiektywnej interpretacji. Siłą podejścia hermeneutycznego jest właśnie stosunek do subiektywnych aspektów oceny modelu. To, co obiektywista będzie chciał wyeliminować (lub przemilczeć), czemu subiektywista ulegnie bez walki, hermeneuta - spróbuje zrozumieć i wykorzystać. SYSTEM PRZEDMIOTOWY interpretacja autora interpretacja arbitra MODEL GRY interpretacja aktora KALIBRACJA GRY CZYNNIKI NIEZALEŻNE OD ARBITRA I UCZESTNIKÓW ODEGRANIE ROLI interpretacja rozgrywki (uczenie się) uczestników i arbitra ROZGRYWKA (wprowadzenie, symulacja, podsumowanie) Rys. 5. Realizacja gry symulacyjnej jako skutek interpretacji twórcy, arbitra i uczestników. Opracowanie własne Podejście hermeneutyczne do walidacji modeli wydaje się budzić coraz większe zainteresowanie symulogów. 1 Dotyczy to zwłaszcza symulacji niealgorytmicznej, której wyniki zależą nie tylko od hard- i soft-, ale - przede wszystkim - od humanware. Tu, gdzie przebieg i wynik symulacji jest superpozycją interpretacji twórcy, arbitra i uczestników (rys. 5), szczególnie pożądane wydaje się potraktowanie symulacji jako wypowiedzi. Wyzwaniem dla twórców i interesariuszy gier symulacyjnych jest opracowanie takich sposobów oceny dobroci modelu, które będą to nałożenie się interpretacji uwzględniać 2. 1 Por. [Kleindorfer i in. 1998], [Feinstein i Cannon 2001, 2003]. 2 Więcej na ten temat w [Balcerak 2001].

16 42 Alicja Balcerak 4. PODSUMOWANIE Modelowanie jest działaniem celowym. Walidacja jest nieodłączną częścią procesu tworzenia i eksploatacji modelu symulacyjnego. Powyższe - oczywiste i powszechnie akceptowane - zasady implikują użyteczną dla praktyki modelowania symulacyjnego regułę: Cel walidacji powinien być podporządkowany celom modelowania. Zbyt dosłowne potraktowanie analogii ocena modelu symulacyjnego - ocena teorii naukowej może doprowadzić do tego, że środek osiągnięcia celu stanie się celem samym w sobie. Prowadzi to do bezproduktywnych wysiłków w celu uzasadniania modelu i badania jego prawdziwości lub do prób oswajania złożoności problemu prostymi, uniwersalnymi metodami (np.: model jest zasadny, jeśli sprawdził się jako narzędzie predykcji). Analogia model symulacyjny - teoria naukowa wyraża się jednak w postawie badawczej przyjmowanej w badaniach empirycznych, w tym w badaniach walidacyjnych. W poglądach współczesnych symulogów na istotę walidacji modelu dominują postawy antydogmatyczne. Choć nie są to poglądy jednolite, to poniższe opinie wydają się łączyć przedstawicieli głównych szkół modelowania symulacyjnego: Ocena modelu nie ma charakteru dychotomicznego (model jest lub nie jest trafny), lecz stopniowalny. Proces walidacji ma charakter permanentny (trwa od chwili sformułowania założeń do modelu aż po kres jego eksploatacji). Ocena modelu jest nieuchronnie obciążona subiektywizmem. Nie usprawiedliwia to jednak jej tendencyjności. Orzeczenie o adekwatności jest względne; zależy od przeznaczenia modelu. LITERATURA AJDUKIEWICZ, K Język i poznanie; tom 1. PWN, Warszawa. AMSTERDAMSKI, S Między doświadczeniem a metafizyką. Z filozoficznych zagadnień rozwoju nauki. Książka i Wiedza, Warszawa. BALCERAK, A Walidacja operacyjna dydaktycznych gier kierowniczych; [w:] Symulacja Systemów Gospodarczych. Prace Szkoły Antałówka Wyd. WSPiZ i Politechnika Wrocławska; pp BALCERAK, A Walidacja operacyjna dydaktycznych gier kierowniczych. Rozprawa doktorska. Wydział Informatyki i Zarządzania Politechniki Wrocławskiej, Wrocław. BECKER, H.A The data behind simulation models; [w:] Simulation and Gaming. Proceedings of the 12th Annual Symposium National Gaming Council and the 4th Annual Conference International Simulation and Gaming Association; pp

17 Walidacja modeli symulacyjnych - źródła postaw badawczych 43 BUCZYŃSKA-GAREWICZ, H Pozytywizm; [w:] Filozofia a nauka. Zarys encyklopedyczny. Ossolineum - Wydawnictwo Polskiej Akademii Nauk, Wrocław - Warszawa - Kraków - Gdańsk - Łódź; pp CACKOWSKI, Z., HETMAŃSKI, M. (red.) Poznanie. Antologia tekstów filozoficznych. Ossolineum, Wrocław - Warszawa - Kraków. COYLE, R.G Management System Dynamics. Wiley, Chichester. COYLE, R.G., EXELBY, D The validation of commercial system dynamics models; [w:] System Dynamics Review (16/1); pp FEINSTEIN, A.H., CANNON, H.M Fidelity, verifiability, and validity of simulation: Constructs for evaluation. Working Paper ; Wayne State University, Marketing Department. FEINSTEIN, A.H., CANNON, H.M Constructs of simulation evaluation; [w:] Simulation & Gaming 33/4; pp FEINSTEIN, A.H., CANNON, H.M Hermeneutical approach to external validation; [w:] Simulation & Gaming 34/2; pp FEYERABEND, P.K Przeciw metodzie. Siedmioróg, Wrocław. FORRESTER, J.W Industrial Dynamics. MIT Press, Cambridge. FORRESTER, J.W., SENGE, P.M Tests for building confidence in System Dynamics models; [w:] A. Legasto Jr, J.W. Forrester i J. Lyneis (red.) System Dynamics. TIMS Studies in the Management Sciences 14; North-Holland, New York; pp GADAMER, H.-G Prawda i metoda. InterEsse, Kraków. GRABIŃSKA, T O modelach zjawisk i rzeczy; [w:] T. Grabińska i M. Zabierowski (red.) Model i interpretacja. Oficyna Wydawnicza Politechniki Wrocławskiej, Wrocław; pp GREENBERGER, M., CRENSON, M. CRISSEY, B Models in the Policy Process. Russell Sage Foundation, New York. KLEINDORFER, G.B., GANESHAN, R The philosophy of science and validation in simulation; [w:] G.W. Evans, M. Mollaghasemi, E.C. Russell, W.E. Biles (red.) Proceedings of the 1993 Winter Simulation Conference; pp KLEINDORFER, G.B., O NEILL, L., GANESHAN, R Validation in Simulation: Various Position in the Philosophy of Science; [w:] Management Science, Vol. 44, No. 8; pp KUHN, T. S Struktura rewolucji naukowych. PWN, Warszawa. KUHN, T. S Raz jeszcze o paradygmatach; [w:] T.S. Kuhn Dwa bieguny. Tradycja i nowatorstwo w badaniach naukowych. Państwowy Instytut Wydawniczy, Warszawa; pp KUHN, T. S. 1985a. Obiektywność, sądy wartościujące i wybór teorii; [w:] T.S. Kuhn Dwa bieguny. Tradycja i nowatorstwo w badaniach naukowych. Państwowy Instytut Wydawniczy, Warszawa; pp KWAŚNICKI, W Określenie zasadności modelu w naukach społecznych; [w:] Symulacja Systemów Gospodarczych. Prace Szkoły Antałówka Wyd. WSPiZ i Politechnika Wrocławska; pp LAKATOS, I Falsyfikacja a metodologia naukowych programów badawczych; [w:] I. Lakatos Pisma z filozofii nauk empirycznych. PWN, Warszawa; pp

18 44 Alicja Balcerak LAKATOS, I. 1995a. Historia nauki a jej racjonalne rekonstrukcje; [w:] I. Lakatos Pisma z filozofii nauk empirycznych. PWN, Warszawa; pp NAYLOR, T.H Analiza wariancji; [w:] T.H. Naylor (red.) Modelowanie cyfrowe systemów ekonomicznych. PWN, Warszawa; pp NAYLOR, T.H., FINGER, J.M Ocena zasadności modelu; [w:] T.H. Naylor (red.) Modelowanie cyfrowe systemów ekonomicznych. PWN, Warszawa; pp PIDD, M Computer Simulation in Management Science. John Wiley & Sons, Chichester. POPPER, K.R Droga do wiedzy. Domysły i refutacje. Wydawnictwo Naukowe PWN, Warszawa. RADOSIŃSKI, E Systemy informatyczne w dynamicznej analizie decyzyjnej. Wydawnictwo Naukowe PWN, Warszawa - Wrocław. SARGENT, R.G Verification and validation of simulation models; [w:] D.J. Medeiros, E.F. Watson, J.S. Carson, M.S. Manivannan (red.) Proceedings of the 1998 Winter Simulation Conference; pp SCHLESINGER, S., CROSBIE, R.E., GAGNÉ, R.E., INNIS, G.S., LALWANI, C.S., LOCH, J., SYLVESTER, R.J., WRIGHT, R.D., KHEIR, N., BARTOS, D Terminology for model credibility; [w:] Simulation, March 1979; pp STERMAN, J.D Business Dynamics. System Thinking and Modeling for Complex World. Irwin McGraw-Hill. SUCH, J Problemy weryfikacji wiedzy. PWN, Warszawa. SZCZUROWSKI, L Weryfikacja i walidacja komputerowych modeli symulacyjnych; [w:] Symulacja Systemów Gospodarczych - Węgierska Górka 86; PTE, Katowice; pp TUCKER, W. i zespół A Glossary of Modeling and Simulation Terms for Distributed Interactive Simulation; VÁZQUEZ, M., LIZ, M System formalization and model building; [w:] Computer-Based Management of Complex Systems. Proceedings of the 1989 International Conference of the System Dynamics Society. Springer-Verlag; pp WANDOR, B.W Weryfikacja modeli - problem ciągle aktualny; [w:] Symulacja Systemów Gospodarczych - Miłków 83. TNOiK, Wrocław; pp WOLEŃSKI, J Matematyka a epistemologia. PWN, Warszawa. ZEIGLER, B.P Teoria modelowania i symulacji. PWN, Warszawa.