ZESZYTY NAUKOWE WSOWL Nr (1) 010 ISSN 11-1 Magdalena ROGALSKA PROGNOZOWANIE METODĄ DELFICKĄ METODA OCENY PRAWIDŁOWOŚCI PROGNOZ W pracy analizowano możliwość weryfikowania ocen eksperckich w metodzie delfickiej prognozowania zdarzeń. Zaproponowana metoda obliczeniowa umożliwia odpowiedzi na pytania: czy można mieć zaufanie do ekspertów i czy oceny ekspertów są zgodne. Pozwala na wyznaczenie podstawowych statystyk dla zmiennych, eliminując braki zgodności wśród ekspertów. W artykule opisano podstawowe założenia metody delfickiej, jej wady i zalety. W punkcie opisano zaproponowaną metodę obliczeniową, z wykorzystaniem testów statystycznych normalności rozkładów, równości wariancji i istotności różnic w grupach. W punkcie przedstawiono przykład obliczeniowy. Słowa kluczowe: prognoza, metoda delficka, test t-studenta, równość wariancji, istotność różnic w grupach WSTĘP Problematyka określania ryzyka przedsięwzięć budowlanych jest szeroko analizowana przez polskich specjalistów [,,, ]. Jedną z metod określania czasu realizacji przedsięwzięcia budowlanego jest metoda ekspercka - zwana również delficką [1, ]. Metoda delficka należy do grupy metod heurystycznych, w których do podejmowania decyzji wykorzystuje się wiedzę, doświadczenie i opinie ekspertów z danej dziedziny. Może wykorzystywana być do określenia prawdopodobieństwa zajścia lub czasu trwania przyszłych zdarzeń. Postawioną prognozę uzyskuje się poprzez przeprowadzenie serii ankiet wśród ekspertów. Nazwa metody delfickiej pochodzi od nazwy starożytnego greckiego miasta Delfy, gdzie w świątyni Apollina kapłanka zwana Pytią przepowiadała przyszłość. W tabeli 1 zestawiono wady i zalety metody delfickiej. Aby na podstawie opinii ekspertów dokonywać prognoz, należy zastosować odpowiednie procedury obliczeniowe. W pracy zaproponowano metodę statystyczną. Metodę opisano w punkcie 1 artykułu i zilustrowano przykładem w punkcie. * dr inż. Magdalena ROGALSKA Wydział Budownictwa i Architektury Politechniki Lubelskiej
PROGNOZOWANIE METODĄ DELFICKĄ METODA OCENY PRAWIDŁOWOŚCI PROGNOZ Tabela 1. Zestawienie zalet i wad metody delfickiej Lp ZALETY WADY 1 niezależność opinii wolna anonimowość opinii oraz ekspertów kosztowna unikanie dominujących osobowości ograniczona do jednego tematu kontrolowane sprzężenie zwrotne założenie, o zgodności opinii jest równoznaczne z ich prawdziwością i trafnością zdalna, asynchroniczna, grupowa komunikacja trudności w doborze grupy ekspertów statystyczne opracowanie wyników konieczność zaangażowania dużej liczby osób opracowujących ankietę i odpowiedzi wieloetapowość brak bezpośredniej wymiany poglądów uzgadnianie i sumowanie opinii kompetentnych wykorzystanie tylko do prognoz długookresowych, co utrudnia osób weryfikację 1. OPIS METODY Kolejne etapy proponowanej metody oceny prawidłowości prognoz eksperckich w metodzie delfickiej przedstawiono na rysunku 1. Procedura rozpoczyna się od zdefiniowania problemu, czyli określenia, jaka cecha podlegać będzie ocenie oraz jakie wartości może przyjmować. Drugim etapem jest wybór grona ekspertów. Założeniem w metodzie delfickiej jest twierdzenie, że zgodność opinii jest równoznaczna z ich prawdziwością i trafnością. Z założenia więc opinie różniące się w sposób znaczny od pozostałych zostaną wyeliminowane, pomimo że mogą być słuszne. Eksperci powinni wykazywać się dużą wiedzą i doświadczeniem w zakresie badanych cech. Na tym etapie zakłada się, że wybrano najlepszych ekspertów z możliwych. Do wybranych ekspertów wysyła się ankietę. Po otrzymaniu odpowiedzi zwrotnych przeprowadza się analizę statystyczną mającą na celu weryfikację różnic opinii ekspertów. W tym celu sprawdza się normalność rozkładów opinii eksperckich oraz równość ich wariancji. Oblicza się współczynniki korelacji pomiędzy ocenami poszczególnych ekspertów. Jeśli współczynniki korelacji są zbyt niskie, oznacza to, że zgoda nie została osiągnięta. Ankietę wysyła się do ponownej analizy do ekspertów, których opinie odbiegają od średniej. Po otrzymaniu odpowiedzi wykonuje się ponownie obliczenia statystyczne. Należy podjąć decyzję o ponownym wysłaniu ankiety do weryfikacji, odrzuceniu opinii eksperta lub przyjęciu ocen do dalszych obliczeń. Należy liczyć się z tym, że prognozując cechy w metodzie delfickiej, wybrani przez nas eksperci zostaną uznani za niewłaściwych. Zakładamy zatem, że eksperci nie musza być najlepsi, lecz jedynie wystarczająco dobrzy. Unika się w ten sposób zarzutu niewystarczającej kompetentności ekspertów. Dokładniejszego omówienia wymaga analiza statystyczna odpowiedzi zwrotnych. Testy weryfikacyjne [, ] mogą być stosowane, gdy spełnione są warunki: analizowana zmienna jest mierzalna; rozważanych k niezależnych populacji ma rozkłady normalne N(μ i, σ i ) i = 1,,, k; rozkłady te mają jednakową wariancję σ 1 = σ = = σ k = σ. 11
Magdalena ROGALSKA Rys. 1. Kolejne etapy metody oceny prawidłowości prognoz eksperckich w metodzie delfickiej 1.1. Mierzalność zmiennych 1 W proponowanej metodzie zaleca się, aby wszystkie zmienne były mierzalne. Zmienne zostały uznane przez ekspertów za mierzalne, podali oni wartości liczbowe w ankietach. 1.. Weryfikacja rozkładu normalnego zmiennych Etap I Weryfikacja rozkładu normalnego prowadzona będzie w etapach. Formułowanie hipotezy H 0 i hipotezy alternatywnej H 1. Hipotezą zerową w tym przypadku jest twierdzenie, że rozkład zmiennej jest normalny, natomiast hipotezą alternatywną jest twierdzenie, że rozkład zmiennej nie jest normalny. Badamy czy H 0 możemy odrzucić. Musimy udowodnić, że rozkład nie jest normalny, jeśli chcemy odrzucić H 0. Etap II Przyjęcie poziomu istotności. Poziom istotności to prawdopodobieństwo popełnienia błędu pierwszego rodzaju, czyli odrzucenia hipotezy zerowej, podczas gdy jest ona prawdziwa. Jako poziom istotności przyjęto wartość α=0,0. Etap III Zdefiniowanie problemu Wybór grona ekspertów Przygotowanie i wysłanie ankiety Analiza statystyczna odpowiedzi zwrotnych Czy zgoda została osiągnięta? NIE Rezygnacja z oceny danego eksperta TAK Weryfikacja rozkładu normalnego test t-studenta Weryfikacja hipotezy o równości wariancji test Levene a Weryfikacja istotności różnic w grupach Przedstawienie wyników Dobieranie odpowiednio do postawionej tezy zerowej testu i obliczenie jego wartości w oparciu o dane pochodzące z próby. W omawianym przypadku wybrano test t Studenta dla pojedynczej próby. Przyjęto, że populacja generalna ma rozkład normalny N(μ, σ) o nieznanej średniej μ i nieznanym odchyleniu standardowym σ. Ponadto
PROGNOZOWANIE METODĄ DELFICKĄ METODA OCENY PRAWIDŁOWOŚCI PROGNOZ liczebność próby jest mała ( n 0). Wówczas statystyka testująca przyjmuje postać x t 0 n, gdzie x oraz s to odpowiednio średnia i odchylenie standardowe z próby, n liczebność próby, a s 0 to hipotetyczna wartość średniej populacji. Statystyka ma rozkład t-studenta o n-1 stopniach swobody. Etap IV Przy ustalonym poziomie istotności (etap II) znajdujemy obszary krytyczne i w oparciu o nie podejmujemy decyzję o odrzuceniu lub nie hipotezy zerowej. Etap V Podjęcie decyzji o odrzuceniu lub nie hipotezy zerowej na danym poziomie istotności. W wyniku przeprowadzonych obliczeń otrzymujemy t-wartość. Wartością odniesienia jest obliczona w etapie III wartość t dla df stopni swobody. 1.. Weryfikacja hipotezy o równości wariancji Należy przeprowadzić weryfikację hipotezy o równości wariancji. Podstawą analizy wariancji jest możliwość rozbicia sumy wariancji całkowitej (SST - Sum of Squares Total) dla wszystkich wyników obserwacji na dwa składniki [9]: sumę kwadratów opisującą zmienność wewnątrz grup (SSE - Sum of Squares Error) ; sumę kwadratów opisującą zmienność między grupami (SSEF - Sum of Squares Effect). Omawiane rozbicie przyjmuje postać (1): gdzie: k liczba grup, k n i k ni k ni ij x xij xi xi x i1 j1 n liczebność próby, x (1) k n i1 n i i1 j1 i1 j1 niezależnych obserwacji x ij dla j =1,,, k. Analogicznie sumują się liczby stopni swobody (degrees of freedom df): dtf dfe dfef () n k k n 1 1 () Następnie należy obliczyć wartość MSEF (średni kwadrat między grupami Medium Square Effect) w sposób opisany zależnościami () i (): SSEF SSEF MSEF () dfef k 1 SSE SSE MSEF () dfe n k 1
Magdalena ROGALSKA Stawiamy hipotezę H 0, że wariancje w grupach są jednakowe: H 0 : σ 1 = σ = = σ k, wobec hipotezy alternatywnej H 1 : co najmniej dwie wariancje różnią się między sobą. Jeśli: MSEF dfef, to przyjmujemy, że hipoteza zerowa H 0 jest prawdziwa i nie mamy podstaw do jej odrzucenia. Jeśli: MSEF > dfef, to przyjmujemy, że hipoteza zerowa H 0 jest fałszywa i mamy podstawy do jej odrzucenia oraz do przyjęcia hipotezy alternatywnej H 1. Jeśli rozkłady zmiennych są mierzalne, ich rozkłady są normalne i wariancje równe, to możemy przystąpić do weryfikacji hipotezy o istotności różnic w grupach. 1.. Weryfikacja hipotezy o istotności różnic w grupach Oblicza się współczynnik korelacji liniowej Pearsona dla zmiennych ekspert. Współczynnik ten (oznaczany r xy i przyjmujący wartości [-1,1]) jest miernikiem siły związku prostoliniowego między dwiema cechami mierzalnymi. Wartość tego współczynnika wyliczona z próby jest zgodnym estymatorem współczynnika korelacji w całej populacji. Aby można było uznać, że zmienne są w pełni skorelowane, współczynnik r xy musi przyjąć wartość od 0,9 do 1. Korelację silną przyjmujemy, gdy: 0,<r xy <1. Współczynniki korelacji należy obliczyć ze wzoru (). Współczynniki korelacji obliczane są dla każdej pary ekspertów. W ten sposób wyznaczamy opinie nieskorelowane, czyli sprzeczne. 1 r xy n x x y y i i i 1 n n xi x yi y i1 i1 cov X, Y () s s gdzie: x, y - średnie, a s x i s y odchylenia standardowe tych cech.. PRZYKŁAD ZASTOSOWANIA METODY Wytypowano procesów budowlanych. Poproszono ekspertów o określenie ryzyka wydłużenia czasu realizacji procesów ze względu na czynniki niekorzystne. Ryzyko należy określić w skali od 0 do 10..1. Mierzalność zmiennych Wyniki oceny eksperckiej zestawiono w tabeli oraz przedstawiono na rysunku. Tabela. Zestawienie wartości ocen ekspertów pierwsza tura odpowiedzi Proces 1 P1 P 9 9 9 P P 1 0 1 0 1 0 1 P P 10 9 9 10 9 x y
PROGNOZOWANIE METODĄ DELFICKĄ METODA OCENY PRAWIDŁOWOŚCI PROGNOZ Ocena ekspertów 1 10 0-0 1 Proces budowlany 1 Rys.. Wykres wartości wydłużenia czasu trwania procesów budowlanych od P1 do P według ocen ekspertów 1-.. Weryfikacja rozkładu normalnego zmiennych test t-studenta Postawiono hipotezę zerową, że rozkłady zmiennych 1- są normalne. Celem weryfikacji tej hipotezy przeprowadzono obliczenia przy wykorzystaniu programu STATISTICA. Wyniki obliczeń zestawiono w tabeli. Tabela. Zestawienie wartości do sprawdzenia normalności rozkładów Test średnich względem stałej wartości odniesienia (Arkusz1) Zmienna Średnia Odchylenie Waż Błąd Odniesie t df p standardowe. nych standardowy nie Stała 1,,0 1,10 0,00,90 0,01110,00000,1 1,01 0,00,00 0,009,00000, 1,0 0,00,0 0,00,,011091 1,9 0,00,09 0,009,,1 1,00 0,00,0 0,090,,9 1, 0,00,000000 0,010,1, 1,1 0,00,110 0,001,00000, 1,0 0,00, 0,000 Wartością odniesienia jest obliczona wartość t dla stopni swobody, wynosząca,0. Jeśli t-wartość jest większa od,0, to nie mamy podstaw do odrzucenia hipotezy H 0. 1
Magdalena ROGALSKA Obliczone t-wartości w tabeli są większe od,0 z prawdopodobieństwem popełnienia błędu mniejszym niż 0,0, zatem nie ma podstaw do odrzucenia hipotezy zerowej H 0 przyjmuje się, że rozkłady zmiennych są normalne... Weryfikacja hipotezy o równości wariancji test Levene a Postawiono hipotezę zerową H 0, że wariancje w grupach są jednakowe: H 0 : σ 1 = σ = = σ. Do weryfikacji tej hipotezy posłużono się testem Levene a. Wyniki obliczeń zestawiono w tabeli. 1 Tabela. Zestawienie wartości wyników testu Levene a jednorodności wariancji Test Levene'a jednorodności wariancji (Arkusz1) Zmienna Zaznaczone efekty są istotne z p <,0000 SS Efekt df Efekt MS Efekt SS Błąd df Błąd MS Błąd F p test Levene"a,99 0,910 10,1 0,0 0,90 0,9 MSEF dfef, zatem przyjmuję, że hipoteza zerowa H 0 jest prawdziwa i nie mamy podstaw do jej odrzucenia... Weryfikacja hipotezy o istotności różnic w grupach Obliczono współczynniki korelacji liniowej Pearsona dla zmiennych ekspert 1-. Otrzymano w ten sposób oceny zgodności opinii ekspertów w systemie każdy z każdym. Wyniki obliczeń przedstawiono na rysunku i zestawiono w tabeli. 1,0 1,00 0,9 0,90 0, 0,0 0, 0,0 0, 0,0 Liniowy wiele zmiennych 0, 0 1 9 1 Rys.. Wartości współczynników korelacji ocen ekspertów, ocena eksperta wyraźnie różni się od pozostałych
PROGNOZOWANIE METODĄ DELFICKĄ METODA OCENY PRAWIDŁOWOŚCI PROGNOZ 1 Tabela. Wartości współczynników korelacji ocen ekspertów 1 1 0,90 0,90 0,91 0,9 0,91 0, 0,1 0,90 1 0,9 0,91 0,91 0,9 0,9 0,9 0,90 0,9 1 0,9 0, 0,990 0,9 0,1 0,91 0,91 0,9 1 0,99 0,9 0, 0,9 0,9 0,91 0, 0,99 1 0,91 0,0 0, 0,91 0,9 0,990 0,9 0,91 1 0,9 0,11 0, 0,9 0,9 0, 0,0 0,9 1 0, 0,1 0,9 0,1 0,9 0, 0,11 0, 1 Oznaczone współczynniki korelacji są istotne z prawdopodobieństwem popełnienia błędu p < 0,0000. Czcionką bold oznaczono średnią korelację między grupami niewystarczającą, by można uznać, że oceny eksperta są zgodne z ocenami pozostałych. Zgodność ekspertów i jest na granicy dopuszczalnej. W metodzie delfickiej należy wysłać powtórnie ankiety do ekspertów, i z prośbą o powtórne przeanalizowanie opinii. Wykonać obliczenia ponownie. W przypadku utrzymujących się znaczących różnic należy zrezygnować z ocen eksperta. Załóżmy, że ekspert zmienił wartość ryzyka opóźnień procesu P z wartości na i wyeliminowano eksperta. Wówczas wartości współczynników korelacji przyjmują wartości zestawione w tabeli. Żaden ze współczynników korelacji nie przyjmuje wartości mniejszych niż 0,0, zatem należy uznać, że wartości ocen są skorelowane i można podjąć próbę wykorzystania ocen eksperckich do dalszych analiz. Tabela. Wartości współczynników korelacji ocen ekspertów po modyfikacji 1 1 1,000000 0,900 0,90 0,9 0,99 0,911 0,1 0,900 1,000000 0,9 0,910 0,919 0,999 0,9 0,90 0,9 1,000000 0,91 0,1 0,9900 0,99 0,9 0,910 0,91 1,000000 0,91 0,991 0,9 0,99 0,919 0,1 0,91 1,000000 0,911 0,09 0,911 0,999 0,9900 0,991 0,911 1,000000 0,90 0,1 0,9 0,99 0,9 0,09 0,90 1,000000.. Obliczenie podstawowych statystyk P1 do P na podstawie ocen ekspertów W tym celu należy obliczyć podstawowe parametry wyników oceny delfickiej. Parametry te przedstawiono na rysunku dla każdego procesu P od 1 do. 1
Magdalena ROGALSKA 1 P1 1 N:,000 Średnia:,1 Mediana:,000 Min:,000 Max:,000 %:,000 %:,000 Wariancja:1, Od.std.: 1,1 Bł.std.: 0,9 Skośn.: 0, Kurt: -1, Dolny: 0,1 Górny:,9 Dolny:, Górny:,0 9 P 10 9 N:,000 Średnia:,1 Mediana:,000 Min:,000 Max: 9,000 %:,000 %: 9,000 Wariancja:0,10 Od.std.: 0,900 Bł.std.: 0,0 Skośn.: -0, Kurt: -1,1 Dolny: 0,0 Górny: 1,91 Dolny:,11 Górny:,9 Podsumowanie(P1 P P P P P) P N:,000 Średnia:,000 Mediana:,000 Min:,000 Max:,000 %:,000 %:,000 Wariancja:0, Od.std.: 0,1 Bł.std.: 0,09 Skośn.: -,e-01 Kurt: -1,00 Dolny: 0, Górny: 1,9 Dolny:, Górny:, 1 0 P 1 0-1 N:,000 Średnia: 0,1 Mediana: 1,000 Min: 0 Max:,000 %: 0 %: 1,000 Wariancja:0,1 Od.std.: 0, Bł.std.: 0, Skośn.: 0,9 Kurt: -0,0 Dolny: 0, Górny: 1, Dolny: 0,01 Górny: 1,1 P N:,000 Średnia:,9 Mediana:,000 Min:,000 Max:,000 %:,000 %:,000 Wariancja:1,19 Od.std.: 1, Bł.std.: 0,1 Skośn.: -1,1 Kurt: 1,9 Dolny: 0,0 Górny:,0 Dolny:, Górny:,0 10 9 P 11 10 9 N:,000 Średnia: 9,000 Mediana: 9,000 Min:,000 Max: 10,00 %:,000 %: 10,00 Wariancja:0, Od.std.: 0,1 Bł.std.: 0,09 Skośn.: 0 Kurt: -1,00 Dolny: 0, Górny: 1,9 Dolny:, Górny: 9, Rys.. Statystyki podstawowe procesów P1 do P według ocen ekspertów 1- po weryfikacji. WNIOSKI Metoda delficka prognozowania zdarzeń powinna być stosowana w wyjątkowych przypadkach, głównie wtedy, gdy nie mamy możliwości uzyskania danych liczbowych lub lingwistycznych z innych źródeł. W metodzie tej uzyskujemy wynik uśredniony, eliminowane są zawsze opinie skrajne (istnieje możliwość, że właśnie opinia skrajna jest prawdziwa). Ze względu na uzyskiwanie wartości średnich (co jest założeniem metody) należy przeprowadzić analizę matematyczną. Pozostawienie wyników ankiet eksperckich bez stosownej analizy statystycznej nie jest rozwiązaniem prawidłowym. Zaproponowana metoda obliczeniowa umożliwia odpowiedzi na pytania: czy można mieć zaufanie do ekspertów i czy oceny ekspertów są zgodne. Pozwala na wyznaczenie podstawowych statystyk dla zmiennych, eliminując braki zgodności wśród ekspertów. Zastosowanie do obliczeń programu STATISTICA firmy Statsoft znacznie ułatwia zastosowanie proponowanej metody. LITERATURA [1] Cieślak M., Prognozowanie gospodarcze: metody i zastosowanie, Wydawnictwo Naukowe PWN, Warszawa 001.
PROGNOZOWANIE METODĄ DELFICKĄ METODA OCENY PRAWIDŁOWOŚCI PROGNOZ [] Kot S., Jakubowski J., Sokołowski A., Statystyka, Difin, Warszawa 00. [] Martyniak Z., Wstęp do inwentyki, Wydawnictwo Uczelniane, Kraków, s.. [] Podręcznik internetowy STATISTICA, http://www.statsoft.pl /textbook/sttimser. htm. [] Skorupka D., Risk Management in Building Projects, AACE International Transaction, (CSC.1.91 CSC.1.9 ), The Association for the Advancement of Cost Engineering, USA, Orlando 00. [] Skorupka D., Neural Networks in Risk Management of a Project, 00 AACE International Transaction, (CSC.1.1 CSC.1.), The Association for the Advancement of Cost Engineering, USA, Washington 00. [] Skorupka D., The method of identification and quantification of construction projects risk, [w:] Archives of Civil Engineering, LI,, Warszawa 00, s. -. [] Skorupka D., Hastak M., Identification and Analysis of Risk Indicators of an Increase in Construction Project Costs, [w:] Zeszyty Naukowe Politechniki Gdańskiej, 0, Budownictwo Lądowe, Nr 9, KILiW PAN, Krynica 00, s. - 0. [9] Stanisz A., Przystępny kurs statystyki z zastosowaniem STATISTICA PL na przykładach z medycyny, T 1. StatSoft Polska Sp. z o.o., Kraków 00. DELPHI METHOD FORECASTING METHOD OF EVALUATING FORECAST ACCURACY Summary The study analysed the possibility of verifying expert assessments in the Delphi method of forecasting events. The proposed method of calculation allows one to answer the following questions: Can you have confidence in experts and are experts assessments consistent? It makes it possible to determine the basic statistics for the variables, eliminating the deficiencies of concordance among experts. The article describes the basic assumptions of the Delphi method, its advantages and disadvantages. In section, the method of calculation is presented, using statistical tests of normality of distributions, equality of variance and significance of differences in groups. Key words: forecast, Delphi method, t-student test, equal variance, significance of differences in groups Artykuł recenzował: płk dr hab. inż. Dariusz SKORUPKA, prof. nadzw. WSOWL 19