ANALIZA HIERARCHICZNA PROBLEMU W SZACOWANIU RYZYKA PROJEKTU INFORMATYCZNEGO METODĄ PUNKTOWĄ. Joanna Bryndza

Podobne dokumenty
Metoda analizy hierarchii Saaty ego Ważnym problemem podejmowania decyzji optymalizowanej jest często występująca hierarchiczność zagadnień.

LOGISTYKA DYSTRYBUCJI II ćwiczenia 3 WYBÓR DOSTAWCY USŁUG WIELOKRYTERIALNE MODELE DECYZYJNE. AUTOR: dr inż. ROMAN DOMAŃSKI WYBÓR DOSTAWCY USŁUG

WIELOATRYBUTOWE PODEJMOWANIE DECYZJI: ANALYTIC HIERARCHY PROCESS

DOBÓR ŚRODKÓW TRANSPORTOWYCH DLA GOSPODARSTWA PRZY POMOCY PROGRAMU AGREGAT - 2

Analiza wyników sprawdzianu w województwie pomorskim latach

POWSZECHNE KRAJOWE ZASADY WYCENY (PKZW)

Technologia informacyjna

MoŜliwa do uzyskania liczba punktów w ocenie tego kryterium wynosi od 1 do 5. Punktujemy: 1) miejsce projektu: - obszary Natura 2000

Zarządzenie Nr 71/2010 Burmistrza Miasta Czeladź. z dnia 28 kwietnia 2010r.

Wymogi kryterium TAK NIE

Nowe narzędzia zarządzania jakością

PROJEKT OPISU MODUŁU KSZTAŁCENIA (SYLABUS)

Priorytetyzacja przypadków testowych za pomocą macierzy

Warszawa, dnia 22 lutego 2017 r. Poz. 320 ROZPORZĄDZENIE MINISTRA ROZWOJU I FINANSÓW 1) z dnia 15 lutego 2017 r.

WyŜsza Szkoła Zarządzania Ochroną Pracy MS EXCEL CZ.2

PLAN ZARZĄDZANIA WYMAGANIAMI PROJEKT <NAZWA PROJEKTU> WERSJA <NUMER WERSJI DOKUMENTU>

Małopolska Agencja Rozwoju Regionalnego S.A.

KOMPUTEROWE WSPOMAGANIE ZARZĄDZANIA PROJEKTAMI W PRZEDSIĘBIORSTWIE

Analiza wyników egzaminu gimnazjalnego w województwie pomorskim w latach

Ustawa z dnia 27 sierpnia 2009 roku Przepisy wprowadzające ustawę o finansach publicznych (Dz.U. Nr 157, poz. 1241)

pedagogicznego sprawowanego w roku szkolnym 2009/2010.

Warszawa, dnia 5 stycznia 2017 r. Poz. 26 ROZPORZĄDZENIE MINISTRA ROZWOJU I FINANSÓW 1) z dnia 27 grudnia 2016 r.

Paczki przelewów w ING BankOnLine

Ewaluacja w polityce społecznej

Wytyczne do oceny wniosków oraz realizacji zadań w ramach programów Ministra Kultury i Dziedzictwa Narodowego na rok 2012.

D. Miszczyńska, M.Miszczyński KBO UŁ 1 GRY KONFLIKTOWE GRY 2-OSOBOWE O SUMIE WYPŁAT ZERO

Procedura zarządzania ryzykiem w Państwowej WyŜszej Szkole Zawodowej w Elblągu

Członkowie: Tab. 1 Sekretarz:... Termin składania ofert godz

P r a w d o p o d o b i eństwo Lekcja 1 Temat: Lekcja organizacyjna. Program. Kontrakt.

Kondensator, pojemność elektryczna

Wykład 3. Opis struktury zbiorowości. 1. Parametry opisu rozkładu badanej cechy. 3. Średnia arytmetyczna. 4. Dominanta. 5. Kwantyle.

I. Ofertowanie sposób dokonywania zakupów towarów i usług zgodnie z procedurą uproszczoną;

MATEMATYKA I SEMESTR ALK (PwZ) 1. Sumy i sumy podwójne : Σ i ΣΣ

WPŁYW TECHNOLOGII INFORMACYJNYCH NA POZIOM KSZTAŁCENIA STUDENTÓW KIERUNKU INFORMATYKA

Fundacja na rzecz Nauki Polskiej. Konferencja: Koncepcja systemu ewaluacji polityki naukowej w Polsce Warszawa, 3 grudnia 2010 r.

Układy równań liniowych. Ax = b (1)

MINISTER INWESTYCJI I ROZWOJU 1)

RACHUNEK MACIERZOWY. METODY OBLICZENIOWE Budownictwo, studia I stopnia, semestr 6. Instytut L-5, Wydział Inżynierii Lądowej, Politechnika Krakowska

METODYCZNE PROBLEMY OCENY WI- TRYN BANKOWOŚCI ELEKTRONICZNEJ

Rozdział 3 ZADANIE TRANSPORTOWE I PROBLEM KOMIWOJAŻERA

INSTRUKCJA WYPEŁNIANIA KONKRETNYCH POZYCJI WNIOSKU

PODSTAWY AUTOMATYKI. MATLAB - komputerowe środowisko obliczeń naukowoinżynierskich - podstawowe operacje na liczbach i macierzach.

Techniki grupowania danych w środowisku Matlab

Analiza metod prognozowania kursów akcji

Diagramy obiegu dokumentów a UML w modelowaniu procesów biznesowych. Stanisław Niepostyn, Ilona Bluemke Instytut Informatyki, Politechnika Warszawska

Komputerowe systemy wspomagania decyzji Computerized systems for the decision making aiding. Poziom przedmiotu: II stopnia

Najprostsze modele sieci z rekurencją. sieci Hopfielda; sieci uczone regułą Hebba; sieć Hamminga;

KURS ACCESS 2003 Wiadomości wstępne

Polsko-Niemiecka Współpraca MłodzieŜy Podręcznik uŝytkownika Oprogramowania do opracowywania wniosków PNWM

Raport Coachowie Europa i Polska

INFORMATYCZNE SYSTEMY ZARZĄDZANIA

; B = Wykonaj poniższe obliczenia: Mnożenia, transpozycje etc wykonuję programem i przepisuję wyniki. Mam nadzieję, że umiesz mnożyć macierze...

MoŜliwa do uzyskania liczba punktów w ocenie tego kryterium wynosi od 1 do 5. Punktujemy: 1) miejsce projektu: 1

Metoda pojedynczego kąta Metoda kierunkowa

BANK NAJLEPSZY DLA ROLNIKA

Wykład 4. Informatyka Stosowana. Magdalena Alama-Bućko. 25 marca Magdalena Alama-Bućko Wykład 4 25 marca / 25

URZĄD MARSZAŁKOWSKI WOJEWÓDZTWA OPOLSKIEGO DEPARTAMENT POLITYKI REGIONALNEJ I PRZESTRZENNEJ Referat Ewaluacji

Zarządzenie nr 85/2011 BURMISTRZA WYSZKOWA z dnia 20 maja 2011r.

Opis kryteriów, którymi Zamawiający będzie się kierował przy wyborze oferty, wraz z podaniem znaczenia tych kryteriów i sposobu oceny ofert:

Józef Myrczek, Justyna Partyka Bank Spółdzielczy w Katowicach, Akademia Techniczno-Humanistyczna w Bielsku-Białej

Hierarchiczna analiza skupień

Kodowanie transformacyjne. Plan 1. Zasada 2. Rodzaje transformacji 3. Standard JPEG

OPISU MODUŁU KSZTAŁCENIA (SYLABUS)

Wyznaczanie symulacyjne granicy minimalnej w portfelu Markowitza

Bazy danych 1. Wykład 5 Metodologia projektowania baz danych. (projektowanie logiczne)

System KIKUM dla Biura Księgowości i Kontrasygnaty

Marek Masztalerz Katedra Rachunkowości Uniwersytet Ekonomiczny w Poznaniu METODY ROZLICZANIA KOSZTÓW DZIAŁALNOŚCI POMOCNICZNEJ. 1.

Tytuł rozprawy: Metoda analizy wielokryterialnej wyboru lokalizacji źródeł wytwórczych energii elektrycznej

Opracowanie narzędzi informatycznych dla przetwarzania danych stanowiących bazę wyjściową dla tworzenia map akustycznych

Wniosek o dofinansowanie realizacji projektu

ANALIZA DWUZMIENNOWA. czyli ABC KOREALCJI

PROGNOZOWANIE RENTOWNOŚCI PRODUKCJI WĘGLA KAMIENNEGO Z WYKORZYSTANIEM MODELU KOMPUTEROWEGO

Szczegóły Generatora Wniosków Aplikacyjnych w wersji 7.5. Na co powinni zwrócić uwagę autorzy projektów?

Cel i podstawa prowadzenia wyodrębnionej księgowości projektu w prawie unijnym i polskim

UKŁADY ALGEBRAICZNYCH RÓWNAŃ LINIOWYCH

Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego

Metoda wyznaczania składek na fundusz gwarancyjny kas

Analiza wielokryterialna wstęp do zagadnienia

Doświadczalnictwo leśne. Wydział Leśny SGGW Studia II stopnia

Bazy Danych 2008 Część 1 Egzamin Pisemny

Zakład Ubezpieczeń Społecznych Departament Zamówień Publicznych ul. Szamocka 3, 5, Warszawa tel: , faks:

LOGISTYKA ZAOPATRZENIA PRODUKCJI. Katedra Systemów Logistycznych

Nr sprawy: BDG-II PC/09 Warszawa dn. 29 października 2009 r.

POMIAR KĄTÓW POZIOMYCH. Pomiar kąta metodą pojedynczego kąta

Ćwiczenie nr 1: Systemy liczbowe

Metody wielokryterialne. Tadeusz Trzaskalik

DROGA DO SUKCESU ZARZĄDZANIA ZARZĄDZANIE JAKOŚCIĄ, WYBRANE ELEMENTY

PROGRAMOWANIE KWADRATOWE

Karta oceny merytorycznej wniosku o dofinansowanie projektu konkursowego PO KL 1

2.4.2 Zdefiniowanie procesów krok 2

Wykład 7 Macierze i wyznaczniki

Ekonometria. Modele regresji wielorakiej - dobór zmiennych, szacowanie. Paweł Cibis pawel@cibis.pl. 1 kwietnia 2007

Funkcje warstwy sieciowej. Podstawy wyznaczania tras. Dostarczenie pakietu od nadawcy od odbiorcy (RIP, IGRP, OSPF, EGP, BGP)

Ogólne wymagania dotyczące monitorowania wskaźników w projekcie

KOMUNIKACJI AGENTA/GESTORÓW KONTENERÓW Z SYSTEMEM KOMPUTEROWYM GCT.

Procesy aktywne. PoŜyczki Kredyty Pozostałe procesy aktywne

DLA OPERATORÓW SYSTEMÓW DYSTRYBUCYJNYCH NA LATA

INWENTARYZACJA W PROGRAMIE INTEGRA

Testy nieparametryczne

Statystyka. Wykład 7. Magdalena Alama-Bućko. 16 kwietnia Magdalena Alama-Bućko Statystyka 16 kwietnia / 35

Transkrypt:

ANALIZA HIERARCHICZNA PROBLEMU W SZACOWANIU RYZYKA PROJEKTU INFORMATYCZNEGO METODĄ PUNKTOWĄ Joanna Bryndza Wprowadzenie Jednym z kluczowych problemów w szacowaniu poziomu ryzyka przedsięwzięcia informatycznego za pomocą metody punktowej jest określenie wpływu poszczególnych czynników ryzyka na jego łączny poziom. Znaczenie poszczególnych obszarów, w których mogą wystąpić zagroŝenia moŝe być istotnie róŝne w zaleŝności od przedsięwzięcia, dlatego teŝ operacja przydzielania przez ekspertów wag obszarom powinna mieć miejsce w poszczególnych typach projektów. Określenie wag przez eksperta, bądź ekspertów moŝe się odbywać z wykorzystaniem zaproponowanej przez Saaty ego metody analizy hierarchicznej problemu. W artykule przedstawiono moŝliwość przeprowadzenia badań ankietowych wśród kilku ekspertów i wykorzystanie wyników do ustalenia wpływu poszczególnych czynników na łączny poziom ryzyka dla projektu. Zastosowanie metody AHP w procesie szacowania ryzyka projektu Metoda AHP umoŝliwia określenie wag elementów wpływających na cel, w tym przypadku wpływu poszczególnych obszarów ryzyka na jego

łączny poziom dla całego projektu informatycznego. Na wstępie decydent albo decydenci określają, jakie obszary mają wpływ na poziom ryzyka i dla wszystkich wyodrębnionych obszarów ustalają hierarchię kryteriów szczegółowych.. KaŜdy poziom hierarchii jest analizowany odrębnie w ramach wydzielonych grup. Wyniki porównań są zapisywane w postaci macierzy. Zasada określona przez twórcę metody AHP Saaty ego mówi, iŝ charakterystyki są porównywane parami, przy czym eksperci przedstawiają wyniki porównań w skali od 1 do 9[Rogo98]. Wyznaczone przez ekspertów oceny są zapisywane w macierzy: Zachodzi tutaj równanie: Tabela 1 Macierz porównań w metodzie AHP a 1 a 2 a 3 a 1 a 11 a 12 a 13 a 2 a 21 a 22 a 23 a 3 a 31 a 32 a 33 a = 1, dla i= j. ij Oznacza to, Ŝe elementy po przekątnej macierzy są jedynkami (ocena charakterystyk względem nich samych wynosi 1), a macierz jest odwrotnie symetryczna, tzn. jeśli ocena charakterystyki a 1 względem a 2 wynosi 3, to ocena a 2 względem a 1 będzie wynosić 1/3, czyli a ij 1 =. a ji W uproszczonej postaci metody AHP po ustaleniu macierzy priorytetów dokonuje się normalizacji wyników w kolumnach, następnie te

znormalizowane wartości są sumowane po wierszach. Kolejnym krokiem jest wyliczenie średniej w wierszu jest ona wagą kryterium. Normalizacji dokonuje się na podstawie wzoru: gdzie: b ij = a ij a j Wagi poszczególnych charakterystyk są obliczane na podstawie wzoru: b ij wartość znormalizowana oceny a ij ; a j suma ocen w kolumnie j. gdzie waga b i suma ocen w wierszu i; i bij =. n n ilość ocen w wierszu i.. DuŜą zaletą metody AHP, wobec arbitralności porównań charakterystyk, jest moŝliwość weryfikacji wiarygodności ekspertów, poprzez badanie niespójności. Saaty zaproponował następujący sposób mierzenia niespójności [DaKr00]: gdzie: ICI = ( λmax n) ( n 1)

λ max największa wartość własna macierzy priorytetów; n liczba charakterystyk. Wartość ICI przekraczająca 0,10 mówi - według Saaty ego o zbyt małej spójności macierzy priorytetów, którą naleŝy odrzucić, a proces ustalania wag charakterystyk rozpocząć na nowo [DaKr00]. Taka metoda moŝe być stosowana do wyznaczenia wag kryteriów takiego zadania decyzyjnego, jakim jest ocena ryzyka projektu informatycznego. Ocena ryzyka dokonywana jest na podstawie określonej przez decydentów hierarchii, wagi wyodrębnionych kryteriów moŝna wyliczyć z wykorzystaniem metody AHP. W procedurze wyznaczania wag charakterystyk we wspomnianej metodzie moŝna wyróŝnić następujące etapy [BrDu04]: Budowa mapy kryteriów, mającej wpływ na ocenę syntetyczną ryzyka projektu informatycznego. Tworzenie tabel słuŝących do porównywania kryteriów i podkryteriów. Przeprowadzenie przez eksperta oceny poszczególnych kryteriów względem wyznaczonego celu. Normalizacja elementów w kolumnach tabeli. Obliczanie średnich arytmetycznych dla wierszy w tabeli (otrzymanie wag kryteriów). Utworzenie tablicy zawierającej oceny eksperta. Według ustalonej hierarchii (przykład rysunek 1.) eksperci oceniają kryteria parami przyjmując następujące oznaczenia [DaKr00]:

1 - jednakowo waŝne, 3 - słabe znaczenie jednego działania względem innych, 5 - zasadnicze lub silne znaczenie, 7 - bardzo silne lub narzucające się znaczenie, 9 - absolutne znaczenie, 2,4,6,8 - wartości pośrednie 1. Poziom 0 Poziom 1 Ocena ryzyka projektu informatycznego Grupa kryteriów A Personel Grupa kryteriów B Klient Poziom 2 Absencja Wypowiedzenia Zrozumienie wymagań Dotychczasowe problemy Rysunek 1. Mapa kryteriów i podkryteriów oceny ryzyka projektu informatycznego Przy porównaniu ustala się waŝność kryterium z wiersza w stosunku do kryterium z kolumny. Procedurę tę przeprowadza się dla kaŝdego poziomu (oprócz poziomu 0) (tab. 2. oraz tab. 3.). Dla przykładowej hierar- 1 W tym przypadku wartości pośrednie są następujące: 2 oznacza wartość pośrednią między 1 a 3, 4 między 3 a 5, 6 między 5 a 7 oraz 8 między 7 a 9.

chii, która została przedstawiona na rysunku 1. powstają trzy tabele, w których są zapisane oceny ekspertów: porównanie waŝności kryteriów z poziomu 1.: Personel i Klient (tabela 2.); porównanie waŝności kryteriów z poziomu 2. grupa Personel, tzn.: Wypowiedzenia i Absencja (tabela 3.); porównanie waŝności kryteriów z poziomu 2. grupa Klient, tzn. Zrozumienie wymagań i Dotychczasowe problemy. Tabela 2. Oceny kryteriów z poziomu 1 Personel Klient Personel 1 3 Klient 1/3 1 Tabela 3. Oceny kryteriów z poziomu 2 Personel Absencja Wypowiedzenia Absencja 1 4 Wypowiedzenia 1/4 1 Przechodzimy kolejno do normalizowania wszystkich kolumn w utworzonych tabelach - tutaj na przykładzie tabeli ocen kryteriów z poziomu 1.(tabela 4.). Tabela 4. Wartości znormalizowane dla poziomu 1 Personel Klient Personel 0,75 0,75

Klient 0,25 0,25 Następnie na podstawie tabeli wartości znormalizowanych wyliczamy średnie w wierszach i otrzymujemy wagi kryteriów (tabela 5.). Tabela 5. Wagi grup kryteriów dla poziomu 1 Kryterium Waga Personel 0,75 Klient 0,25 Po określeniu wag kryteriów oceny z poziomu 1 i 2 otrzymujemy tablicę zbudowaną na podstawie ocen jednego eksperta (tabela 6.). Tabela 6. Wagi wskaźników z grup A i B Grupa Waga grupy Wskaźnik Waga Waga* Personel 0,75 Wypowiedzenia 0,8 0,6 Absencja 0,2 0,15 Zrozumienie Klient 0,25 problemy 0,25 0,0625 wymagań Dotychczasowe 0,75 0,1875 SUMA 2 1 Waga* - wagi wskaźników po uwzględnieniu waŝności grupy Metoda AHP bazuje na pojedynczych ocenach, dokonanych przez jednego decydenta, ewentualnie ich grupę na zasadzie tzw. burzy mózgów. W niniejszej pracy zaproponowano moŝliwość przeprowadzenia ankiety

wśród kilku ekspertów i wykorzystania ich ocen do wyznaczenia wagi kryteriów. Proponowana procedura obliczania wagi na podstawie wielu ankiet jest opisana w kolejnym punkcie. W przypadku, kiedy dane zdarzenie wymaga przeprowadzenia analizy i oceny przez przynajmniej dwóch ekspertów, moŝna sporządzić syntetyczne zestawienie wyników uzyskanych metodą AHP według opisanej procedury przez kaŝdego eksperta. W takim zestawieniu przedstawione są wagi wszystkich kryteriów oceny ryzyka projektu informatycznego, które zostały ujęte w hierarchii. Takie zestawienie moŝe być podstawą do określenia, czy wagi poszczególnych kryteriów są podobne u róŝnych ekspertów. Odpowiedź twierdząca oznacza, Ŝe podobnie określają oni wpływ danego kryterium na ocenę końcową. Ocena wag kryteriów z uwzględnieniem odpowiedzi kilku ekspertów Na podstawie ankiety moŝna wyliczyć wiarygodność wszystkich ekspertów według wskazanego powyŝej wzoru. Wskaźniki niespójności ekspertów mogą posłuŝyć jako podstawa obliczenia waŝności poszczególnych ekspertów dla kaŝdego obszaru porównań z osobna. Do nadania ekspertom wag zaproponowano równieŝ zastosowanie metody Saaty ego, przy czym została ona odpowiednio zmodyfikowana. Na podstawie wyliczonych współczynników wiarygodności porównano, wg podanej w tabeli 7. skali, poszczególnych ekspertów.

Tabela 7. Skala porównania wiarygodności ekspertów Punkty Opis 1 jednakowa wiarygodność (róŝnica: r<0,02) 2 0,02<=r<0,03 3 słabe znaczenie względem innych (0,03<=r<0,04) 4 0,04<=r<0,05 5 zasadnicze lub silne znaczenie (0,05<=r<0,06 ) 6 0,06<=r<0,07 7 bardzo silne lub narzucające się znaczenie (0,07<=r<0,08) 8 0,08<=r<0,09 9 absolutne znaczenie (róŝnica r>=0,09) Dla kaŝdej z tabel porównawczych moŝna wyprowadzić tabelę taką jak przedstawiona dla kryteriów głównych tabela 8. Tabela 8. Porównanie wiarygodności ekspertów: kryteria główne Eksperci 1 3 4 1 1 1/9 2 3 9 1 9 4 1/2 1/9 1 Eksperci, dla których uzyskano zbyt wysokie współczynniki niespójności powinni zostać wyeliminowani z ocen w tabeli. Dla wszystkich tabel porównań przeprowadza się analizę, w wyniku której ustala się wagi kaŝdego z ekspertów (tabela 9.). Niespójność tabel porównań wiarygodności ekspertów nie powinna przekraczać 0,1. Wagi ekspertów dla kaŝdego z kryteriów, zgodnie z załoŝeniem metody Saaty ego sumują się do 1.

Tabela 9. Wagi ekspertów Grupa kryteriów Eksperci 1 2 3 4 Kryteria główne 0,1175 0 0,8086 0,0739 Grupa A 0,2 0,25 0,25 0,3 Grupa B 0,25 0 0,4 0,35 Eksperci, którzy ze względu na zbyt wysoki poziom niespójności zostali odrzuceni z analizy otrzymali wagi równe 0. Na podstawie obliczonych wag ekspertów wylicza się wagi poszczególnych kryteriów. Zaproponowano tutaj wzór: W i = w w + w w +... + w i1 e1 i2 e2 ij w ej gdzie: W i w ij w ej waga łączna i-tego kryterium; waga i-tego kryterium nadana przez j-tego eksperta; waga j-tego eksperta. Taką metodę wyliczenia wag stosuje się dla kaŝdej z otrzymanych na podstawie ankiety tabel porównań. W ten sposób dla kaŝdego z czynników oceny otrzymujemy średnią waŝoną wagi, określającej jego wpływ na łączny poziom ryzyka w projekcie informatycznym. Dodatkową zaletą takiego wykorzystania ocen ekspertów jest moŝliwość odrzucenia niewiarygodnych zestawów porównań.

Zakończenie Metoda AHP moŝe być zastosowana w przypadku tworzenia systemu oceny ryzyka projektu informatycznego. UmoŜliwia ona w przypadku budowy tablicy punktowej wiarygodne określenie wpływu poszczególnych kryteriów na poziom ryzyka. Budowa tablicy oceny, w sytuacji braku danych historycznych, wymaga uwzględnienia doświadczenia ekspertów. Metoda AHP ułatwia wykorzystanie takiego doświadczenia poprzez określone procedury obliczania wag charakterystyk, dodatkowo daje moŝliwość weryfikacji odpowiedzi. Analiza jednocześnie waŝności tylko dwóch charakterystyk w połączeniu z kontrolowaniem odpowiedzi ekspertów za pomocą współczynnika niespójności sprawia, Ŝe ta metoda wyznaczania wag kryteriów jest bardzo wiarygodna. Jeśli analizujemy odpowiedzi kilku ekspertów, przy jednoczesnej kontroli ich wiarygodności, zyskujemy pewność, Ŝe uwzględnimy kilka punktów widzenia, jednocześnie spada ryzyko niewłaściwego uwzględnienia wpływu poszczególnych czynników na łączne ryzyko projektu informatycznego. Literatura [Rogo98] [DaKr00] Rogowski G.: Metody analizy i oceny banku na potrzeby zarządzania strategicznego, Wydawnictwo WyŜszej Szkoły Bankowej, Poznań 1998. Dahlgaard J., Kristesen K., Kanji G.: Podstawy zarządzania jakością, PWN, Warszawa 2000.

[BrDu04] Bryndza J., Dudycz H.: Zastosowanie macierzy graficznej w metodzie analizy hierarchicznej problemu, PN AE nr 1051, Wrocław 2004. Informacje o autorce Dr Joanna Bryndza Katedra Teorii Informatyki Akademia Ekonomiczna ul. Komandorska 118/120 53-345 Wrocław Polska Numer telefonu +48/71/3680391 e-mail: joanna.bryndza@ae.wroc.pl