POLSKIE STOWARZYSZENIE ZARZ DZANIA WIEDZ Seria: Studia i Materiały, nr, 008 RYSZARD BUDZI SKI, MONIKA STOLARSKA Politechnika Szczeci ska ASPEKTY METODYCZNE OCENY WITRYN INTERNETOWYCH Streszczenie Celem niniejszego artykułu jest ocena jako ci u ytkowej serwisów internetowych na przykładzie bran y komputerowej. Metodyczny wkład autorski stanowi próba opracowania konwertera z metody punktowej do hierarchicznej analizy problemu (AHP). Na pocz tku przedstawiono podstawowe zało enia przyj tej metodyki, nast pnie zaproponowano własne rozwi zanie problemu. Cało ko cz wnioski dotycz ce proponowanej metodologii i przeprowadzonych bada. Słowa kluczowe: metoda punktowa, metoda AHP, ocena jako ci oprogramowania, ocena witryn internetowych. Wprowadzenie Internetowe sklepy stanowi obecnie dla wielu firm szans na dotarcie do du ej grupy klientów oraz doskonałe uzupełnienie tradycyjnej sprzeda y. Transakcje dokonywane za po rednictwem Internetu ciesz si ogromnym zainteresowaniem klientów z uwagi na ni szy koszt produktów, zró nicowan ofert oraz cz sto bezpłatn dostaw towaru. Problem, który podj to w artykule stanowi prób oceny jako ci u ytkowej serwisów internetowych z uwzgl dnieniem indywidualnych preferencji docelowej grupy odbiorców. Jest on tak e przedmiotem docieka w szeregu opracowa naukowych. Mo na tu przytoczy prace K. Króla i P. Goli [,], E. Dobrogowskiej Schlebusch [], J. Ba skiego [] czy publikacj W. Chmielarza. [] W rozwa aniach autora podj to prób adaptacji metody punktowej do zadanej w pracy klasy problematyki. Konkluzje badawcze wskazuj na mo liwo ci ewolucji proponowanego rozwi zania adaptacji aparatu metody AHP do budowy konwertera uzyskanych metod punktow wyników. Tak zadany problem metodyczny stanowi przedmiot niniejszego opracowania.. Metody oceny jako ci u ytkowej oprogramowania W literaturze wyst puje wiele modeli jako ci systemu informatycznego. Według A. Kobyli skiego ich budowa oparta jest o zbiór atrybutów jako ci. Ka demu z atrybutów przyporz dkowuje si atrybuty szczegółowe, a tym kolejno miary. Model taki mo e by wykorzystywany w zale no- ci od potrzeb do identyfikacji wymaga oprogramowania lub kryteriów zapewniania jako ci. Z uwagi na fakt wykształcenia si ró nych modeli jako ci produktów programowych zaistniała konieczno ich ustandaryzowania i opracowania norm. International Organisation for Standarisation (ISO) i International Electrotechnical Commission (IEC) okre liły charakterystyki i podcharakterystyki jako ci. [] Ocena pakietów programowych, a w tym witryn internetowych, wymaga doboru zestawu kryteriów w pełni charakteryzuj cych najwa niejsze ich aspekty. Ustalenie ostatecznego zbioru kryte-
Ryszard Budzi ski, Monika Stolarska Aspekty metodyczne oceny witryn internetowych riów odbywa si w oparciu o wiedz i do wiadczenie decydentów, co ma zapewni trafno oraz wiarygodno analiz i decyzji. Pomiar warto ci kryteriów stanowi wa ny element budowy modelu oceny. Kryteria poddawane s analizie zgodno ci, mierzone pod wzgl dem wa no ci według okre- lonej skali, nast pnie normowane i porównywane. Okre lenie rodzaju stosowanej skali umo liwia jednoznaczn klasyfikacj kryteriów. [7] Modele oceny jako ci oprogramowania charakteryzuj si okre lonymi cechami: hierarchiczn struktur i ocen na ró nych poziomach abstrakcji, mieszanin ró nych typów miar i preferencji (wymagaj cych odpowiednich procedur agregacji). Mog dotyczy cz ci oprogramowania albo cało ci, ró nych wymiarów i mog by wykonywane dla ró nych celów. Z ocen jako ci zwi zane s równie zagadnienia ró nicy mi dzy miar i ocen oraz braki agregacji. Definicja miar, kryteria i procedura agregacji nie mog zosta okre lone dowolnie - musz by zgodne z ogólnymi regułami, które zwykle okre lone s za pomoc mi dzynarodowych norm (ISO 9 i IEEE 0). Wg norm ISO jako to komplet cech przedstawionych graficznie za pomoc struktury drzewiastej, w którym ka da cecha ma wag. W rzeczywisto ci zastosowanie norm jest trudne, a skutki nie s zadowalaj ce. Normy zwykle zaniedbuj problem zaadaptowania odpowiedniej procedury agregacji. U ycie metodologii wielokryterialnego wspomagania decyzji pozwala rozwi za ten problem. Analizuj c dost pne metody oceny pakietów programowych za A. Gospodarowiczem (997) mo na wyró ni : - metody jednowymiarowe (rachunek porównawczy kosztów, kalkulacja rentowno ci, rachunek amortyzacji), - metody wielowymiarowe. Metody wielowymiarowe nale do klasy metod wska nikowych o charakterze syntetyzuj cym. Wyniki otrzymywane s w drodze stopniowej agregacji zbiorów pojedynczych wska ników a do momentu uzyskania warto ci zbiorczej stanowi cej syntetyczn ocen badanego obiektu. Agregacja dokonywana jest z u yciem danych empirycznych i metod matematycznych (w tym statystycznych i ekonometrycznych), za warto ko cowa (zbiorcza ocena syntetyczna) wyznaczana jest jako liniowa kombinacja pojedynczych warto ci: Y = ω X + ω X +... + ω X +... + ωn X n gdzie: Y - ocena syntetyczna, X i - warto poszczególnego wska nika, w i - wagi przypisane poszczególnym wska nikom. A. Gospodarowicz (997) podkre la, e w zale no ci od sposobu wyboru poszczególnych wska ników i przypisanych im wag wyró nia si dwa rodzaje syntetycznych systemów wska nikowych: - niezwi zane z metod (wybór najbardziej odpowiednich dla danej sytuacji wska ników oraz ich wag odbywa si według subiektywnej wiedzy i preferencji badacza lub analityka), - zwi zane z metod (systemy projektuje si przy u yciu metod statystyczno-matematycznych i ekonometrycznych). Problem oceny i doboru składników infrastruktury informatycznej przedsi biorstwa w metodach macierzowych przedstawiany jest w formie macierzy, której wiersze i kolumny stanowi kolejno zbiór obiektów podlegaj cych ocenie oraz ich warto ci ze wzgl du na wszystkie rozpatrywane kryteria. (Tabela ).
POLSKIE STOWARZYSZENIE ZARZ DZANIA WIEDZ Seria: Studia i Materiały, nr, 008 7 Tabela. Przedstawienie problemu w metodach macierzowych K i O O... O n K O O... O n K O O... O n............... K m O m O m... O mn ródło: opracowanie własne. gdzie: K i - kryteria oceny (i=,,...,n), O j - systemy informatyczne (j=,,...,m), P ij - ocena przyporz dkowana j-temu produktowi ze wzgl du na i-te kryterium. Ocena ł czna wyznaczana jest przez maksymalizacj sumy warto ci kryteriów obiektu: p ij = max i b d przez wyznaczenie minimalnego odchylenia od warto ci po danej: prj pij = min i gdzie: p rj - warto stanu po danego. Wprowadzenie poj cia wzgl dnej wa no ci kryteriów powoduje, e: p ij = w j n ij gdzie: p ij - pojedyncza ocena produktu bior c pod uwag j-te kryterium, w j - waga okre- laj ca znaczenie j-tego kryterium, n ij - liczba punktów przydzielonych dla i-tego produktu bior c pod uwag j-te kryterium.. Metoda hierarchicznej analizy problemu (AHP) Metodologia wielokryterialnego wspomagania decyzji ma wiele zalet, takich jak: mo liwo obsługi niejednorodnych informacji w procesie agregacji czy uprawomocnienie jako ciowego modelu na drodze porz dkowej agregacji. [8] AHP to narz dzie, które słu y wspomaganiu decyzji, umo liwia poł czenie jako ciowych oraz ilo ciowych kryteriów w procesie decyzyjnym. Pozwala na hierarchiczne przedstawienie modelu, a dzi ki temu mo liwe jest wyra ne zaznaczenie w procesie decydowania relacji pomi dzy celem, kryteriami wyboru i alternatywami. Hierarchia słu y tworzeniu struktury pierwsze stwa zwi zanego z okre lonym problemem decyzji. Hierarchiczna analiza problemu bazuje na trzech komponentach: problemie strukturalizacji (a w szczególno ci spójnej rodziny kryteriów zawieraj cej wła ciw hierarchi zawierania), ustaleniu relatywnej wa no ci kryteriów oraz syntezie. [9]
8 Ryszard Budzi ski, Monika Stolarska Aspekty metodyczne oceny witryn internetowych KROK Budowa modelu rozło enie problemu decyzyjnego na elementy i okre lenie hierarchii kryteriów, które ułatwi ich rozwi zanie KROK Porównania porównania parami kryteriów oraz wariantów decyzyjnych, a nast pnie wystawienie oceny przy wykorzystaniu skali dominacji KROK Okre lenie preferencji, priorytetów Okre lenie preferencji, priorytetów w odniesieniu do kryteriów i wariantów decyzyjnych. W tym celu wykonuje si przez obliczenia za pomoc oprogramowania AHP (Expert Choice) lub arkusza kalkulacyjnego (Excel) KROK Klasyfikacja klasyfikacja wariantów decyzyjnych ze wzgl du na udział w realizacji celu Rys.. Realizacja metody AHP kroki ródło: opracowanie własne na podstawie: Downarowicz O., Krause J., Sikorski M., Stachowski W. Zastosowanie metody AHP do oceny i sterowania poziomem bezpiecze stwa zło onego obiektu technicznego Podstawowa procedura AHP składa si z porównania par czynników w komplecie wzajemnych macierzy kontrolowanych współczynnikiem niespójno ci. Warto ci w macierzy uło one s w taki sposób, aby jednoznacznie wskazywa, który element dominuje ze wzgl du na dane kryterium nad innym. [0] Saaty u ywa 9-stopniowej skali wa no ci kryteriów. Nadanie kryteriom stopni wa no ci umo liwia ich porównanie. Decydent subiektywnie ocenia dane kryteria za pomoc skali. Ocena kryteriów ma przede wszystkim charakter jako ciowy. Dane stanowi ce oceny cz stkowe poddaje si nast pnie agregacji zgodnie z hierarchiczn reprezentacj problemu. Wska niki syntetyczne stanowi warto ci funkcji u yteczno ci kolejnych wariantów decyzyjnych i wyznaczane s przy u yciu formy addytywnej: U ( Ai) = n j = wij * eij gdzie: U(Ai) oznacza warto ci funkcji u yteczno ci i-tego wariantu decyzyjnego, ei - warto i-tej alternatywy ze wzgl du na j-ty atrybut (kryterium), wj - waga j-tego kryterium. A. Gospodarowicz wskazuje, e wyniki liczbowe metody Saaty ego zale w głównej mierze od niesprzeczno ci macierzy porówna wa no ci kryteriów oraz ocen realizacji poszczególnych kryteriów przez porównywane produkty. Wynika to z faktu, i decydent poddaje kryteria subiektywnej ocenie. Okre la on liczbowo stopie istotno ci danego kryterium wzgl dem innego jedn z 9-ciu dost pnych ocen. Oceny te mog by rozbie ne i mo e to prowadzi do konieczno ci ponownego zdefiniowania problemu oraz zmiany kryteriów oceny. W sytuacji gdy wska nik CR przekroczy warto uznan za potwierdzenie zgodno ci, wiarygodno decydenta poddana jest
POLSKIE STOWARZYSZENIE ZARZ DZANIA WIEDZ Seria: Studia i Materiały, nr, 008 9 w w tpliwo. []. Rozwi zanie własne - autokonwersja z metody punktowej do AHP W niniejszym opracowaniu podj to prób opracowania metodycznych mechanizmów konwersji not uzyskanych metod punktow do postaci zgodnej z metod AHP. Realizacja tego zadania wymaga w kolejno ci przeprowadzenia nast puj cych etapów (rys. ) Strukturalizacja problemu Pozyskanie ocen witryn internetowych metoda punktowa Autokonwersja ocen do postaci znormalizowanych wektorów preferencji lokalnych Pozyskanie preferencji lokalnych i konstrukcja bazowej postaci wektora wag Agregacja i budowa rankingu u yteczno ci Badania modelowe odporno ci rankingu na zmiany w wektorze priorytetów ródło: opracowanie własne Rys.. Etapy autokonwersji z metody punktowej do AHP W pierwszym etapie nale y okre li posta spójnej rodziny kryteriów oceny witryn internetowych jak równie zbiór ocenianych witryn. Nast pstwem strukturalizacji problemu jest tabela (patrz przykład - Tabela ), która w intuicyjny i prosty sposób mo e zosta uzupełniona notami ekspertów (u ytkowników serwisów). Tak zdefiniowany zbiór ocen cz stkowych stanowi podstaw do dalszej agregacji ocen. Zało ono, e w tym celu, w sposób zautomatyzowany, przebiega b dzie konwersja wyników do metody AHP. W pierwszym etapie odbywa si pozyskanie warto ci wzgl dnych wa no ci kryteriów oceny od decydenta. Na jej podstawie za odbywa si dalsza agregacja ocen i wyznaczenie ko cowych warto ci funkcji u yteczno ci witryn internetowych. W ostatnim etapie proponowanej procedury odbywa si analiza odporno ci tak wyznaczonego rankingu rozwi za na zmiany w wektorze preferencji globalnych.
0 Ryszard Budzi ski, Monika Stolarska Aspekty metodyczne oceny witryn internetowych Poni ej przedstawiono weryfikacj empiryczn proponowanej procedury badawczej. Tabela stanowi punkt wyj cia do budowy mechanizmu przej cia do zastosowania metodyki AHP w zakresie oceny jako ci u ytkowej witryn sklepów komputerowych. Do oceny witryn przyj to kryteriów: wizualizacja strony głównej, oferta asortymentowa, obsługa procesu usługowego, asortyment, ceny produktów, poprawno technologiczna. Tabela. Punktowe zasady oceny kryteriów do oceny serwisów internetowych Jako grafiki Wizualizacja strony Oferta asortymentowa Poprawno technologiczna strony Przejrzysto menu Narz dzia marketingu Ilo informacji o produkcie Jako zdj produktów Przejrzysto listy Obsługa procesu usługowego Asortyment ilo produktów Ceny produktów ( rednia) Poprawny html Poprawny css Pozycja w wynikach google Komputronik.pl 0,7 0, 0,7 0, 0,7 0, 0,7 It.pl 0,7 0, 0,7 0, 0,7 0 0 0, Klik.pl 0,7 0,7 0, 0, 0, 0, 0, Sklepkomputerowy.pl 0, 0,7 0,7 0, 0, 0, 0, 0,7 Market.pl 0,7 0, 0, 0, 0, 0, 0,7 0,7 0,7 ródło: opracowanie własne na podst. A. Szewczyk, E. Krok (red). Fenomen Internetu tom II, hogben, Szczecin 008, s.- gdzie: 0 brak cechy, 0, niski poziom cechy, 0, redni poziom cechy, 0,7 wysoki poziom cechy, bardzo wysoki poziom cechy. Zgodnie z zało eniami metody AHP porównanie parami witryn komputerowych wymaga okre lenia w jakim stopniu dana witryna dominuje nad inn. Tabela. Macierz wa no ci kryteriów K K K K K K K,00 0,0 0,,00 0,,00 K,00,00,00,00,00,00 K,00,00,00,00,00,00 K,00,00,00,00,00,00 K,00,00,00,00,00,00 K 0, 0,,00 0,0 0,,00 SUMA,,,,0,7,00 ródło: opracowanie własne
POLSKIE STOWARZYSZENIE ZARZ DZANIA WIEDZ Seria: Studia i Materiały, nr, 008 Tabela. Wagi kryteriów K K K K K K WAGA K 0,08 0,0 0,0 0,9 0,07 0,9 0,0 K 0,8 0, 0,9 0,9 0, 0,9 0,9 K 0, 0, 0,9 0,9 0, 0,0 0,87 K 0,08 0, 0,9 0,9 0, 0, K 0, 0, 0,9 0,9 0, 0,9 0,0 K 0,0 0,07 0,9 0,0 0,07 0,0 0,07 ródło: opracowanie własne Wska nik zgodno ci dla powy ej zamieszczonej macierzy wynosi 0,0987 i jest mniejszy od warto ci granicznej (0,). Oznacza to, e zachowana została spójno ocen. Tabela. Warto ci wektorów preferencji lokalnych i globalnych oraz funkcji u yteczno ci dla rankingu witryn internetowych K K K K K K F.u. WAGA 0,0 0,9 0,87 0,0 0,07 komputronik.pl 0,8 0,9 0, 0,7 0,0 0,9 0,9 It.pl 0, 0,7 0,09 0,97 0, 0,0 0,08 Klik.pl 0,089 0,78 0,07 0,97 0,0 0,8 0,88 sklepkomputerowy.pl 0,9 0, 0,809 0,000 0,09 0,779 0, emarket.pl 9 0,9 0,0709 0,0788 0,97 0,908 ródło: opracowanie własne 0,0 0,0 0,0 0,0 komputronik.pl It.pl Klik.pl sklepkomputerowy.pl ródło: opracowanie własne. Wykres. Rozkład u yteczno ci cz stkowej Najwy sz warto funkcji u yteczno ci uzyskała witryna komputronik.pl, najni sz sklepkomputerowy.pl.
Ryszard Budzi ski, Monika Stolarska Aspekty metodyczne oceny witryn internetowych. Badania eksperymentalne zmiany u yteczno ci cz stkowej kryteriów globalnych Zgodnie z przyj t procedur badawcz w kolejnym etapie bada zanalizowano wpływ zmiany warto ci wektorów priorytetów dla podkryteriów II-go poziomu na posta ko cow wynikowego rankingu witryn internetowych. Pierwszy etap modelowania obejmowa b dzie zmiany warto ci u yteczno ci cz stkowej kryteriów lokalnych i ich wpływ na pierwotnie otrzymany ranking systemów. Dla ka dego z kryteriów globalnych (K, K, K ) obserwowane b d zmiany w przypadku, gdy jedno z podkryteriów drugiego poziomu b dzie silnie dominowa pozostałe. Wyniki przedstawione zostan w formie wykresów zawartych w tabeli. Tabela. Etapy modelowania systemów ekonomicznych zmiany warto ci u yteczno ci cz stkowej w zale no ci od zmian wektora priorytetów dla podkryteriów drugiego poziomu Podkryterium Podkryterium Podkryterium K 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 K 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 K 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0
POLSKIE STOWARZYSZENIE ZARZ DZANIA WIEDZ Seria: Studia i Materiały, nr, 008 Jak mo na zauwa y w powy szej tabeli zmiany warto ci u yteczno ci cz stkowej w drugim etapie modelowania nie spowodowały rewizji postaci ko cowych rankingów witryn internetowych. Wskazuje to, e s odporne na zmiany wa no ci kryteriów wskazanych przez decydenta. Tabela 7. Rankingi funkcji u yteczno ci witryn internetowych przy zmianie wag F.u.() F.u.() F.u.() F.u.() F.u.() F.u.() F.u.(7) F.u.(8) F.u.(9) Komputronik.pl 0,8 0,88 0,9 0,80 0, 0,70 It.pl 0,87 0,9 0,998 0, Klik.pl 0,798 0,87 0,97 0,8 0,99 0,0 Sklepkomputerowy.pl 0,0 0,7 0,07 0,8 0,79 0, Market.pl 0,0 0,98 0,97 0,88 0,0 0, ródło: opracowanie własne 0, 7 0,0 8 0,98 0, 8 0,99 0,97 0,7 0,0 0,08 0,87 0,98 0,87 0,8 0,99. Uwagi ko cowe Ocena witryn internetowych bran y komputerowej przy wykorzystaniu metody AHP daje czyteln dla informacj dla decydenta w jakim stopniu spełniaj okre lone przez niego kryteria. Przedstawione w niniejszym artykule metodyczne podstawy konwersji z metody punktowej do AHP umo liwiły porównanie wyników uzyskanych w obu metodach. Zmiany u yteczno ci cz stkowej nie wpłyn ły w znacz cy sposób na wyniki, jakie osi gn ły podczas porównywania parami strony WWW. Zastosowanie metody AHP do oceny witryn dało zbli one wyniki do metody punktowej. W obu wypadkach najlepsze wyniki uzyskała witryna komputronik.pl. W metodzie punktowej najmniej punktów uzyskał It.pl, w metodzie AHP najni sz warto funkcji u yteczno ci uzyskał sklepkomputerowy.pl, co pozwala wysnu wniosek o jedynie cz ciowej porównywalno ci obu metod. W konkluzjach badawczych warto zaznaczy, e proponowana procedura posiada wysokie walory utylitarne. Prosty mechanizm pozyskiwania ocen eksperckich w poł czeniu z mo liwo ci modelowania preferencji i analizy wra liwo ci rozwi za stanowi o tym, e wynikowe rankingi s dobrze umocowane, w przeciwie stwie do prostych rednich wa onych Bibliografia. Król K., Gola P.: Jako witryn internetowych małopolskich gospodarstw agroturystycznych [dost p: 008].. Król K.: Techniczno merytoryczny stan internetowych witryn gospodarstw agroturystycznych [dost p: 008].. Dobrogowska Schlebusch E.: Ocena jako ci informacji medycznej dost pnej w Internecie jako zadanie dla bibliotek w: Biuletyn EBIB [Dokument elektroniczny] nr /007 (8) kwiecie. - Czasopismo elektroniczne. - [Warszawa]: Stowarzyszenie Bibliotekarzy Polskich KWE, 007.
Ryszard Budzi ski, Monika Stolarska Aspekty metodyczne oceny witryn internetowych. Ba ski J.: Witryny internetowe jednostek samorz dowych z siedzib w małych miastach analiza i ocena [dost p: 008].. Szewczyk A., Krok E. (red).: Fenomen Internetu tom II, Wydawnictwo hogben, Szczecin 008, s.-.. Kobyli ski A.: ISO/IEC 9 Analiza modelu jako ci produktów programowych w: Systemy Wspomagania Organizacji 00, red. T. Por bska-mi c, H. Sroka, Prace Naukowe AE w Katowicach, Katowice 00. 7. Gospodarowicz A. (red.): Metody analizy i oceny pakietów programowych, Wydawnictwo Akademii Ekonomicznej im. Oskara Langego we Wrocławiu, Wrocław 997, s.9-. 8. Blin M.-J., Tsoukias A.: Multicriteria Methodology Contribution to Software Quality Evaluations, Springer Netherlands, Software Quality Journal, volume 9, number, June 00. 9. Mamaghani F.: Methodology to select security software, Information Management & Computer Security, volume: 0, issue:, 00. 0. [].. [] s.9. METHODICALASPECTS OF THE WEBSITES EVALUATION Summary The aim of this study is functional quality evaluation for selected websites. Methodical aspect of study is propose a new procedure of quality evaluation using utility function. MCDA (AHP) model as a theoretical fundament of the own procedure was presented. Keywords: AHP, evaluation for selected websites Ryszard Budzi ski Monika Stolarska Instytut Systemów Informatycznych Politechnika Szczeci ska Szczecin, ul. ołnierska 9 e-mail: rbudzinski@wi.ps.pl http://www.wi.ps.pl e-mail: monika.stolarska@wp.pl