METODYCZNE PROBLEMY OCENY WI- TRYN BANKOWOŚCI ELEKTRONICZNEJ

Transkrypt

1 METODYCZNE PROBLEMY OCENY WI- TRYN BANKOWOŚCI ELEKTRONICZNEJ Witold Chmielarz Wprowadzenie W niniejszym artykule przedstawiono dyskusję wraz z zastosowaniem nowej metody oceny witryn internetowych. Stanowi on kontynuację poprzednich badań związanych z porównaniem i oceną systemów informatycznych wprowadzanych do organizacji, a w szczególności do instytucji bankowych. Prezentowane rozwaŝania są kontynuacją drugiej serii w stosunku do zeszłorocznych [Mode07] - analiz dotyczących oceny bankowości internetowej, w których starano się wyeliminować występujące wcześniej niedogodności metodyczne oraz problemy związane z uzyskaniem racjonalnej oceny eksperckiej. W pewnym sensie zakresu badań jest to równieŝ przedłuŝenie badań dotyczących transformacji zastosowań systemów informatycznych bankowości, prowadzonych przez autora od 1999 r. [hmi05]. Drugą serię ostatnich badań [Chmi08a] rozpoczęto od prezentacji zastosowań metody punktowej, wraz z róŝnymi jej odmianami (z ekspercką skalą preferencji) oraz metody AHP T. Saaty ego [Saat99]. Stosowane metody pozwoliły na wskazanie najlepszych w danym momencie serwisów bankowych dla klienta indywidualnego. Podstawą dla wszystkich był etap przygotowawczy polegający na zebraniu i ukonstytuowaniu oceniającego zespołu eksperckiego (kwestie

2 doboru i ewentualnej eliminacji osób nie posiadających dostatecznych dla eksperta umiejętności, przedstawiono w poprzednich pracach). Następnie wyodrębniony zespół dokonywał wyboru kryteriów oceny usług elektronicznych. Na ogół w podobnych badaniach stosowano kryteria funkcjonalne, techniczne, ekonomiczne, organizacyjne oraz psychologiczne. Z wcześniejszych badań wynika, Ŝe obecnie kryteria psychologiczne i w duŝej mierze organizacyjne dla elektronicznych usług klientów indywidualnych kształtują się w bardzo podobny sposób. Podobnie jak się wydaje przedstawia się sprawa wizualizacji i poruszania się po wyróznionych dla tego badania witrynach bankowych. Dlatego pod uwagę wzięto głównie kryteria ekonomiczne i funkcjonalne, dołączając wzorem analiz serwisów internetowych podstawowe kryteria technologiczne, poza cechami charakterystycznymi serwisów. W badaniu wyróŝniono więc kryteria następujące: ekonomiczne - oprocentowanie nominalne roczne, prowadzenie rachunku mies./zł, prowizja za dostęp do kanałów elektr.(w tym token, jak jest), opłata za przelew do banku macierzystego, opłata za przelew do innego banku, procent za depozyty - lokata 10 tys., opłata za wydanie karty, opłata za obsługę karty - mies./zł, funkcjonalne ze względu na duŝe podobieństwo usług podstawowych wyróŝniono jedynie ponadstandardowe usługi dodatkowe typu: ubezpieczenia, fundusze inwestycyjne, przelew za granicę, czy rachunek walutowy, technologiczne - liczba bezprowizyjnych bankomatów, kanały dostępu do konta (placówki, Internet, Call Center, telefon komórkowy), zabez-

3 pieczenia (identyfikator i hasło, token, protokół SSL, lista haseł jednorazowych, lista kodów jednorazowych). Charakterystyka i porównanie wykorzystania w badaniach metody punktowej i metody AHP W kolejnych krokach poszczególne metody znacząco się między sobą róŝniły. W metodzie punktowej zbierano informacje o wyróŝnionych kryteriach; przypisywano im wartości wg załoŝonej skali wartości oraz analizowano wyniki w tabeli zbiorczej. Przyjęto następującą skalę wartości ocen: 1,00 bardzo dobra (pełne spełnienie kryterium, najniŝsze koszty); 0,75 dobra (prawie doskonałe spełnienie kryterium, nieco wyŝsze koszty); 0,50 średnia (połowiczne spełnienie kryterium, średnie koszty); 0,25 dostateczna - zadowalające spełnienie kryterium, wysokie koszty; 0,00 niedostateczna - brak cechy, najwyŝsze koszty. Metodę punktową wykorzystywano w dwóch odmianach: prostej gdzie kryteria były traktowane równowaŝnie; ze skalą preferencji gdzie grupom kryteriów przypisywano wartości wspólczynników róŝnicujące ich traktowanie przez klienta (suma współczynników = 1). W istocie w prostej metodzie punktowej mierzy się odległość od maksymalnie moŝliwej do uzyskania (wg zakładanej skali wartości). Dotyczy ona wartości miary kryterium i w sensie odległości jest taka sama kiedy mierzymy odległości kryterium pierwszego od drugiego, jak i na odwrót. Nie określa się natomiast relacji pomiędzy poszczególnymi kryteriami. Za taką miarę moŝna uwaŝać przydanie poszczególnym kryteriom (lub ich grupom) skali preferencji. Liniowa skala preferencji w postaci znormalizowanej określa z kolei udział poszczególnych kryteriów w ostatecznym

4 wyniku. Wyznacza więc jednorazową relację pomiędzy kryteriami w odniesieiu do całości oceny, jest równieŝ jakby uśrednioną miarą dla kryteriów w poszczególnych przypadkach, nie indywidualizując oceny dla kaŝdego z nich. Ale teŝ nie określa o ile kaŝde z kryteriów jest lepsze/gorsze od innego. Jest tylko pochodną od znormalizowanej odległości. Ta powszechnie dziś w róŝnych odmianach - stosowana metodyka [Surm08] posiada niestety pewne wady, takie jak: subiektywizm ocen eksperckich, nieadekwatność wyznaczonych kryteriów do oceny sytuacji występują teŝ problemy ze sprowadzeniem ocen róŝnych kryteriów do porównywalności. Systematyka taka rodzi teŝ problemy związane z wątpliwościami dotyczącymi potrzeby zbiorczych porównań róŝnych kategorii usług bankowych (np. karty, usługi internetowe, usługi okienkowe itp.) w róŝnych formach bankowości elektronicznej (elektroniczny dostęp do konta tradycyjnego, oddział elektroniczny, bank wirtualny); czy teŝ skali punktacji i jej przeliczania z wartości pienięŝnych na umowne (punktowe lub procentowe). Subiektywizm oceny moŝna ograniczyć poprzez zaangaŝowanie grupy ekspertów i wyciągnięcie średniej lub dominanty z ich szacunków. Uśrednienie nie likwiduje, co prawda subiektywizmu, ale moŝe go przynajmniej zmniejszyć. Grupa ekspertów moŝe teŝ wyznaczyć zbiór kryteriów oceny, eliminując lub przynajmniej ograniczając ich brak odpowiedniości do sytuacji, jak równieŝ wyznaczyć algorytm przeliczenia wskaźników wartościowych na ilościowe. Podstawową zaletą tej grupy metod jest moŝliwość przedstawienia zbiorczego wyniku oceny za pomocą jednego wskaźnika dla kaŝdego banku, który jest porównywalna z wynikiem opisującym inne banki i to

5 porównanie umoŝliwia. W ten sposób niejako udziela jednoznacznej odpowiedzi na pytanie, który z danych banków jest dla określonej kategorii klienta najlepszy, nie wdając się w dywagacje dotyczące rankingowania poszczególnych rodzajów usług bankowych. Nie zmusza teŝ dla porównań do budowania złudnego w gruncie rzeczy i podwaŝanego przez klientów - przeciętnego koszyka usług bankowych wycenianego wartościowo. Zupełnie inny sposób postępowania przyjmowany jest w metodzie AHP. OtóŜ oddzielnie dla kaŝdego kryterium przeprowadza się tu porównanie dla badanego zestawu banków. Dla oceny realizacji stopnia osiągnięcia kryterium w jednym banku w relacji do kaŝdego innego stosowana jest skrócona skala Likerta: 1 kryteria są realizowane w sposób równowaŝny; 3 - niewielka przewaga realizacji kolejnego kryterium w danej witrynie nad realizacją tego samego kryterium na innej rozpatrywanej witrynie (odpowiednio 1/3 przy relacji odwrotnej); 5 duŝa przewaga realizacji kolejnego kryterium w danej witrynie nad realizacją tego samego kryterium na innej rozpatrywanej witrynie (odpowiednio 1/5 przy relacji odwrotnej); 7 istotna przewaga realizacji kolejnego kryterium w danej witrynie nad realizacją tego samego kryterium na innej rozpatrywanej witrynie (1/7 przy odwrotnej), 9 absolutna przewaga realizacji kolejnego kryterium w danej witrynie nad realizacją tego samego kryterium na innej rozpatrywanej witrynie (1/9 przy relacji odwrotnej). Z analizy powyŝszego zestawu wynika, Ŝe wartość realizacji kryterium w kaŝdym banku nie jest oceniana w sposób bezwzględny, a jedynie jako relacja realizacji określonego kryterium w jednym banku do realizacji tego samego kryterium w innych bankach. Gdybyśmy traktowali to w sensie odległości (przewagi względnej) wynikałoby, Ŝe np. odległość re-

6 alizacji kryterium pierwszego w jednym banku od realizacji tego samego kryterium w innym banku jest inna niŝ odwrotnie. Pozwala to na uniknięcie odpowiedzi o wartość cechy kryterium i jednocześnie określa jego stosunek do innych. Tym niemniej, jeŝeli zgrupujemy sumaryczne oceny dla wszystkich kryteriów uzyskujemy zbiorczą tabelę ocen dla kaŝdego banku. Skala preferencji dla kryteriów tej metodzie uzyskiwana jest w analogiczny sposób. Kryteria są porównywane parami wg tej samej skali, a ich suma (a właściwie suma ich kwadratów) po znormalizowaniu moŝe stanowić właściwą skalę preferencji i pokazywać, które z nich jest najistotniejsze dla eksperta, a z którego moŝna zrezygnować. Metodyka AHP sprawiła zebranemu zespołowi ekspertów liczne kłopoty. Pierwsze problemy dotyczyły porównania parami kryteriów. O ile w poszczególnych grupach kryteriów wydawało się to jeszcze moŝliwe i rozsądne, to przy porównaniu np. kryteriów funkcjonalnych i ekonomicznych istotność i przewaga jednych kryteriów nad drugimi nie wydawała się juŝ taka oczywista. Ostateczna postać tabeli powstała na drodze kompromisu pomiędzy ekspertami. Panowała zgodna opinia (nie pojawiła się podczas metody punktowej), Ŝe rozpatrywanych kryteriów jest zbyt duŝo i zbyt trudno jest zdecydować czasami, które z nich i jak silnie róŝnią się między sobą. Zdecydowanie łatwiej było oceniać zakres spełnienia kryterium i jego relacje do tego spełnienia w przekroju banków. Dodatkowym problemem było to, Ŝe takich tabel było aŝ dwanaście. Ponadto na drodze eksperymentu stwierdzono, Ŝe eksperci zwłaszcza niewprawni większe znaczenie przywiązują do tych kryteriów z pary, które są w boczku tabeli, niŝ tych, które są w główce, wystawiając im lepsze oceny. Na ich ocenę jak się równieŝ okazało wpływa teŝ - a nie powinna kolejność, w której

7 występują kryteria. Wydaje się równieŝ, Ŝe metoda ta równieŝ nie jest obiektywna kaŝdy z ekspertów oceniał i relacje między kryteriami i ich realizację w poszczególnych bankach w nieco odmienny sposób. Podobnie jak w metodzie punktowej w trakcie obliczeń zastosowano uśrednienie ocen ekspertów. Tym niemniej i w tym przypadku moŝna wnioskować, który z zastosowanych wariantów usług bankowości internetowej jest optymalny. NajpowaŜniejszym do usunięcia mankamentem metody AHP z punktu widzenia ekspertów była pracochłonność metody i relatywizm porównań kryteriów. Drugim brak moŝliwości bezpośredniej oceny stopnia realizacji danego kryterium w poszczególnych bankach. Dlatego teŝ sugerowali stworzenie metody łączącej własności obydwu metod. Największym problemem w jej uzyskaniu była konwersja liniowej skali oceny metody punktowej na relatywne odniesienia skali Likerta. Pierwsze doświadczenia w zakresie konstruowania takiej metody nie przyniosły rezultatów, które by moŝna uznać za całkowicie satysfakcjonujące [Chmi08b]. Eksperci przekonani o moŝliwościach nowej metody, poproszeni w celach porównawczych - o zbadanie zjawiska za pomocą metody AHP, potraktowali oceny w tej ostatniej w sposób dość przypadkowy. ZałoŜenia metody konwersyjnej ZałoŜenia metody konwersji były następujące: po zbudowaniu przez ekspertów tabeli ocen poszczególnych kryteriów dla kaŝdego z banków - konwersję naleŝy rozpocząć od ustalenia wektora preferencji kryteriów poziomu nadrzędnego. Proponuje się następujące przekształcenie zbiorczej tabeli wynikowej na wektor preferencji (pierwszy konwerter):

8 utworzenie macierzy odległości od wartości maksymalnej dla kaŝdego kryterium, w kaŝdym serwisie, obliczenie średniej odległości od wartości maksymalnej, dla kaŝdego kryterium, stworzenie macierzy róŝnic pomiędzy odległością od wartości maksymalnej, a odległością średnią wg kryteriów, dla kaŝdego serwisu banku budowa macierzy konwersji (4) modułów odległości względnych poszczególnych kryteriów od pozostałych kryteriów (odległość od tego samego kryterium wynosi 0), poniŝej przekątnej uzyskane odległości są odwrotnością odległości powyŝej przekątnej, uśrednienie macierzy konwersji kryteriów stworzenie jednej macierzy średnich modułów wartości dla wszystkich kryteriów, przekształcenie macierzy konwersji kryteriów w nadrzędną macierz preferencji (obliczenie kwadratu macierzy, sumowanie po wierszach, standaryzacja uzyskanego wektora preferencji; ponowne podniesienie do kwadratu, sumowanie po wierszach, standaryzacja wektora preferencji powtarzanie tej iteracji dopóki róŝnice w kolejnych wektorach preferencji będą minimalne). Następnie dokonywano przekształcenia wyników podanych przez ekspertów na poziomie macierzy określających oceny eksperckie kolejnych serwisów dla poszczególnych kryteriów (drugi konwerter). Wyniki otrzymano w analogiczny sposób: stworzenie macierzy odległości od wartości maksymalnej dla kaŝdego kryterium i kaŝdej witryny,

9 obliczenie średniej odległości od wartości maksymalnej, dla kaŝdego serwisu, stworzenie macierzy róŝnic odchyleń od wartości maksymalnej i średniej odległości cech od maksymalnej, dla kaŝdego kryterium skonstruowanie macierzy (12) przekształceń (konwersji) róŝnic odległości średniej od wartości maksymalnej pomiędzy serwisami, analogicznie jw. (odległość dla danej cechy w tym samym serwisie od tego samego serwisu wynosi 0), wartości poniŝej przekątnej są odwrotnościami tych, które są powyŝej przekątnej, budowa macierzy modułów przekształceń róŝnic odległości średniej od wartości maksymalnej pomiędzy serwisami, dla kaŝdego kryterium, dla kaŝdej macierzy modułów przekształceń róŝnic odległości średniej od wartości maksymalnej pomiędzy serwisami podniesienie jej do kwadratu, podsumowanie wierszy, standaryzacja uzyskanego wektora rankingu oraz powtarzanie tej czynności dopóki róŝnice uzyskane pomiędzy dwoma wektorami rankingowymi dla danego kryterium będą minimalne, skonstruowanie z tak uzyskanych wektorów zbiorczej macierzy rankingowej powrót do macierzy gdzie w boczku są nazwy kryteriów, w główce nazwy serwisów bankowych przez odpowiednie przeniesienie do niej uzyskanych wektorów preferencji dla kaŝdego kryterium, przemnoŝenie tak uzyskanej macierzy przez obliczony uprzednio wektor preferencji, analizowanie wyników ostatecznych i wyciągnięcie wniosków (uwaga: najniŝsze odległości są w tym przypadku najkorzystniejsze, sprowa-

10 dzenie do porównywalności z pozostałymi metodami moŝemy uzyskać przez odjęcie tych wartości od 1 i ich ponowną standaryzację). Wnioski W wyniku licznych prac eksperymentalnych dotyczących głownie sektora bankowości elektronicznej w Polsce stworzono metodę, która łączy ze sobą zalety metody punktowej i metodyki AHP. Jednocześnie pozwala ekspertom na posługiwanie się ocenami punktowymi, do których przywykli, a pozostałe obliczenia dokonywane są w sposób automatyczny. Dotychczasowe rezultaty uzyskane z obliczeń wygladają w sposób zachęcający. Nadal jednak trwa weryfikacja metodyki dla kolejnych danych pozyskiwanych z róŝnych sektorów gospodarczych, co pozwoli mam nadzieję - na jej udoskonalenie i usunięcie ewentualnych niedociągnięć. Literatura [Chmi05] Chmielarz W.: Systemy elektronicznej bankowości, Difin, Warszawa, 2005, [Chmi08a] Chmielarz W.: Metody oceny witryn banków internetowych w zakresie obsługi klienta indywidualnego, Rachunkowość bankowa, 2008 (w druku), [Chmi08b] Chmielarz W.: Przełączniki metodyczne w icenie witryn internetowych sklepów komputerowych, rozdz. 43 w: Zarządzanie Wiedzą i Technologiami Informatycznymi, red. C. Orłowski, Z. Kowalczuk, E. Szczerbicki, nr 4 seria: Automatyka i Informatyka, Pomorskie Wydawnictwo Naukowo-Techniczne PWNT, Gdański, 2008, str ,

11 [Mode07] Modele efektywnych zastosowań elektronicznego biznesu w sektorach gospodarki polskiej, red. Chmielarz W., Wydawnictwo WSEI, Warszawa, 2007, [Saat99] Saaty T.L: Fundamentals of the Analytic network process, ISAHP, Kobe, nr 8, 1999, [Surm08] Surmacz W.: Sieć i płacz, w: Biznes Ranking banków Newsweeka, Newsweek z str Informacje o autorze Prof. dr hab. Witold Chmielarz Katedra Systemów Informacyjnych Zarządzania Wydział Zarządzania Uniwersytetu Warszawskiego ul. Szturmowa 1/ Warszawa Polska Numer telefonu/fax: / vitec@post.pl