Wpływ udziału użytkownika na jakość użytkową w projektach informatycznych

Krzysztof Redlarski * Beata Basińska ** Wpływ udziału użytkownika na jakość użytkową w projektach informatycznych Wstęp W artykule przedstawiono analizę zależności pomiędzy udziałem użytkownika w projektach informatycznych, a jakością użytkową produktu końcowego. Podjęty problem badawczy wydaje się mieć istotne znaczenie dla zapewnienia skutecznej realizacji przedsięwzięć informatycznych, pozwalając na osiągniecie wspólnych korzyści wśród uczestników projektu. Udział projektów zakończonych całkowitym niepowodzeniem stale wzrasta, a wśród użytkowników obserwowalne jest niezadowolenie związane z akceptacją nowych produktów informatycznych. W związku z powyższym przeprowadzono badania ankietowe wśród uczestników projektów, które miały na celu ocenę związku pomiędzy obecnością użytkowników końcowych w projekcie IT, a stopniem spełnienia wymagań jakościowych produktów o różnym stopniu innowacyjności. Badania zostały przeprowadzone z użyciem elektronicznych kwestionariuszy ankietowych. W celu ilościowej weryfikacji zależności występujących pomiędzy wymienionymi zmiennymi posłużono się statystyką 2 (testem nieparametrycznym chi-kwadrat dla zmiennych nominalnych). 1. Problematyka zapewnienia jakości użytkowej produktów informatycznych 1.1. Skuteczność w realizacji projektów informatycznych W ostatnich latach obserwowalny jest dynamiczny wzrost zastosowań produktów informatycznych do wspomagania różnych form aktywności człowieka. Według danych zaprezentowanych przez Jayaswal i Patton [Jayaswal, Patton, 2008] na przestrzeni ostatnich 50 lat wydaj- * Mgr inż., Katedra Zastosowań Informatyki w Zarządzaniu, Wydział Zarządzania i Ekonomii, Politechnika Gdańska, kred@zie.pg.gda.pl ** Dr, Katedra Zastosowań Informatyki w Zarządzaniu, Wydział Zarządzania i Ekonomii, Politechnika Gdańska, bbas@pg.gda.pl

582 Krzysztof Redlarski, Beata Basińska ność sprzętu komputerowego wzrosła 10 10 razy, a tempo programowania wzrosło około 500 razy. Z drugiej strony obserwowalny jest również wzrost świadomości społeczeństwa na temat nowych rozwiązań informatycznych [Bliźniuk, 2005]. Obecni użytkownicy produktów informatycznych oczekują od nowych rozwiązań nie tylko samej funkcjonalności, ale również wysokiej jakości użytkowej. Spełnienie wymagań i oczekiwań użytkowników jest trudne, czego dowodem są dane dotyczące analizy skuteczności realizacji kilkudziesięciu tysięcy projektów informatycznych przeprowadzone w latach 1994-2006 przez Standish Group [Johnson, 2007], (patrz, rys. 1) oraz wyniki badań zebrane od ponad 300 respondentów z Polski, z których wynika, że statystycznie tylko 21% projektów informatycznych kończy się pełnym sukcesem [Frączkowski i inni, 2011]. Rysunek 1. Skuteczność realizacji projektów informatycznych w latach 1994-2006 Źródło: Opracowani własne, na podstawie [Johnson, 2007], [Chmielarz, 2010]. Z danych przedstawionych na rysunku 1 wynika, że przedsiębiorstwa realizujące projekty informatyczne ciągle borykają się z problemami dotyczącymi skutecznej ich realizacji. Liczba projektów zakończonych całkowitym niepowodzeniem stale rośnie, a zmniejszaniu ulega współczynnik sukcesu projektów. Jedną z przyczyn takiego stanu rzeczy może być niezapewnienie odpowiedniego poziomu jakości użytkowej dla tworzonego produktu i niezaakceptowanie produktu w środowisku użytkownika. Oznacza to, że w osiągnięciu sukcesu w realizacji projektów IT coraz ważniejszą rolę

Wpływ udziału użytkownika na jakość użytkową w projektach 583 odgrywa satysfakcja użytkownika końcowego. W związku z tym udział użytkownika w projekcie IT może wpłynąć pozytywnie na jakość produktu poprzez lepsze jego dopasowanie do potrzeb odbiorcy. Z drugiej strony zbędna obecność użytkownika może być niekorzystna dla projektu IT jako przedsięwzięcia. Obecność użytkownika może spowodować wzrost kosztów całego przedsięwzięcia, a tym samym może doprowadzić do obniżenie konkurencyjności produktu na rynku sprzedaży. Z tego względu istotne jest rozpoznanie, które typy projektów informatycznych odniosą korzyść z udziału uczestników. Przeprowadzona analiza rynku pokazuje, że projekty IT można podzielić zasadniczo na dwie kategorie: 1) innowacyjne, w których produkt budowany jest od podstaw, wyłącznie w oparciu o zdefiniowane potrzeby klienta, 2) klasyczne, w których produkt budowany jest na podstawie podobnego rozwiązania, które z powodzeniem zostało wdrożone u innego klienta. 1.2. Uczestnicy projektów informatycznych Z analizy literatury wynika, że głównymi udziałowcami w projektach informatycznych są [Sikorski, 2000], [Kisielnicki, Sroka, 2001], [Berkun, 2006]: 1) użytkownicy czyli grupa osób będących użytkownikami końcowymi finalnego produktu, 2) projektanci / dostawcy grupa osób odpowiedzialnych za opracowanie odpowiedniego rozwiązania projektowego, a często również za wdrożenie produktu, 3) menedżerowie / zleceniodawcy grupa osób odpowiedzialnych z ramienia inwestora za skuteczne wdrożenie określonego rozwiązania. Udział tych grup uczestników w projekcie jest szczególny, gdyż wymaga znalezienia optymalnego punktu równowagi wypracowanego dla różnorodnych perspektyw i oczekiwań wszystkich grup projektu. Jak wynika z literatury [Sikorski, 1996], opisany problem jest jedną z głównych przyczyn niepowodzeń w projektach informatycznych, która została określana mianem konfliktu interesów jakościowych. Konflikt ten polega na faworyzowaniu własnych rozwiązań: 1) projektant - dąży do wyboru technologii wytwarzania produktu, według posiadanych umiejętności,

584 Krzysztof Redlarski, Beata Basińska 2) kierownik - dąży do realizacji projektu według metody pozwalającej na maksymalizację zysków, 3) użytkownik - dąży do uzyskania produktu spełniającego jego oczekiwania, bez uwzględnienia problemów natury projektowej. Stale brakuje badań, które w ocenie jakości użytkowej produktu informatycznego uwzględniają opinię uczestników projektów informatycznych Chcąc podjąć próbę częściowego rozwiązania powyższego problemu przeprowadzone zostały badania ankietowe z uwzględnieniem wszystkich grup uczestników projektów IT. Polegały one na znalezieniu związku pomiędzy udziałem użytkownika w projekcie, a jakością użytkową produktu. 1.3. Jakość użytkowa produktu Szczególnie aktualnym terminem w odniesieniu do jakości produktów informatycznych jest użyteczność (ang. usability). W literaturze przedmiotu [Nielsen, 2011], [Sikorski, 2010b] spotkać możemy różne jej definicje. Według prekursora badań nad użytecznością Jacoba Nielsena, użyteczność została zdefiniowana jako atrybut jakości, który ocenia jak łatwy w użyciu jest interfejs produktu. Słowo użyteczność odnosi się również do metod doskonalenia produktu w trakcie procesu projektowania. Natomiast jakość użytkowa jest cechą produktu, która odpowiada za ogólną satysfakcję użytkownika podczas pracy z produktem, przy wykonywaniu zadań roboczych. Przyjęty termin pozwala wykluczyć możliwość mylnego tłumaczenia na j. polski słowa użyteczność (ang. usability). [Sikorski, 2010a] Według Nielsena jakość użytkową jest definiowana za pomocą pięciu podstawowych atrybutów, którymi są: [Nielsen, 1993] 1) łatwość nauki (ang. learnability), 2) skuteczność osiągania celów (ang. efficiency), 3) łatwość zapamiętywania (ang. memorability), 4) odporność na błędy (ang. errors), 5) satysfakcja użytkownika (ang. satisfaction). W prezentowanej pracy przyjęto, że jakość użytkowa rozumiana jest jako zbiór atrybutów produktu IT, który wyzwala satysfakcję w subiektywnym odczuciu użytkownika końcowego.

Wpływ udziału użytkownika na jakość użytkową w projektach 585 2. Wpływ udziału użytkownika na jakość użytkową produktu badania ilościowe Celem przeprowadzonych badań ankietowych, w grupie składającej się z 30 uczestników projektów informatycznych, była ocena związku pomiędzy udziałem użytkownika w projekcie IT, a jakością użytkową produktu. Postawiono następujące hipotezy: H1: Udział użytkowników końcowych w projekcie IT zależy od jakości użytkowej produktu. H2: Udział użytkowników końcowych w projekcie IT zależy od typu produktu informatycznego związanego ze stopniem jego innowacyjności. Jakość użytkową mierzono z użyciem elektronicznego kwestionariusza ankietowego, w którym respondenci odpowiadali na pytanie: Jaka była Pani/Pana zadaniem jakość użytkowa produktu końcowego? Reprezentowali ją z użyciem 5-stopniowej skali jakości (bardzo słaba, słaba, przeciętna, dobra i bardzo dobra), gdzie 1 oznacza jakość bardzo słabą, a 5 oznacza jakość bardzo dobrą. Udział użytkowników oceniano na skali bimodalnej: projekty realizowane z udziałem i bez udziału użytkowników. Stopień innowacyjności projektów oceniano poprzez następujące pytanie zadane respondentom: Jaki rodzaj miał produkt, którego ankieta dotyczy? W pytaniu do wyboru były dwie odpowiedzi: odtwórczy (klasyczny) lub innowacyjny (kreatywny). Ostatecznie projekty informatyczne klasyfikowano jako odtwórcze i innowacyjne. Przeprowadzono analizę ilościową danych. Zastosowano nieparametryczny test χ 2 dla zmiennych nominalnych [Górniak, Wachnicki, 2010], który pozwolił na ocenę związku liniowego pomiędzy jakością użytkową produktu, a udziałem użytkownika. Z uwagi na liczebność grupy przyjęto wartość poziomu istotności α = 0,1. Dodatkowo do oceny siły związku pomiędzy zmiennymi jakościowymi obliczono: współczynnik φ. Wartość tego współczynnika wynosząca 0,1 świadczy o małej sile związku, a wartość 0,3 i 0,5 odpowiednio o umiarkowanej i dużej sile związku [King, Minium, 2009]. Do analizy danych wykorzystano oprogramowanie Statistica v. 10 dystrybuowanego na licencji firmy StatSoft. Na rys. 2. przedstawiono wykres interakcji analizowanych zmiennych, który pozwolił przedstawić sumarycznie liczebności udziału użytkownika w zależności od uzyskanego poziomu jakości (słaba, przeciętna, dobra, bardzo dobra).

586 Krzysztof Redlarski, Beata Basińska Rysunek 2. Interakcje zmiennych udział użytkownika i jakość użytkowa produktu 10 Wykres interakcji: JAKOŚĆ PRODUKTU - UDZIAŁ UŻYTKOWNIKA 8 6 Liczności 4 2 0-2 Źródło: Opracowani własne. Słaba Przeciętna Dobra Bardzo dobra Jakość użytkowa produktu końcowego Brak użytkowników końcowych w projekcie IT Udział użytkowników końcowych w projekcie IT Z analizy wykresu wynika bowiem, że w przypadku projektów w których występował użytkownik końcowy, jakość użytkowa produktu rosła osiągając swoje maksimum przy określonej liczności zmiennej. Natomiast w projektach w których użytkownik nie brał bezpośredniego udziału, brak jest wyraźnej tendencji wzrostowej dla jakości użytkowej produktu. Wstępna analiza wyników zmiennej jakość użytkowa pokazała, że ankietowani nie wykorzystali wszystkich poziomów skali odpowiedzi. Przeważały oceny bardzo dobre (33%), a ani razu nie wybrano oceny bardzo słaba jakość użytkowa. Prawdopodobnie zadziałała tu potrzeba aprobaty społecznej, co mogło przyczynić się do zawyżania oceny jakości użytkowej projektu informatycznego. Zmienna aprobaty społecznej często powoduje zakłócenia w wynikach prowadzonych badan ankietowych [Randall, Fernandes, 1991]. Do dalszych analiz dokonano przekodowania tej zmiennej na dwie kategorie: 1) jakość bardzo dobra przypadki w którym produkty charakteryzujące się wyłącznie bardzo dobrą jakością najwyższą w przyjętej skali, 2) jakość akceptowalna przypadki w których produkty charakteryzowały się inną jakością niż bardzo dobra.

Wpływ udziału użytkownika na jakość użytkową w projektach 587 Zastosowanie takiego podejścia było również konieczne z uwagi na niewystraczającą ilość obserwacji w poszczególnych komórkach (n < 5), niezbędnych do przeprowadzenia analiz. Jakość użytkową produktu informatycznego w zależności od udziału użytkowników końcowych w projekcie przedstawiono na rys. 3 za pomocą histogramu zagregowanych odpowiedzi uzyskanych od respondentów badania ankietowego. Rysunek 3. Odpowiedzi dla zmiennych udział użytkownika i jakość produktu Źródło: Opracowani własne. Najliczniejszy udział użytkowników wystąpił w projektach o bardzo dobrej jakości użytkowej. Szczegółowe dane przedstawiono w tablicy 1. Tablica 1. Kontyngencja jakości użytkowej produktu i udziału użytkownika w projekcie IT Udział Jakość użytkowa produktu Razem użytkownika Akceptowalna Bardzo dobra Nie 4 1 5 Tak 16 9 25 Razem 20 10 30 Źródło: Opracowanie własne. Przeprowadzone obliczenia statystyczne nie pozwoliły na przyjęcie postawionej hipotezy, że jakość użytkowa produktu informatycznego zależy od udziału użytkowników końcowych. Wartość obliczonej staty-

588 Krzysztof Redlarski, Beata Basińska styki 2 = 0,48 była mniejsza od wartości statystyki testowej 2 = 2,71 (dla α = 0,10 oraz liczby stopni swobody df = 1) i nie osiągnęła poziomu istotności statystycznej (p = 0,488 ). W dalszej kolejności weryfikowano związek pomiędzy jakością użytkową projektu informatycznego, a stopniem innowacyjności tego produktu. Na rys. 4 przedstawiono histogramu zagregowanych odpowiedzi uzyskanych od respondentów badania ankietowego. Rysunek 4. Odpowiedzi dla zmiennych udziału użytkownika i typu produktu Źródło: Opracowani własne. Wynika z niego, że większość badanych projektów realizowana była z udziałem użytkowników końcowych. Tylko jeden przypadek przedstawiał innowacyjny produkt realizowany bez udziału użytkowników. Szczegółowe dane oceny jakości użytkowej projektu, w których uczestniczyli użytkownicy, w zależności od stopnia innowacyjności produktu zaprezentowano w tab. 2.

Wpływ udziału użytkownika na jakość użytkową w projektach 589 Tablica 2. Kontyngencja typu produktu i udziału użytkownika w projekcie IT Udział Typ produktu Razem Użytkownika Odtwórczy Innowacyjny Nie 5 1 6 Tak 10 14 24 Razem 15 15 30 Źródło: Opracowani własne. Wartość obliczonej statystyki 2 = 3,46 była większa od wartości statystyki testowej 2 = 2,71 (dla α = 0,1 oraz liczby stopni swobody df = 1) i osiągnęła poziom istotności statystycznej (p = 0,056). Siła tego związku była przeciętna (φ = 0,34). Podsumowując wyniki badania, w analizowanej grupie nie potwierdzono, że jakość użytkowa projektu zależy od uczestnictwa użytkownika końcowego. Natomiast potwierdzono, że zaangażowanie uczestników końcowych pozostawała w związku ze stopniem innowacyjności produktu informatycznego. Zakończenie Przeprowadzona analiza korelacji zmiennych udziału użytkownika w projekcie i jakości użytkowej produktu końcowego pozwala na wyciągnięcie następujących wniosków końcowych: 1. Uzyskane wyniki świadczą o braku bezpośredniego związku liniowego pomiędzy jakością użytkową produktu, a udziałem użytkownika w projekcie IT. 2. Uzyskane wyniki świadczą o występowaniu bezpośredniego związku liniowego pomiędzy typem produktu, a udziałem użytkownika w projekcie IT. Zaprezentowane badanie ma pewne ograniczenia, do których należy zaliczyć liczebność próby, zastosowana metodę doboru (metoda kuli śnieżnej) oraz przyjęty sposób agregacji danych do dwóch kategorii jakości użytkowej produktu informatycznego. Ponadto, na jakość użytkową produktu mogą mieć wpływ inne zmienne pośredniczące, zarówno związane z atrybutami projektu informatycznego oraz zachowaniem uczestników, takimi jak potrzeba aprobaty społecznej. Interakcja na pięciu poziomach jakości użytkowej projektu informatycznego pokazała tendencję związku pomiędzy udziałem użytkownika w projekcie IT, a jakością użytkową produktu. Jednak udział użytkownika nie miał

590 Krzysztof Redlarski, Beata Basińska związku z jakością użytkową (przy przyjęciu dwóch kategorii jakości akceptowalnej i bardzo dobrej), ale typ produktu uwzględniający stopnień jego innowacyjności wymagał angażowania użytkowników końcowych w projekcie IT. Zaletą zaprezentowanej pracy są badania przeprowadzone na rzeczywistych projektach informatycznych. Uczestnikami badania były osoby zajmujące się zawodowo realizacją projektów IT, w różnych obszarach jej aktywności. Autorzy pracy chcieli przybliżyć przyczynę rosnącej liczby niepowodzeń w realizacji projektów IT. Dostępne są bowiem w literaturze przedmiotowej modele, metody i narzędzia prowadzące do skutecznego zarządzania projektami. Jednak z drugiej strony praktyka projektów IT pokazuje, że wciąż istniej potrzebne ich doskonalenia. Zarządzanie projektami informatycznymi ukierunkowanymi na zapewnienie wysokiego poziomu satysfakcji użytkowników należy niewątpliwie do szczególnych istotnych obszarów ryzyka projektów. W ramach kontynuacji prac zalecane jest przeprowadzenie dodatkowych badań z uwzględnieniem większej grupy projektów IT, zarówno klasycznych, jak i innowacyjnych, oraz z uwzględnieniem kilku poziomów zmiennych. Warto też podjąć próbę zidentyfikowania innych zmiennych pośredniczących, które mogą modyfikować zależność pomiędzy udziałem użytkowników w projektach IT a ich jakością użytkową. Literatura 1. Berkun S. (2006), Sztuka zarządzania projektami. Teoria i praktyka, Wydawnictwo Helion, Gliwice. 2. Bliźniuk G. (2005), Społeczeństwo informacyjne 2005, Nowak Jerzy S. (red.), Wyd. Polskie Towarzystwo Informatyczne, Katowice. 3. Chmielarz W. (2010), Projektowanie systemów informatycznych, Informatyka gospodarcza Tom 1. Warszawa. 4. Frączkowski K., Dabiński A., Grzesiek M. (2011), Raport z polskiego badania projektów IT 2010, http://pmresearch.pl/sites/download, dostęp dnia 11-03-2013. 5. Górniak J., Wachnicki J. (2010), Pierwsze kroki w analizie danych. SPSS for Windows, SPSS Polska, Kraków. 6. Jayaswal B. K., Patton P. C. (2008), Oprogramowanie godne zaufania. Metodologia, techniki i narzędzia projektowania, Helion.

Wpływ udziału użytkownika na jakość użytkową w projektach 591 7. Johnson J. (2007), CHAOS Rising. Standish Group. The Standish Group Report, West Yarmouth. 8. King B. M., Minium E. W. (2009), Statystyka dla psychologów i pedagogów, Wydawnictwo Naukowe PWN, Warszawa. 9. Kisielnicki J., Sroka H. (2001), Systemy informacyjne dla biznesu. Informatyka dla zarządzania, Wydanie II. Agencja Wydawnicza Placet, Warszawa. 10. Nielsen J. (1993), Usability Engineering, Morgan Kaufmann, San Francisco. 11. Nielsen J. (2011), Usability 101: Introduction to Usability. Jakob Nielsen's Alertbox, http://www.useit.com/alertbox/20030825.html, dostęp dnia 25-03-2011. 12. Randall D. M., Fernandes M. F. (1991), The social desirability response bias in ethics research. Journal of Business Ethics, 10, 805-817. 13. Sikorski M. (1996), Quality Models in Usability Evaluation of Business Management Software, In: Proceedings of ECCE 8 - the 8th European Conference of Cognitive Ergonomics, Granada. 14. Sikorski M. (2000), Zarządzanie jakością użytkową w przedsięwzięciach informatycznych, Monografia Nr. 17, Wyd. Politechniki Gdańskiej. 15. Sikorski M. (2010a), Projektowanie interfejsu użytkownika, Informatyka gospodarcza Tom 1, Warszawa. 16. Sikorski M. (2010b), Interakcja człowiek-komputer, Wydawnictwo PJWSTK, Warszawa. 17. Zając K. (1982), Zarys metod statystycznych, Państwowe Wydawnictwo Ekonomiczne, Wydanie III, Warszawa. Streszczenie Artykuł przedstawia wyniki badań przeprowadzonych wśród 30 uczestników projektów informatycznych, reprezentujących różnorodne przedsiębiorstwa. Uzyskane dane zostały poddane analizie ilościowej z wykorzystaniem metody 2, której zadaniem było ocena stopnia korelacji występującego pomiędzy udziałem użytkowników końcowych, a jakością użytkową produktu. Wyniki badań skupiają się wokół poszukiwań rozwiązania problemu określanego w literaturze przedmiotowej mianem konfliktu interesów jakościowych. Słowa kluczowe zarządzanie projektami IT, użyteczność, projektowanie

592 Krzysztof Redlarski, Beata Basińska Impact of User Participation on Usability in IT Projects (Summary) This article presents the results of research conducted among 30 participants in IT projects representing a variety of companies. The data were quantitative analyzed using 2 method. Task of this method was to assess the degree correlation existing between the end-user and the usability of the product. The results cluster around finding a solution of the problem known as a conflict of qualitative interest in the literature. Keywords IT project management, usability, design