Badanie użyteczności (jakości użytkowej) systemów informacyjnych

Transkrypt

1 Badanie użyteczności (jakości użytkowej) systemów informacyjnych Pojęcia i koncepcje normy ISO 9241 Praktyka badań naukowych użyteczności Podziały metod i wskaźników Ocena heurystyczna Kwestionariusze zweryfikowane i standaryzowane (SUMI WAMMI) Podstawowe fakty psychologii poznawczej a użyteczność Eye tracking wskaźniki fizjologiczne jakości użytkowej Cykl życia inżynierii użyteczności (na podstawie Greenberga) Cele: Określić: kim są użytkownicy ich kluczowe zadania środowisko Analiza zadań Metody analizy zadaniowej Metody Analiza i użytkowników działania: Metody analizy użytkowników Ocena Klasyczna wiedza behavioralna- (KW) burza mózgów Użytkownicy Paradygmaty& metafory metody prototypowania (wstępnego) Projekty wstępne (konceptualne) Ocena w oparciu o scenariusze zadaniowe (KW) modele metody projektowe ekranu przewodniki interfejsu przewodniki stylu Projekty (szczegółowe) metody prototypow ania (1:1) użyteczno ści Ocena heurystycz -na Ostateczny projekt Testy + (także z mi) Testowanie Doskonalenie Produkty: Opis zadań, i środowiska Prototypy niskiej jakości odwzorowania Prototypy wysokiej jakości odwzorowania Gotowa wersja implementacji systemu Pojęcia i definicje użyteczność wg ISO 9241 Pojęcia i definicje użyteczność wg ISO 9241 (Praca z monitorami ekranowymi Użyteczność: stopień w jakim dany produkt pozwala danym użytkownikom osiągać cele w sposób skuteczny, wydajny(efektywny) i z zadowoleniem Użytkownik zadanie wyposażenie wynik zamierzony CELE Użyteczność: stopień w jakim są osiągane cele w sposób skuteczny, wydajny(efektywny) i z zadowoleniem Skuteczność: dokładność i kompletność osiągania celów przez użytkowników środowisko kontekst użytkowania wynik uzyskany skuteczność wydajność zadowolenie Efektywność/wydajność: relacja skuteczności i zużywanych zasobów produkt miary użyteczności Zadowolenie/satysfakcja: pozytywny stosunek do produktu

2 Pojęcia i definicje użyteczność wg ISO 9241 Pojęcia i definicje użyteczność wg ISO 9241 Przykłady miar użyteczności Ocena użyteczności proces Całkowita użyteczność Miary skuteczności -procent osiągniętych celów -procent wykonania zadania -średnia dokładność wykonanych zadań Miary efektywności Miary satysfakcji -czas potrzebny do wykonania zadania -ilość zadań wykonanych w jednostce czasu -koszt finansowy wykonania zadania -wielkość oceny zadowolenia -częstość dobrowolnego wykorzystania -częstość skarg Działania Efekty działań Identyfikacja kontekstu Definicje i opisy kontekstu Wybór kryteriów i miar użyteczności Definicje i opis miar Ocena użyteczności Podsumowanie zgodne z kryteriami Przeprojektowanie Ulepszanie/ poprawianie Praktyka badań użyteczności (Hornbaek 2006, Int. J. of H-C Studies) 180 reprezentatywnych prac naukowych Miary (SKUTECZNOŚĆ) Dokładność wykonania zadań % prac Wyjaśnienie 31 Dokładność rozumiana jako pewien sposób wyznaczenia błędów Ilość błędów 26 Ilość błędów w trakcie realizacji zadań albo w rozwiązaniach Jakość uzyskanych wyników Ilość zadań wykonanych 16 Miary jakości uzyskanych rezultatów 13 Ilość prawidłowo zrealizowanych zadań Zrozumienie 10 Rozumienie i uczenie się informacji Przykłady literaturowe Ilość błędnych wyborów ikon, ilość błędów syntaktycznych w wyszukiwarce, ilość poprawnych zadań, procent poprawnych zadań, ilość podpowiedzi potrzebnych do realizacji zadań Testy wielokrotnego wyboru na temat informacji uzyskiwanych z interfejsu Ilość poprawnie wybranych ikon, ilość zadań nie zrealizowanych Standardowe testy uczenia się Praktyka badań użyteczności (Hornbaek 2006) 180 reprezentatywnych prac naukowych Miary (EFEKTYWNOŚĆ) % prac Wyjaśnienie Czas 63 Czas trwania zadania lub jego części, czas przebywania w danym trybie systemu Wzorce używania 24 Pomiary i modele sposobów używania interfejsu Częstotliwość użycia 20 Obciążenie psychiczne Częstość używania funkcji lub akcji 5 Wysiłek umysłowy podczas pracy z systemem Przykłady literaturowe Czas realizacji zadań Ilość uderzeń w klawisze, ilość kliknięć, sekwencje czynności, ilość fiksacji wzroku w AOI, czas użycia klawiatury lub innych urządzeń Trudność zadań, pomiary fizjologiczne zmęczenia, testy standardowe obciążenia (NASA TLX)

3 Praktyka badań użyteczności (Hornbaek 2006 Int Journal H-C Studies) 180 reprezentatywnych prac naukowych Miary (SATYSFAKCJA) Satysfakcja z interfejsu % prac Wyjaśnienie 36 Satysfakcja z użycia lub nastawienie do interfejsu Preferencje 22 Użytkownik wybiera bądź ranguje interfejsy Łatwość użycia 21 Ocena łatwości użycia j.w. Nastawienie do innych osób 11 Miary relacji z innymi mi systemu lub interfejsami traktowanymi jak inni użytkownicy Przykłady literaturowe Kwestionariusze (Skale Likerta)z pytaniami typu: to oprogramowanie jest satysfakcjonujące Zaznacz poziom preferencji, wybierz lepszy, AHP Kwestionariusze (Likert) z pytaniami: poczucie bycia razem, czuję łączność z kolegami z mojego zespołu Metody oceny użyteczności podział 1 Z UŻYTKOWNIKAMI (ocena interpretacyjna) OCENA ILOŚCIOWA Badania laboratoryjne Obserwacje na stanowiskach pracy Ankiety (skale ilościowe) SUMI, WAMMI OCENA JAKOŚCIOWA Wywiady (kontekstowe) Ocena uczestnicząca Ocena etnograficzna JAKOŚCIOWA BEZ UŻYTKOWNIKÓW (ocena predyktywna) Heurystyki (Nielsen Molich) Wędrówka poznawcza (cognitive walkthrough) Listy kontrolne ILOŚCIOWA Analiza zadań + Modele: GOMS KLM Metody oceny użyteczności podział 2 Ocena heurystyczna Skuteczność (wynik działania) Efektywność (proces interakcji) Satysfakcja (nastawienie ) OCENA OBIEKTYWNA Oceny eksperckie, Poziom rozumienia Czasy, Wzorce użytkowania, Łatwość uczenia się Wskaźniki fizjologiczne OCENA SUBIEKTYWNA Oceny wyników Działań przez Obciążenie psychiczne, Percepcja trudności zadań Zweryfikowane Kwestionariusze Systematyczny przegląd interfejsu pod kątem użyteczności Zwykle mieszanka miar z różnych wymiarów USABILITY Metoda - mały zespół oceniających (3 5) sprawdza interfejs używając heurystyk jako struktury sprawdzania indywidualne przeglądy poszczególnych oceniających osobno (~1 2 godziny dla większości interfejsów) porównanie efektów w grupie» średnio pojedynczy oceniający wychwytuje ~35% problemów» 5 osób ok. 75% (rysunek) Kto powinien sprawdzać? - Eksperci - Zespół projektujący - Ewentualnie także użytkownicy Technika używana zarówno dla prototypów (papierowych i symulacyjnych) jak i pracujących systemów

4 Ocena heurystyczna Heurystyki 1. Prosty i naturalny dialog 2. Stosowanie języka 3. Minimalizacja obciążenia pamięci 4. Spójność 5. Potwierdzenia akcji Podsumowanie 6 studiów przypadku Nielsena ilość oceniających a efekty wyrażone proporcją znalezionych problemów 6. Jasno określone wyjścia 7. Skróty 8. Obsługa błędów pomocna i pozytywna 9. Help Heurystyki 1.prosty i naturalny dialog Dopasuj projekt w maksymalnym stopniu do zadań - minimalizuj odwzorowania między interfejsem a semantyką zadań Heurystyki 1.prosty i naturalny dialog Prezentuj dokładnie te informacje, które są niezbędne im mniej tym lepiej informacje powinny pojawiać się w naturalnym porządku usuń lub ukryj informacje rzadko używane lub nie związane z danym stanem systemu

5 Heurystyki 2. język Używaj terminologii zgodnej z terminologią zadań Heurystyki 3. minimalizacja pamięci Stosuj rozpoznanie i wybór zamiast przypominania Używaj zrozumiałych skrótów, ikon, mnemoników, podpowiedzi - np File / Save Ctrl + S (skrót) Alt FS (mnemonik dla opcji menu) Open folder (podpowiedź do ikony) Heurystyki 3. minimalizacja pamięci Heurystyki 4. spójność Opisuj wymagany format wejścia, pokazuj przykłady i wartości domyśne Spójność dialogu Spójność języka i grafiki (fizyczna) Ok Cancel Cancel Ok Ok Done Never Mind Accept Dismiss Cancel CONNECT MODEM

6 Heurystyki 4. spójność Zdarzają się etykiety w kształcie przycisku. Heurystyki 5 Potwierdzenia 5. potwierdzenia akcji działań Użytkownik powinien być stale informowany o tym: - co się dzieje - jak system interpretuje jego działania Jest oczywiste że użytkownik będzie próbował klikać w nie. What s it doing? > Doit > Doit This will take 5 minutes... Time for coffee Heurystyki 5. potwierdzenia działań W jakim stanie jest system? Heurystyki 5. potwierdzenia działań Powinny być tak precyzyjne jak tylko można bazując na informacjach wprowadzonych przez Co wybrałem? Jak system interpretuje moje działanie? 23 Najlepiej w kontekście działania

7 Heurystyki 5. potwierdzenia działań Czas odpowiedzi - użytkownicy postrzegają opóźnienia odpowiedzi następująco 0.1 sek. max: postrzegane jako natychmiastowa odpowiedź 1 sek. max: tok myślenia jest niezaburzony, ale opóźnienie zauważalne 10 sek: granica utrzymania uwagi skoncentrowanej na dialogu > 10 sek: użytkownik chciałby wykonywać inne czynności w trakcie oczekiwania Heurystyki 6 Jasno określone 6. wyjścia wyjścia jasno określone Użytkownicy nie lubią czuć się w danym stanie systemu jak w pułapce! - łatwy sposób wyjścia powinien być oferowany gdzie tylko możliwe Strategie: - Cancel (dla dialogów oczekujących na dane od ) - Uniwersalne Undo (powrót do poprzedniego stanu) - Przerwa (specjalnie dla długo trwających operacji) - Quit (możliwość wyjścia w dowolnym miejscu i czasie) Heurystyki 7 Skróty 7. skróty Doświadczeni użytkownicy powinni mieć możliwość szybkiego wywołania często używanych operacji Strategie: - akceleratory klawiszowe i działania myszy skróty komendy skróty do menu klucze funkcyjne podwójne kliknięcia i specjalne manipulatory myszy - dostosowywanie interfejsu do swoich potrzeb -wpisywanie wyprzedzające(wprowadzanie danych wejściowych zanim system jest gotowy na ich przyjęcie) - skoki nawigacyjne i zarządznie historią np. omijanie pośrednich stanów i przeskakiwanie do konkretnych lokalizacji/okien WWW: ~60% stanowią rewizyty 27 Heurystyki 7. skróty Akceleratory menu (skróty) Dostosowywanie pasków narzędzi do swoich potrzeb Podwójny klik wywołuje menu pasków narzędzi Podwójne kliknięcia dla wywołania menu obiektu Przyspieszanie przewijania

8 Heurystyki 8. obsługa błędów Heurystyki 8. obsługa błędów Ludzie będą popełniać błędy! - Błędy świadome (mistakes) - powstają ze świadomego (błędnego) rozumowania które prowadzi do błędnego zamiast prawidłowego rozwiązania - Pomyłki i potknięcia (slips) - nieświadome zachowania prowadzące do utraty prawidłowego kierunku działania celowego Adobe ImageReady Microsoft's Word AutoCAD Microsoft NT Operating System Heurystyki 8. obsługa błędów Zapobiegaj możliwym błędom Dostarczaj rozsądnych testów analizujących wprowadzane informacje - np. zamówienie na materiały biurowe 5000 ołówków to niezwykle duże zamówienie. Czy rzeczywiście zamierzasz tyle zamówić? 31 SUMI i WAMMI rzetelne i trafne (zestandaryzowane) kwestionariusze oceny użyteczności WYMIARY Skuteczność - Efficiency (software wspomaga w zadaniach) Odczucia - Affect (lubię / nie lubię) [Attractiveness WAMMI] Samoopisywalność - Helpfulness (dobre systemy pomocy, samoopisywalność) Sterowalność - Control (użytkownik steruje systemem a nie odwrotnie) Łatwość uczenia się - Learnability (szybkość i łatwość opanowania) Ocena ogólna General component Software było oceniane w wielu krajach i oceny zestandaryzowano wprowadzając średnią 50, z odchyleniem standardowym 10 (to definiuje rozkład ocen!)

9 Rzetelność, trafność i standaryzacja kwestionariuszy Nietrafny Nierzetelny Rzetelny Standaryzacja SUMI SUMI rzetelny i trafny (zestandaryzowany) kwestionariusz oceny użyteczności Subjective Usability Measurement Inventory PRZYKŁADY PYTAŃ Analiza Wariancji Trafny Cronbach alfa % wyników 95 % wyników Średnia = 50, Sigma = This software responds too slowly to inputs. The instructions and prompts are useful. The way that system information is presented is clear and understandable. I would not like to use this software every day WAMMI rzetelny i trafny (zestandaryzowany) kwestionariusz oceny użyteczności stron www WAMMI rzetelny i trafny (zestandaryzowany) kwestionariusz oceny użyteczności stron www Website Analysis and MeasureMent Inventory

10 SUMI rzetelny i trafny (zestandaryzowany) kwestionariusz zastosowanie USA Fizjologia podstawowe własności wzroku strefy funkcjonalne wzroku OKO Strefa peryferyjna (do ponad 90 st) detekcja (ruch, zmiany w siatkówce pręciki i komórki amakrynowe) OKOŁO 5 stopni strefa centralna percepcja (w siatkówce czopki, komórki horyzontalne) Przykład : Ekran w odległości 50 cm tg 5stopni = 0.87 Pole percepcji 50*0.87=ok. 4.4 cm (średnica) Fizjologia podstawowe własności wzroku Konsekwencje Psychologia poznawcza pamięć Kryteria i miary wynikające z fizjologii wzroku Ilość informacji (Badania Tullisa) Informacje Pamięć sensoryczna wizualna (ikoniczna) Pamięć operacyjna (krótkotrwała) Pamięć długotrwała Ilość grup informacji oraz ich geometryczne akustyczna wymiary i kształty (5 stopni jako wzorzec) Racjonalizacja ruchu i zmian dynamicznych grafiki prezentacyjnej HIPOTEZA: przetwarzanie przeduwagowe przetwarzanie sterowane uwagą

11 Psychologia poznawcza zasady Gestalt (preatentywizm?) a) otoczenie b) symetria c) wypukłość d) orientacja e) światło i kontrast f) obszar Psychologia poznawcza zasady Gestalt Bliskość Podobieństwo Ciągłość Zamknięcie Psychologia poznawcza mapy gęstości fiksacji Psychologia poznawcza preatentywizm eksperyment Bichota

12 Psychologia poznawcza przykład schematu działania preatentywizmu duży niebieski obiekt (Wolfe, Treismann 2000) Psychologia poznawcza pamięć operacyjna Pamięć operacyjna (krótkotrwała) główny czynnik realizujący procesy poznawcze i limitujący ich sprawność. Najprostszy eksperyment dokumentujący ograniczenia badanie rozpiętości pamięci krótkotrwałej poprzez zapamiętywanie ciągu cyfr. Charakterystyki: A) Odświeżanie obiekty w PAO mogą być przechowywane przez minuty jeśli są odświeżane (świadomie lub nie) eksperymenty z trigramami (rysunek) B) Kodowanie elementy pamiętane są kodowane ikonicznie lub/i akustycznie; znaki alfanumeryczne kodowane są głównie akustycznie (!) eksperymenty z zapamiętywaniem liter i cyfr wykazały pomyłki podobnych akustycznie nawet jeśli były prezentowane wyłącznie wizualnie Psychologia poznawcza pamięć operacyjna C) Pojemność PRAWO MILLERA : 7 +/- 2 Dokładnie tak dla pojedyńczych liter lub cyfr. Ogólniej dotyczy PORCJI (CHUNKS) D) Przeszukiwanie wyczerpujące przeszukiwanie wszystkich elementów eksperyment czy dana cyfra jest w PAO Psychologia poznawcza pamięć operacyjna konsekwencje własności Kryteria i miary wynikające z wiedzy psychologii poznawczej - PAO Ilość informacji prawo Millera (ilość porcji informacji na stronie w grupie w menu ) Użycie preatentywizmu kolor, ruch, grupowanie, zasady psychologii Gestalt

13 Półkule specjalizacja R. Sperry (lata 60 te Nobel 1981) Półkule specjalizacja przykład badania Badanie Janiszewskiego (1990) 4 skale preferencji (dobry zły, można lubić nie można lubić, przyjemny nieprzyjemny, interesujący nieinteresujący) 1 2 Rysunek Informacja