Testy z udziałem użytkowników Problem moderowania eryk orłowski dyrektor zarządzający @ Komitywa.com
agenda» Role moderatora» Zaangażowanie vs. cel badania» Wywiad wstępny» Niech mówią» Protokół głośnego myślenia» Dopytywanie» Zagrzewaj do boju» Wsparcie dla użytkowników» Po sesji badawczej» Używam komputera za pomocą żony» Jak unikać uprzedzeń» Oglądaj nagrania z własnych sesji 2
Role moderatora badań» Sympatyczny gospodarz» Lider» Neutralny obserwator Nie pozwól, by sympatyczny gospodarz w Tobie zagadał Twoich użytkowników Użytkownicy oczekują od Ciebie wykonywania roli przewodnika, ale pozostaw ich w roli ekspertów 3
Zaangażowanie w interackję vs. cel badania» Mniej interakcji, jeżeli: Interesuje Cię czas wykonania zadań testujesz zaawansowane makiety, poszukując błędów» Więcej interakcji, jeżeli: Testujesz wczesne koncepcje, wymagające omówień 4
Wywiad wstępny» Wykorzystuj wywiad do oswojenia respondentów z sytuacją» Pozwól opowiedzieć dwa zdania o sobie, sposobach użytkowania podobnych produktów 5
Niech mówią» Nie konwersuj, słuchaj» Przekazuj pałeczkę, jeżeli to konieczne» Zanim zapytasz, policz do dziesięciu ;-)» Respondenci często oczekują potwierdzenia albo odpowiedzi na problem odpowiadaj po zakończeniu sesji, proś o kontynuowanie zadań 6
Protokół głośnego myślenia (think aloud protocol)» Proś o opisywanie oczekiwań w stosunku do testowanych elementów/funkcji» Proś o komentarze w czasie sesji Na co Pan/i patrzy? Co się wydarzyło?» Unikaj pytania o przyczyny decyzji użytkownika w czasie wykonywania zadań (sugerują błąd) 7
Dopytywanie Dopytuj, jeżeli chcesz :» upewnić się, że respondent rozumie koncepcję» dowiedzieć się, dlaczego użytkownicy wybrali określoną opcję» zorientować się, czy efekt jest zgodny z oczekiwaniami» dowiedzieć się, czy użytkownicy zauważyli dany element (lepiej użyj eye-trackera ;-) Zasada:» Wyrażaj ciekawość, a nie pytaj wprost (vide: unikaj pytania o przyczyny) 8
Zagrzewaj do boju ;)» Udzielaj pozytywnej informacji zwrotnej PO wykonaniu zadania» Mów o formie, nie odnosząc się do treści Pani komentarz był bardzo pomocny Bardzo dobrze sobie Pan poradził z tym zadaniem!» Użytkownicy bardzo lubią obwiniać siebie samych za napotykane problemy z wykonaniem zadania Wszyscy mają problem z tym zadaniem (umniejsza wagę problemu) Nie jednocz się w bólu z użytkownikiem (wzmacnia negatywną reakcję i może wpływać na kolejne zadania i komentarze) 9
Wsparcie dla użytkowników» Udzielaj wsparcia/interweniuj, jeżeli: Respondent utknął, a problem został już zdiagnozowany Użytkownik zabrnąć zbyt głęboko w błędną ścieżkę Użytkownik sądzi, że wykonał zadanie, którego nie wykonał (jeżeli zależy Ci na wykryciu dalszych problemów) użytkownik wykonuje zadanie według nieoczekiwanego scenariusza (np. używa funkcji wyszukiwania zamiast przeglądania)» Nie tłumacz intencji projektantów Jeżeli użytkownik błędnie zinterpretował przeznaczenie danej funkcji / znaczenie etykiety, możesz na koniec wyjaśnić zamierzenia i poprosić o opisanie pożądanej przez użytkownika formy» Możesz przypominać treść zadania» Analizując materiał, pamiętaj o udzielonym wsparciu 10
Po sesji badawczej...» Wyjaśnij to, czego nie mogłeś/aś podczas badania Zorientujesz się, czy użytkownicy zrozumieli właściwie koncepcję» Pozwól stronom trzecim zamienić kilka zdań z respondentem (klient, projektant, it developer) Twoi klienci bądź IT rzadko mają okazję zobaczyć żywego użytkownika, mogą mieć pytania o przebieg konkretnych zadań 11
- Używam komputera za pomocą żony.» Na pewno zdarzy Ci się trafić na nietypowych respondentów Problemy nie muszą wiązać się z intelektem respondentów (np. problemy z uczeniem się interfejsu, dysleksja) Tylko część użytkowników przyznaje się do problemów» Daj nietypowym respondentom więcej czasu na zrozumienie zadań» Nie oczekuj zbyt wiele po komentarzach głosowych» Nie każ wypełniać ankiet osobiście 12
Jak unikać uprzedzeń» Trzymaj się skryptu (jeżeli to możliwe)» Zadawaj pytania otwarte» Postaraj się zadawać te same pytania wszystkim respondentom» Odpowiadaj pytaniem na pytanie Czy to jest to, co powinienem kliknąć? A co Pan sądzi na ten temat? 13
Oglądaj nagrania z własnych sesji» Prawie nikt nie lubi oglądać i słuchać siebie samego na ekranie Analiza materiałów z własnych sesji badawczych to najlepszy sposób na unikanie przyszłych błędów 14
Na podstawie...» Moderating Usability Tests, Principles & Practices for Interacting Joe Dumas, Beth Loring, Copyright Elsevier Inc.» Liczne doświadczenia własne 15
Dziękuję za uwagę http://tnij.org/moderowanie eryk orłowski @ Komitywa.com eryk@komitywa.com 605 103 742 gg# 2765