Session Based Testing Czyli eksploracyjne testowanie w sesjach Karolina Bilewska PapryQArz 16.09.2015
AGENDA 1. Geneza SBT 2. Pojęcie SBT, zasady testów w sesjach 3. Jak zarządzać testami w sesjach? 4. Przegląd narzędzi do testowania w sesjach 5. Prezentacja Rapid Reporter z dodanymi zmianami 6. Problemy w testowaniu w sesjach 7. Podsumowanie
Geneza SBT Testy eksploracyjne Jednoczesna nauka, projektowanie, interpretowanie Brak formalizmu Popularność Problemy przy testach eksploracyjnych Brak pracy z dokumentacją Zmiany w procesie testowym Brak raportów z testów Pokrycie testami? Monitoring testów? Powstanie SBT James i Jonathan Bach autorzy podejścia Session Based Testing
Session Based Testing Definicja Testowanie w sesjach podejście do testowania, w którym zadania testowe są planowane jako nieprzerywalne sesje projektowania i wykonywania testów, używane w połączeniu z testowaniem eksploracyjnym. Krótsze odcinki czasu Zyski z podejścia Łatwiejsze monitorowanie procesu testowania Dokładne zdefiniowane zadania
Porównanie definicji zadania SBT vs Eksploracja Zadanie: Przetestować stronę PapQArz.org Jasno widoczny cel W podejściu sesyjnym: 4 sesji x 30 minut Do przetestowania: - Sprawdzić wyświetlanie galerii we wpisie relacji z warsztatów na Rails Girls - Sprawdzić możliwość pobrania prezentacji, oraz obejrzenia wideo relacji w zakładce lista spotkań - Sprawdzić wyświetlanie banerów oraz czy mają podpięte poprawne strony - Sprawdzić możliwość dodania komentarza, wraz z walidacjami
Podstawowe elementy testowania w sesjach Misja - cel/zadanie/scenariusz - realizowany w ramach sesji. Tester Czas trwania - imię i nazwisko, nazwa użytkownika lub inny identyfikator osoby realizującej daną sesję. - długość sesji 30-120 min (domyślnie 90 minut), możliwość wydłużenia Metryka TBS - procentowy podział czasu sesji 60/20/20 (T tests, B bugs, S setup) Notatki Misja vs eksploracja - aktywności testera (błędy, dane testowe, pytania, pomysły, napotkane problemy, komentarz, konfiguracja) - należy pamiętać że testowanie w sesjach to nadal eksploracja, w przypadku źle zdefiniowanego celu testów, należy zmienić cel w trakcie sesji
Zasady testowania w sesjach Nieprzerywalność każdy pracownik jest wydajniejszy jeśli nie jest wielokrotnie odrywany od celu Weryfikowalność dzięki raportom dostarczane jest wiele informacji o przebiegu testów Dobrze ustalony cel w podejściu sesyjnym jest jasno ustalony cel Ilość sesji autorzy założyli że jakość sesji jest utrzymywana pod warunkiem nie przekraczania 3 sesji dziennie. Nie trzymajmy się kurczowo misji jeśli zauważymy poważny problem odbiegający od celu sesji należy go sprawdzić
Zarządzanie testami w sesjach Jakie informacje możliwe są do wyciągnięcia z raportów zespołu? Postęp prac Problemy przy testach Wdrożenie nowej osoby Problemy blokujące prace Określenie ilości sesji do funkcjonalności Określenie metryki TBS Podejście sesyjne umożliwia również łatwe określanie Priorytetów.
Narzędzia do testowanie w sesjach JIRA Capture Session Creator https://confluence.atlassian.c om/display/capture/jira+ Capture+Installation+Guide https://sites.google.com/sit e/sessioncreator/ + Duże możliwości konfiguracyjne, - Wymagany zakup licencji + Duże możliwości konfiguracyjne, - Mało przejrzyste wyglądające raporty z sesji. Session Tester http://sessiontester.openqa.org/ + Możliwość pauzowania sesji, - Brak możliwości konfiguracji, - Mało przejrzyste raporty. Rapid Reporter http://testing.gershon.info/r eporter/ + Minimalistyczny interfejs, + Możliwości konfiguracji, + Możliwość prezentowania raportów w różnych formatach, - Brak możliwości zrzutów zaznaczonego kawałka ekranu, - Brak możliwości dopasowania raportu.
Dostosuj narzędzie do twoich potrzeb Rapid Reporter Napisany w C#/WPF Na licencji LGPL Dostępny kod Możliwość wprowadzenia zmian
Prezentacja narzędzia Rapid Reporter z wprowadzonymi małymi zmianami
Częste problemy podczas testowania w sesjach Ciężko wyegzekwować nieprzerywalność sesji. Trudno uzyskać właściwy poziom szczegółowości Brak przeglądu raportów z sesji.? Źle zdefiniowane cele sesji.
Podsumowanie Jednostką pracy w testach eksploracyjnych z podziałem na cele jest sesja. Maksymalny czas 120 min, domyślnie 90 min. Raport z sesji powinien zawierać informacje o problemach, testach i pomysłach na następne. Konieczny jest przegląd raportów i feedback do zespołu. Testowanie w sesjach nie rozwiąże problemów w zespole testerskim, tak samo jak inne rozwiązania wymaga zaangażowania. Do efektywnego wdrożenie SBT konieczne są narzędzia wspomagające prace. $
Źródła http://sjsi.org/slowo/testowanie-w-sesjach/ http://www.slideshare.net/lodqa/testwarez-2013-session-based-testing-v2 http://testerzy.pl/baza-wiedzy/testowanie-eksploracyjne-w-sesjach http://testerzy.pl/baza-wiedzy/czym-jest-testowanie-eksploracyjne http://www.satisfice.com/articles/sbtm.pdf http://www.nl2.pl/wp-content/uploads/2013/03/eksploracja-jaskini-orda-2.jpg http://th.interia.pl/51,gdc28b3e12909916/i745837.jpg http://i2.wp.com/testing.gershon.info/wp-content/uploads/rapidreporteruserguide.jpg https://sites.google.com/site/sessioncreator/ http://sessiontester.openqa.org/ http://testing.gershon.info/reporter/
Dziękuję za uwagę