Testowanie według modelu (MBT) Stowarzyszenie Inżynierii Wymagań wymagania.org.pl

Transkrypt

1 Testowanie według modelu (MBT) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 1 (48)

2 Pozdrawiam Best regards Med vänliga hälsningar Bogdan Bereza Skype: bogdan.f.bereza Web: victo.eu blogomotion.com blogomocja.blogspot.com kvalitologi.blogspot.com qualitology.blogspot.com blogomocja.blogspot.com/2014/06/wiecej-o-automatyzacji-testow-z-modelu.html Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 2 (48)

3 Nowa jakość w IT 1(2) wymagania.org.pl kontakt@wymagania.org.pl Grupa LinkedIn Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 3 (48)

4 Nowa jakość w IT 2(2) RE-challenge.pl Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 4 (48)

5 Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 5 (48)

6 Mapa prezentacji Projektowanie testów - źródła testów Poziomy automatyzacji testów Automatyczne projektowanie testów Automatyczne projektowanie testów z modelu (MBT) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 6 (48)

7 Projektowanie i źródła testów Projektowanie testów - źródła testów Poziomy automatyzacji testów Automatyczne projektowanie testów Automatyczne projektowanie testów z modelu (MBT) Projektowanie źródła testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 7 (48)

8 Źródła przypadków testowych Oczywiście, wymagania Oczywiście, eksploracja (gdy wymagań brak, lub poza wymagania) Oczywiście, pomysły biznesowe ( czarna skrzynka ) oraz techniczne ( biała skrzynka ) No i z modeli formalnych Projektowanie źródła testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 8 (48)

9 Korzyści testów z modeli Są systematyczne (mniejsze ryzyko opuszczenia czegoś) Można precyzyjnie kalibrować ich staranność wg różnych kryteriów pokrycia modeli Niezależne od psychologii Weryfikacja (poprawności) modelu Można je generować automatycznie Projektowanie źródła testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 9 (48)

10 Ryzyka i ograniczenia testów z modeli Nie będą bardziej dokładne, niż sam model Testują tylko jeden aspekt działania systemu (którego model dotyczy) Wiele z nich jest bezużytecznych Dają fałszywe poczucie bezpieczeństwa Nie uwzględniają doświadczenia ludzi Projektowanie źródła testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 10 (48)

11 MBT w kontekście automatyzacji Fascynacja automatyzacją wykonywania testów przesłania inne możliwości Z modelu wymagań można niekiedy tworzyć automatycznie i kod, i testy Automatyczne projektowanie testów nie wyklucza projektowania innymi metodami (przeciwnie!) Projektowanie źródła testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 11 (48)

12 Poziomy automatyzacji Projektowanie testów - źródła testów Poziomy automatyzacji testów Automatyczne projektowanie testów Automatyczne projektowanie testów z modelu (MBT) Poziomy automatyzacji testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 12 (48)

13 Co można automatyzować? Projektowanie testów Przygotowanie skryptów Przygotowanie danych i środowiska Wykonywanie testów (oraz ich raportowanie) Poziomy automatyzacji testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 13 (48)

14 Rozwiązanie najpowszechniejsze Projektowanie testów Przygotowanie skryptów Przygotowanie danych i środowiska Wykonywanie testów Poziomy automatyzacji testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 14 (48)

15 Jak tworzy się skrypty testowe? Popularna, zawodna metoda: zarejestruj-odtwórz Albo programowanie Aspekty programowania skryptów: Metody strukturalne, obiektowe Gotowe biblioteki Sterowane danymi Poziomy automatyzacji testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 15 (48)

16 I co dalej? Zaprogramowane skrypty do wielokrotnego użytku można udostępniać jako gotowe klocki do tworzenia z nich testów Testy automatyczne z takich klocków może tworzyć tester, nie mający umiejętności programowania (np. z biznesu) Poziomy automatyzacji testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 16 (48)

17 ATDD, czyli słowa-klucze Projektowanie testów Przygotowanie skryptów Przygotowanie danych i środowiska Wykonywanie testów Poziomy automatyzacji testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 17 (48)

18 Programy z klocków 1(5) To podejście ma wiele wariantów, nazw i twarzy: Metoda słów-kluczy: Poziomy automatyzacji testów (testwarez.pl 2014) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 18 (48)

19 Programy z klocków 2(5) Metoda test frames : Poziomy automatyzacji testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 19 (48)

20 Programy z klocków 3(5) Jak to działa? Test specifikation Test Test specifikation Specyfikacja specifikation testu Test specifikation Wykonywalny Test Test specifikation specifikation skrypt testowy Poziomy automatyzacji testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 20 (48)

21 Programy z klocków 4(5) HP BPT duży przykład komercyjny Poziomy automatyzacji testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 21 (48)

22 Programy z klocków 5(5) A(ATDD): popularne w agile ATDD to nie tylko automatyzacja! Poziomy automatyzacji testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 22 (48)

23 ATDD to nie tylko automatyzacja Inna nazwa: specyfikacja przykładami ( specification by example ) Testy jako uzupełnienie wymagań xtdd najpierw tworzy się testy, potem kod, który je realizuje Automatyczne testy Realizowane w sposób Poziomy automatyzacji testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 23 (48)

24 I w końcu najwyższy etap: Projektowanie testów Przygotowanie skryptów Przygotowanie danych i środowiska Wykonywanie testów Poziomy automatyzacji testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 24 (48)

25 Różne konfiguracje Projektowanie testów Przygotowanie Wykonywanie testów Projektowanie testów Przygotowanie Wykonywanie testów Poziomy automatyzacji testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 25 (48)

26 Automatyczne projektowanie Projektowanie testów - źródła testów Poziomy automatyzacji testów Automatyczne projektowanie testów Automatyczne projektowanie testów z modelu (MBT) Automatyczne projektowanie testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 26 (48)

27 Automatyczne projektowanie 1. Z kodu źródłowego 2. Z interfejsu GUI 3. Ze śledzenia aktywności 4. Z modelu wymagań (strukturalnego lub behawioralnego) Automatyczne projektowanie testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 27 (48)

28 1. Z kodu źródłowego Sterownik testowy Kod do testowania Pomiar pokrycia kodu Stubbar Stubbar Zaślepki Automatyczne projektowanie testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 28 (48)

29 Np. Cantata C & C++ Development host and embedded targets Re-usable test harness Test script generation written in C/C++ Automated regression testing Automatic generation of unit tests for legacy C code Code coverage analysis available for C/C++ and Java Automatyczne projektowanie testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 29 (48)

30 Np. PARASOFT C/C++ test Automatyczne projektowanie testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 30 (48)

31 2. Z interfejsu GUI Na przykład, cała plejada narzędzi do testów WWW na podstawie analizy kodu HTML: Kontrola linków (statyczna) analiza kodu języka znaczników Automatyczne projektowanie testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 31 (48)

32 3. Ze śledzenia aktywności Numer jeden: wszystkie narzędzia zarejestruj-odtwórz (capture-replay) o ile poza odtwarzaniem testów wykonanych potrafię też uzupełniać je dalszymi testami Na przykład narzędzia do testów wydajnościowych, do wirtualizacji, i inne Automatyczne projektowanie testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 32 (48)

33 4. Z modeli Z modeli strukturalnych, albo modeli działania (behawioralnych, funkcjonalnych) ciąg dalszy w następnym rozdziale Automatyczne projektowanie testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 33 (48)

34 MBT Projektowanie testów - źródła testów Poziomy automatyzacji testów Automatyczne projektowanie testów Automatyczne projektowanie testów z modelu (MBT) Automatyczne projektowanie testów z modelu (MBT) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 34 (48)

35 MBT - podstawy en.wiki pl.wiki nie ma To już znamy Model, to na przykład diagram przypadków użycia, albo przejść stanów A te wymagania testowe? Automatyczne projektowanie testów z modelu (MBT) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 35 (48)

36 Hej, pamiętacie? Pokrycie zero-, jednio i dwuprzełącznikowe diagramu przejść stanów? Albo różne miary pokrycia kodu źródłowego? To są właśnie wymagania testowe, sterujące procesem generowania testów Automatyczne projektowanie testów z modelu (MBT) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 36 (48)

37 Przepływ danych MTB (generator testów) Wywołanie Zarządzanie testami Tworzenie skryptów Przypadki testowe (np. w UML) Raporty testowe (wyniki testów) Skrypty testowe (w języku robota) Automatyczne projektowanie testów z modelu (MBT) Wykonywanie i raportowanie testów Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 37 (48)

38 Przykład: Łańcuchy Markowa Można łączyć z narzędziami: CANoe, NI Teststand, EXAM, eggplant, Selenium, QTP, TTCN-3, C++, C#, Python [ ] Automatyczne projektowanie testów z modelu (MBT) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 38 (48)

39 Typy generowanych testów 1(2) Najbardziej prawdopodobne Według modelu rozkładu prawdopodobieństwa Skoncentrowane na wybranych obszarach (wysokiego ryzyka) Automatyczne projektowanie testów z modelu (MBT) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 39 (48)

40 Typy generowanych testów 2(2) Pokrycie kombinacji przejść (krawędzi) = pokrycie ścieżek o określonych długościach Pokrycie operacyjne = pokrycie scenariuszy znanego profilu użytkowania Automatyczne projektowanie testów z modelu (MBT) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 40 (48)

41 maksimum Liczba awarii Zastosowanie do SUT odrzucić Zbyt źle OK przyjąć wszystkie Liczba wykonanych testów Automatyczne projektowanie testów z modelu (MBT) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 41 (48)

42 Testowanie ścieżek B A D C E Automatyczne projektowanie testów z modelu (MBT) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 42 (48)

43 Inne ciekawe narzędzia 1(2) Darmowy Do zainstalowania Automatyczne projektowanie testów z modelu (MBT) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 43 (48)

44 Inne ciekawe narzędzia 2(2) robertvbinder.com/open-source-toolsfor-model-based-testing/ Automatyczne projektowanie testów z modelu (MBT) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 44 (48)

45 Pozdrawiam Best regards Med vänliga hälsningar Bogdan Bereza Skype: bogdan.f.bereza Web: victo.eu blogomotion.com blogomocja.blogspot.com kvalitologi.blogspot.com qualitology.blogspot.com blogomocja.blogspot.com/2014/06/wiecej-o-automatyzacji-testow-z-modelu.html Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 45 (48)

46 Nowa jakość w IT 1(2) wymagania.org.pl kontakt@wymagania.org.pl Grupa LinkedIn Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 46 (48)

47 Nowa jakość w IT 2(2) RE-challenge.pl Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 47 (48)

48 Testowanie według modelu (MBT) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 48 (48)