Automatyczne generowanie testów z modeli. Bogdan Bereza Automatyczne generowanie testów z modeli

Wielkość: px

Rozpocząć pokaz od strony:

Download "Automatyczne generowanie testów z modeli. Bogdan Bereza Automatyczne generowanie testów z modeli"

Bernard Grzelak
5 lat temu
Przeglądów:

1 Automatyczne generowanie testów z modeli Numer: 1 (33)

2 Rozkmina: Projektowanie testów na podstawie modeli (potem można je wykonywać ręcznie, lub automatycznie zwykle chce się automatycznie) A ja mówię o automatycznym projektowaniu Numer: 2 (33)

3 Jak tworzyć testy automatycznie? Generowanie testów z kodu źródłowego Nagrywanie Z modeli Numer: 3 (33)

4 Z kodu źródłowego 1(5) int pięćset_plus(int dochód) { wynik dochód + 500; ładniepokażwynik(wynik); return(wynik); } Numer: 4 (33)

5 Z kodu źródłowego 2(5) Sterownik testowy: testuj() { wynik=pięćset_plus(0); wynik=pięćset_plus(10000); } Numer: 5 (33)

6 Z kodu źródłowego 3(5) Zaślepka testowa: ładniepokażwynik(wynik) { sendtors232(wynik); } Numer: 6 (33)

7 Ograniczenia However, these methods usually cannot generate the expected output for these inputs, as they do not have a specification or model. These methods usually try to satisfy kind of coverage (e.g. different branches and paths of the code under test) Numer: 7 (33)

8 Z kodu źródłowego 4(5) testuj2 (kwota,wynik) { assertequal(wynik, pięścet_plus(kwota); } Numer: 8 (33)

9 Z kodu źródłowego 5(5) plik:(-1,499) (0,500) (500,1000) (-500,0) (10000,10500) testuj2(read(plik),read(plik)); Numer: 9 (33)

10 Nagrywanie interfejsu 1(3) Numer: 10 (33)

11 Nagrywanie interfejsu 2(3) Numer: 11 (33)

12 Nagrywanie interfejsu 3(3) send(1); assertreceive(11, 300ms); send(606); assertreceive(null, 300ms); send(1000); send(0); assertreceive(0, 300ms); Numer: 12 (33)

13 Z modelu 1(2) 1 B 2 A D 4 C Numer: 13 (33)

14 Z modelu 2(2) checkstate(a); apply(1); checkstate(b); apply(2); checkstate(d); apply(4); checkstate(a); apply(5); checkstate(c); Numer: 14 (33)

15 Jakie to proste! Proste i zaskakująco niepopularne Choć możliwości są: A test is generated for the basic path and each alternate and exception path in the scenario, and added to the selected element. In addition, for each step in the basic, alternate and exception paths that has a value in the Results column, a test is generated and added to the selected element. Numer: 15 (33)

16 en.wikipedia.org/wiki/model-based_testing Istniejące narzędzia do generowania testów z modeli najczęściej wykorzystują diagramy przejść stanów lub łańcuchy Markowa: Bogdan Bereza Automatyczne generowanie testów 7E. Narzędzie z modeli Numer: 16 (33)

17 Zastosowanie do SUT maksimum Liczba awarii odrzucić Zbyt źle OK przyjąć wszystkie Liczba wykonanych testów Numer: 17 (33)

18 mit.bme.hu/~micskeiz/pages/modelbased_testing.html I. Modele II. Import modeli z innych narzędzi III. Algorytmy tworzenia testów Numer: 18 (33)

19 I. Modele I. Modele II. Import modeli z innych narzędzi III. Algorytmy tworzenia testów C# Modele tekstowe w formie języka typu Gherkin XML Diagramy UML Łańcuchy Markowa Diagramy stanów Matlab Diagramy BPMN Java Sieci Petriego SysML Modele własne MatthWorks Simulink Phyton Numer: 19 (33)

20 II. Import modeli z innych narzędzi I. Modele II. Import modeli z innych narzędzi III. Algorytmy tworzenia testów Także: eksport testów do różnych narzędzi From several modeling tools Multiple formats Narzędzia UML Narzędzia BPM Numer: 20 (33)

21 III. Algorytmy tworzenia testów Kombinacje I. Modele II. Import modeli z innych narzędzi III. Algorytmy tworzenia testów Według modelu rozkładu P pokrycie strukturalne statement, branch, path, condition Typowe scenariusze Obszary ryzyka Numer: 21 (33)

22 robertvbinder.com/open-source-tools-for-model-based-testing/ Bogdan Bereza Automatyczne generowanie testów 7E. Narzędzie z modeli Numer: 22 (33)

23 MBT - podstawy en.wiki pl.wiki nie ma To już znamy Model, to wiemy A te wymagania testowe? Numer: 23 (33)

24 Przepływ danych MTB (generator testów) Wywołanie Zarządzanie testami Tworzenie skryptów Przypadki testowe (np. w UML) Raporty testowe (wyniki testów) Skrypty testowe (w języku robota) Wykonywanie i raportowanie testów Numer: 24 (33)

25 Przykład: Łańcuchy Markowa Można łączyć z narzędziami: CANoe, NI Teststand, EXAM, eggplant, Selenium, QTP, TTCN-3, C++, C#, Python [ ] Numer: 25 (33)

26 2. Generowanie testów z modeli BPMN Próby i badania: "test generation from bpmn" Numer: 26 (33)

27 Testy statyczne 1(2) Kodu no tak, nie tyle generują testy, co mają wbudowane pewne gotowe reguły, które potrafią automatycznie zastosować dla kodu Modeli - podobnie Numer: 27 (33)

28 Testy statyczne kodu 2(2) procedure funny_procedurę integer a, b, c, x; a 7; b d / 7; x 9; printf ( %d\n, b); x 17; b x / b; end funny_procedurę; Numer: 28 (33)

29 Jeszcze testy statyczne modeli Oczywiście, błędy składni Obliczanie złożoności Obliczanie długości ścieżek Dla diagramów przejść stanów: Stany bez wyjścia Stany bez dojścia Stany zdublowane Modularność Spójność = łatwość utrzymania Drzewa wywołań dla globalnych podprocesów Numer: 29 (33)

30 Testy modeli BPMN Przykład: BPMeter Numer: 30 (33)

31 Co testuje BPMeter? Discover the process structure Understand process complexity Compare one process with the other Or compare it with your personal statistics Or compare it with general statistics Organize models in collections Keep track of all your processes Numer: 31 (33)

32 BPMeter - przykłady "Select any standard BPMN 2.0 model you have available (.xml,.bpmn or.bpmn20 file format)" Numer: 32 (33)

33 Numer: 33 (33)

Podobne dokumenty

Testowanie według modelu (MBT) Stowarzyszenie Inżynierii Wymagań wymagania.org.pl

Testowanie według modelu (MBT) Bogdan Bereza, Victo MBT testowanie z modelu wersja 2.1 A 1 (48) Pozdrawiam Best regards Med vänliga hälsningar Bogdan Bereza bogdan.bereza@victo.eu +48 519 152 106 Skype: