Techniki (automatyzacji) projektowania testów. Adam Roman WarszawQA, 24 II 2016

Wielkość: px

Rozpocząć pokaz od strony:

Download "Techniki (automatyzacji) projektowania testów. Adam Roman WarszawQA, 24 II 2016"

Szczepan Teodor Kowal
8 lat temu
Przeglądów:

1 Techniki (automatyzacji) projektowania testów Adam Roman WarszawQA, 24 II 2016

2 Prelegent Quality Assurance R&D Lead, Rivet Group Adiunkt w Instytucie Informatyki i Matematyki Komputerowej UJ Członek Stowarzyszenia Jakości Systemów Informatycznych Członek Polskiego Komitetu Normalizacyjnego (prace nad normą ISO/IEC Software Testing Standard) Certified Software Quality Engineer (ASQ) ISTQB Certified Tester Full Advanced Level Autor Testowanie i jakość oprogramowania. Modele, techniki, narzędzia (PWN, 2015)

(prace nad normą ISO/IEC 29119 Software Testing Standard) Certified Software Quality Engineer (ASQ) ISTQB

3 WE RIVET TECHNOLOGY ON BUSINESS

4 Informacje o firmie rivet group Kompleksowo wspieramy naszych Klientów: od analizy po implementację, testy, wdrożenie i utrzymanie oprogramowania. W skład rivet group wchodzi kilka podmiotów: rivet expertise to podmiot doradczy, skupiony wokół konsultingu i biznesu. Marka rivet in time jest odpowiedzialna za bodyleasing, outsourcing, headhunting oraz usługi HR związane z pozyskiwaniem i rozwojem pracowników. rivet security specjalizuje się w rozwiązaniach z zakresu bezpieczeństwa IT. Prowadzimy również działalność edukacyjną. Oferta rivet!know obejmuje ścieżki certyfikacyjne oraz szkolenia dostosowane do indywidualnych potrzeb Klientów. Zapraszamy do kontaktu: rivet@rivetgroup.eu

Marka rivet in time jest odpowiedzialna za bodyleasing, outsourcing, headhunting oraz usługi HR związane z pozyskiwaniem i rozwojem pracowników.

5 Plan spotkania Po co testerowi techniki białoskrzynkowe? Automatyzacja, ale czego? Technika czarnoskrzynkowa: Category-Partition Przykład pełna automatyzacja i jej zalety

6 Po co testerowi techniki białoskrzynkowe? klasyka gatunku: pokrycie instrukcyjne decyzyjne warunkowe warunkowo/decyzyjne MC/DC ścieżek pętli input a, b c = a+b if (c>0) { while (a>0) { a=a-1; if (a>b) { b=b+1; } } } else { if (a<b) { return a } else { return c } }

warunkowo/decyzyjne MC/DC ścieżek pętli input a, b c = a+b if

7 Po co testerowi techniki białoskrzynkowe? ile testów potrzeba, aby pokryć wszystkie decyzje? jaki test spowoduje 17-krotne wykonanie pętli while, z których dokładnie 9 przejdzie przez if (a>b)? zaprojektowanie przypadków testowych = zaprojektowanie ścieżek. Ale co nam to daje? co nam daje to, że np. pokryliśmy testami 100% decyzji? input a, b c = a+b if (c>0) { while (a>0) { a=a-1; if (a>b) { b=b+1; } } } else { if (a<b) { return a } else { return c } }

zaprojektowanie przypadków testowych = zaprojektowanie ścieżek. Ale co nam to daje? co nam daje to, że np.

8 1. Użycie do oceny testów czarnoskrzynkowych PRZYPADKI TESTOWE (black box!) SYSTEM UNDER TEST WYNIKI TESTÓW kod źródłowy LOKALIZACJA BŁEDÓW OCENA TESTÓW, DODANIE NOWYCH POKRYCIE KODU

9 2. Wykorzystanie jako model systemu techniki białoskrzynkowe nie muszą działać na kodzie białą skrzynką może być jakikolwiek MODEL działania oprogramowania, np.: graf przepływu sterowania (klasyka) graf przepływu danych (wciąż blisko kodu, choć nie zawsze) model struktury menu modele UML na podstawie których wygenerowano kod model maszyny stanowej tablica decyzyjna wiele technik czarnoskrzynkowych można traktować jak białoskrzynkowe obecnie rozgraniczenie white<->black box jest bardzo rozmyte (prawdopodobnie wg ISTQB to herezja)

: graf przepływu sterowania (klasyka) graf przepływu danych (wciąż blisko kodu, choć nie zawsze) model struktury menu modele UML na

10 aplikacja obsługująca redakcję czasopisma proces biznesowy z punktu widzenia cyklu życia artykułu pokrycie = zestaw istotnie różnych scenariuszy 2. Wykorzystanie jako model systemu - przykład

11 im bardziej wymagające pokrycie, tym dokładniejsze testy (i większy koszt!) 100% instrukcji 2. Wykorzystanie jako model systemu - przykład 100% decyzji 100% ścieżek liniowo niezależnych!

12 2. Wykorzystanie jako model systemu - przykład publikacja artykułu przed zrecenzowaniem? decyzja o odrzuceniu artykułu bez konsultacji z recenzentem? recenzent akceptuje a redaktor odrzuca? standardowa procedura odrzucenia artykułu każda ścieżka w tym procesie jest kombinacją liniową powyższych 4 ścieżek

13 testowanie mutacyjne testuje testy 3. Do predykcji defektów (sic!) mutant = zmutowany program (np. ze zmienioną instrukcją x=x+1 zamiast oryginalnej x=x-1) mutacje = symulacje pomyłek programistów pokrycie = liczba zabitych mutantów / liczba wszystkich mutantów

ze zmienioną instrukcją x=x+1 zamiast oryginalnej x=x-1) mutacje

14 D = liczba wykrytych rzeczywistych defektów M = liczba wszystkich mutantów Z = liczba zabitych mutantów X = nieznana liczba defektów pozostałych w kodzie 3. Do predykcji defektów (sic!) idea: pokrycie mutacyjne = pokrycie realnych defektów D/(X+D) = Z/M X = (D*M)/Z - D

pozostałych w kodzie 3. Do predykcji defektów (sic!

15 Automatyzacja, ale czego? najczęściej automatyzację testów rozumie się jako automatyzację wykonania testów skrypty programy nagrane scenariusze itp.

16 Automatyzacja, ale czego? ale (o czym raczej się nie mówi) automatyzować można również: projektowanie przypadków testowych (generowanie) specyfikowanie przypadków testowych (definiowanie) implementację testów generowanie danych testowych porównywanie wyników rzeczywistych z oczekiwanymi przeprowadzanie analizy statycznej lub dynamicznej

przypadków testowych (generowanie) specyfikowanie przypadków testowych

17 Przykład automatyzacji dla metody Category-Partition idea metody C-P: 1. zidentyfikuj parametry i warunki środowiskowe, które wpływają na zachowanie się programu 2. wyodrębnij kategorie parametrów i warunków 3. podziel każdą kategorię na rozłączne strefy wyboru 4. określ związki i ograniczenia między wyborami 5. napisz specyfikację testów (np. używając TSL) 6. wyprowadź elementy pokrycia 7. dla każdego elementu pokrycia stwórz przypadek testowy

wyodrębnij kategorie parametrów i warunków 3. podziel każdą kategorię na rozłączne strefy wyboru 4.

18 Przykład automatyzacji dla metody Category-Partition testowanie polecenia grep program grep wyszukuje wzorzec w pliku i zwraca linie pliku, w których wzorzec się znajduje składnia: grep [wzorzec] [plik] 1. zidentyfikuj parametry i warunki środowiskowe, które wpływają na zachowanie się programu plik wzorzec nazwa pliku

się znajduje składnia: grep [wzorzec] [plik] 1.

19 Przykład automatyzacji dla metody Category-Partition testowanie polecenia grep program grep wyszukuje wzorzec w pliku i zwraca linie pliku, w których wzorzec się znajduje składnia: grep [wzorzec] [plik] 2. wyodrębnij kategorie parametrów i warunków Plik rozmiar # wystąpień wzorca w pliku # wystąpień wzorca w linii pozycja wzorca w pliku Wzorzec długość wzorca otoczony apostrofami? obecność białych znaków Zawiera apostrofy? nazwa pliku istnienie pliku o danej nazwie

wyodrębnij kategorie parametrów i warunków Plik rozmiar # wystąpień wzorca w pliku # wystąpień wzorca w linii pozycja

20 Przykład automatyzacji dla metody Category-Partition testowanie polecenia grep program grep wyszukuje wzorzec w pliku i zwraca linie pliku, w których wzorzec się znajduje składnia: grep [wzorzec] [plik] 3. podziel każdą kategorię na rozłączne strefy wyboru plik rozmiar (pusty, niepusty) # wystąpień wzorca w pliku (0, 1, wiele) # wystąpień wzorca w linii (1, wiele) pozycja wzorca w pliku (1 linia, ostatnia linia, dowolna inna) itd.

podziel każdą kategorię na rozłączne strefy wyboru plik rozmiar (pusty, niepusty) # wystąpień wzorca w pliku

21 Przykład automatyzacji dla metody Category-Partition testowanie polecenia grep program grep wyszukuje wzorzec w pliku i zwraca linie pliku, w których wzorzec się znajduje składnia: grep [wzorzec] [plik] 4. określ związki i ograniczenia między wyborami np. jeśli # wystąpień wzorca w pliku = 0 to # wystąpień wzorca w linii nie może być >1 itd.

22 Demonstracja automatyczne projektowanie, specyfikowanie i implementacja testów radzenie sobie ze złożonością (tzw. eksplozja kombinatoryczna) wykonanie testów uwagi i wnioski, zalety i wady metody

Podobne dokumenty

Dni: 3. Opis: Adresaci szkolenia

Dni: 3. Opis: Adresaci szkolenia Kod szkolenia: Tytuł szkolenia: ISTQB/TTA ISTQB - Technical Test Analyst Dni: 3 Opis: Adresaci szkolenia Szkolenie jest skierowane do testerów posiadających certyfikat ISTQB Certified Tester przynajmniej