Fakty i mity badania wydajności systemów Piotr Ślęzak! Warszawa 24 luty 2016!
Jak możemy Wam pomóc? Analiza biznesowa Kontrola jakości 2
Jak możemy Wam pomóc? Analiza biznesowa Kontrola jakości Doradztwo Outsourcing Szkolenia 2
Czym jest badanie wydajności Testowanie wydajnościowe przeprowadzane jest w celu oceny stopnia spełnienia wymagań wydajnościowych przez system (lub moduł).
Czym jest badanie wydajności Testowanie wydajnościowe przeprowadzane jest w celu oceny stopnia spełnienia wymagań wydajnościowych przez system (lub moduł). Zagadnienie raport dla prezesa problem prosty w specyfikacji istotne ograniczenia czasowe Certyfikowany tester Poziom podstawowy Lucjan Stapp
Współpraca z biznesem
Współpraca z biznesem Wymagania co do jakości systemu
Współpraca z biznesem Wymagania co do jakości systemu Zasadność parametrów wydajnościowych
Współpraca z biznesem Wymagania co do jakości systemu Zasadność parametrów wydajnościowych Realistyczność scenariuszy użycia
Współpraca z biznesem Wymagania co do jakości systemu Zasadność parametrów wydajnościowych Realistyczność scenariuszy użycia Rozkład obciążenia
Współpraca z biznesem Wymagania co do jakości systemu Zasadność parametrów wydajnościowych Realistyczność scenariuszy użycia Rozkład obciążenia Dane biznesowe
Współpraca z biznesem Wymagania co do jakości systemu Zasadność parametrów wydajnościowych Realistyczność scenariuszy użycia Rozkład obciążenia Dane biznesowe Ryzyka biznesowe wdrożenia
Współpraca z biznesem Wymagania co do jakości systemu Zasadność parametrów wydajnościowych Realistyczność scenariuszy użycia Rozkład obciążenia Dane biznesowe Ryzyka biznesowe wdrożenia Ryzyka biznesowe niewdrożenia
Współpraca z IT
Architektura rozwiązania Współpraca z IT
Architektura rozwiązania Współpraca z IT
Architektura rozwiązania Współpraca z IT Szczegółowe dane do wymagań wydajnościowych
Architektura rozwiązania Współpraca z IT Szczegółowe dane do wymagań wydajnościowych Monitorowanie środowiska
Architektura rozwiązania Współpraca z IT Szczegółowe dane do wymagań wydajnościowych Monitorowanie środowiska
Architektura rozwiązania Współpraca z IT Szczegółowe dane do wymagań wydajnościowych Monitorowanie środowiska Dane testowe z produkcji
Architektura rozwiązania Współpraca z IT Szczegółowe dane do wymagań wydajnościowych Monitorowanie środowiska Dane testowe z produkcji Przygotowanie kont testowych
Architektura rozwiązania Współpraca z IT Szczegółowe dane do wymagań wydajnościowych Monitorowanie środowiska Dane testowe z produkcji Przygotowanie kont testowych Przygotowanie środowiska
Architektura rozwiązania Współpraca z IT Szczegółowe dane do wymagań wydajnościowych Monitorowanie środowiska Dane testowe z produkcji Przygotowanie kont testowych Przygotowanie środowiska Zaślepki/Symulatory do systemów
Architektura rozwiązania Współpraca z IT Szczegółowe dane do wymagań wydajnościowych Monitorowanie środowiska Dane testowe z produkcji Przygotowanie kont testowych Przygotowanie środowiska Zaślepki/Symulatory do systemów Weryfikacja funkcjonalna badanego rozwiązania
Współpraca z innymi działami
Współpraca z innymi działami Dział zakupów Licencje na narzędzia Zewnętrzni eksperci do wydajności
Współpraca z innymi działami Dział zakupów Licencje na narzędzia Zewnętrzni eksperci do wydajności Dział bezpieczeństwa Dostępy do systemów Kąta testowe Dostępy do danych
Współpraca z innymi działami Dział zakupów Licencje na narzędzia Zewnętrzni eksperci do wydajności Dział bezpieczeństwa Dostępy do systemów Kąta testowe Dostępy do danych Organizacje nadzorujące: UKE, KNF, URE, KE Przestrzeganie wytycznych z rekomendacji i dyrektyw Np. konieczność anonimizacji danych testowych (KNF)
Środowisko testowe
Środowisko testowe System testowany
Środowisko testowe System testowany Wirtualni użytkownicy generują obciążenie testowanego systemu
Środowisko testowe Wirtualni użytkownicy generują obciążenie testowanego systemu System Agenci testowany GUI mierzący czas odpowiedzi
Środowisko testowe Stacja główna nagrywa, uruchamia, Wirtualni monitoruje użytkownicy i analizuje generują obciążenie wyniki testowanego systemu System Agenci testowany GUI mierzący czas odpowiedzi
Obciążanie i wyniki ilość VU Zakładane obciążenie 1h 1h 1h czas
Obciążanie i wyniki ilość VU Zakładane obciążenie Zakładany czas odpowiedzi 1h 1h 1h czas
Dane testowe Przykład testowania wyszukiwarki Google
Dane testowe Przykład testowania wyszukiwarki Google Założenia 25 zapytań na sekundę składających się z 3 słów rozdzielonych słowem kluczowym OR Czas odpowiedzi systemu poniżej 12 sekund
Dane testowe Przykład testowania wyszukiwarki Google Założenia 25 zapytań na sekundę składających się z 3 słów rozdzielonych słowem kluczowym OR Czas odpowiedzi systemu poniżej 12 sekund Dane testowe Unikalne słowa do wyszukiwania 25 x 3 = 75 słów na sekundę Aby test był wiarygodny musi działać kilka godzin Jeden próg to jedna godzina: 75 słów x 3600 sekund
Dane testowe Przykład testowania wyszukiwarki Google Założenia 25 zapytań na sekundę składających się z 3 słów rozdzielonych słowem kluczowym OR Czas odpowiedzi systemu poniżej 12 sekund Dane testowe Unikalne słowa do wyszukiwania 25 x 3 = 75 słów na sekundę Aby test był wiarygodny musi działać kilka godzin Jeden próg to jedna godzina: 75 słów x 3600 sekund 270 000 unikalnych słów zaindeksowanych w bazie wyszukiwarki
Problemy
Problemy Skrypty testowe słabe wsparcie dla technologii nagraj i odtwórz - potrzeba programowania
Problemy Skrypty testowe słabe wsparcie dla technologii nagraj i odtwórz - potrzeba programowania Różnorodność protokołów transmisji Bezpieczne protokoły Szyfrowanie
Problemy Skrypty testowe słabe wsparcie dla technologii nagraj i odtwórz - potrzeba programowania Różnorodność protokołów transmisji Bezpieczne protokoły Szyfrowanie Przepustowość sieci
Problemy Skrypty testowe słabe wsparcie dla technologii nagraj i odtwórz - potrzeba programowania Różnorodność protokołów transmisji Bezpieczne protokoły Szyfrowanie Przepustowość sieci Wydajność maszyny testowej
Problemy Skrypty testowe słabe wsparcie dla technologii nagraj i odtwórz - potrzeba programowania Różnorodność protokołów transmisji Bezpieczne protokoły Szyfrowanie Przepustowość sieci Wydajność maszyny testowej Lokalizacja błędów
Szukanie błędów
Szukanie błędów
Szukanie błędów
Szukanie błędów Klient
Szukanie błędów Klient
Szukanie błędów Klient WWW
Szukanie błędów Klient WWW
Szukanie błędów Klient WWW aplikacyjny
Szukanie błędów Klient WWW aplikacyjny
Szukanie błędów Klient WWW aplikacyjny bazy danych
Szukanie błędów WWW aplikacyjny bazy danych Klient LB WWW LB aplikacyjny LB bazy danych WWW aplikacyjny bazy danych
Szukanie błędów WWW aplikacyjny bazy danych Klient LB WWW LB aplikacyjny LB bazy danych WWW aplikacyjny bazy danych
Szukanie błędów WWW aplikacyjny bazy danych Klient LB WWW LB aplikacyjny LB bazy danych WWW aplikacyjny bazy danych
Szukanie błędów WWW aplikacyjny bazy danych Klient LB WWW LB aplikacyjny LB bazy danych WWW aplikacyjny bazy danych System System 1 2 System 3
Raport końcowy
Część biznesowa Raport końcowy
Raport końcowy Część biznesowa Rekomendacja
Raport końcowy Część biznesowa Rekomendacja Ryzyka biznesowe wdrożenia w obecnym stanie
Raport końcowy Część biznesowa Rekomendacja Ryzyka biznesowe wdrożenia w obecnym stanie Minimalne parametry spełniające wymagania
Raport końcowy Część biznesowa Rekomendacja Ryzyka biznesowe wdrożenia w obecnym stanie Minimalne parametry spełniające wymagania Część IT
Raport końcowy Część biznesowa Rekomendacja Ryzyka biznesowe wdrożenia w obecnym stanie Minimalne parametry spełniające wymagania Część IT Wykonane przebiegi testowe
Raport końcowy Część biznesowa Rekomendacja Ryzyka biznesowe wdrożenia w obecnym stanie Minimalne parametry spełniające wymagania Część IT Wykonane przebiegi testowe Podsumowanie wyników każdego przebiegu
Raport końcowy Część biznesowa Rekomendacja Ryzyka biznesowe wdrożenia w obecnym stanie Minimalne parametry spełniające wymagania Część IT Wykonane przebiegi testowe Podsumowanie wyników każdego przebiegu Zidentyfikowane wąskie gardła
Raport końcowy Część biznesowa Rekomendacja Ryzyka biznesowe wdrożenia w obecnym stanie Minimalne parametry spełniające wymagania Część IT Wykonane przebiegi testowe Podsumowanie wyników każdego przebiegu Zidentyfikowane wąskie gardła Zidentyfikowane problemy pozawydajnościowe
Raport końcowy Część biznesowa Rekomendacja Ryzyka biznesowe wdrożenia w obecnym stanie Minimalne parametry spełniające wymagania Część IT Wykonane przebiegi testowe Podsumowanie wyników każdego przebiegu Zidentyfikowane wąskie gardła Zidentyfikowane problemy pozawydajnościowe Rekomendacje usprawnień
Rola Kierownika testów 13
Rola Kierownika testów Manager- Koordynator 13
Rola Kierownika testów Manager- Koordynator Rozumiejący biznes i ryzyka biznesowe 13
Rola Kierownika testów Manager- Koordynator Rozumiejący biznes i ryzyka biznesowe Dobry negocjator Z biznesem Z IT Operations 13
Rola Kierownika testów Manager- Koordynator Rozumiejący biznes i ryzyka biznesowe Dobry negocjator Z biznesem Z IT Operations Znający różnorodne środowiska i technologie narzędziowe 13
Rola Kierownika testów Manager- Koordynator Rozumiejący biznes i ryzyka biznesowe Dobry negocjator Z biznesem Z IT Operations Znający różnorodne środowiska i technologie narzędziowe Tłumacz języka technicznego na język biznesowy 13
Rola Kierownika testów Manager- Koordynator Rozumiejący biznes i ryzyka biznesowe Dobry negocjator Z biznesem Z IT Operations Znający różnorodne środowiska i technologie narzędziowe Tłumacz języka technicznego na język biznesowy Potrafiący przedstawić słabe wyniki wydajnościowe w perspektywie ryzyka wdrożenia systemu 13
Podsumowanie 14
Podsumowanie Badanie wydajności to nie tylko nagrywanie i puszczanie skryptów 14
Podsumowanie Badanie wydajności to nie tylko nagrywanie i puszczanie skryptów projekt wydajnościowy 14
Podsumowanie Badanie wydajności to nie tylko nagrywanie i puszczanie skryptów projekt wydajnościowy wymagający wiedzy technologicznej 14
Podsumowanie Badanie wydajności to nie tylko nagrywanie i puszczanie skryptów projekt wydajnościowy wymagający wiedzy technologicznej wymagający ogólnej znajomości biznesu 14
Podsumowanie Badanie wydajności to nie tylko nagrywanie i puszczanie skryptów projekt wydajnościowy wymagający wiedzy technologicznej wymagający ogólnej znajomości biznesu angażujący dużo zasobów po stronie IT i innych działów firmy 14
Podsumowanie Badanie wydajności to nie tylko nagrywanie i puszczanie skryptów projekt wydajnościowy wymagający wiedzy technologicznej wymagający ogólnej znajomości biznesu angażujący dużo zasobów po stronie IT i innych działów firmy zazwyczaj kończący się negatywnymi wynikami 14
Podsumowanie Badanie wydajności to nie tylko nagrywanie i puszczanie skryptów projekt wydajnościowy wymagający wiedzy technologicznej wymagający ogólnej znajomości biznesu angażujący dużo zasobów po stronie IT i innych działów firmy zazwyczaj kończący się negatywnymi wynikami ze względu na to że poprawienie systemu trwa miesiącami projekt również trwa miesiącami z okresami przestojów 14
Pytania 15
Dziękuję za uwagę Piotr Ślęzak 16