Metody przewidywania jakości produktu: szacowanie defektów w kodzie

Wielkość: px

Rozpocząć pokaz od strony:

Download "Metody przewidywania jakości produktu: szacowanie defektów w kodzie"

Agnieszka Mucha
7 lat temu
Przeglądów:

1 Metody przewidywania jakości produktu: szacowanie defektów w kodzie Adam Roman Instytut Informatyki i Matematyki Komputerowej UJ TestWell, 21 IV 2015, Kraków

2 i wtedy powiedziałam PMowi, że po 6 tygodniach prac nad projektem wiemy, że będzie w nim w sumie 146 defektów i jeśli zrobimy release już za 4 tygodnie, to w kodzie wciąż zostanie 12 defektów polowych; ich naprawa będzie kosztować 3 razy więcej, niż koszt wydłużenia prac o 2 tygodnie, w których znajdziemy 9 z tych defektów, ale z drugiej strony nie opłaci się nam szukać ich dalej

defektów polowych; ich naprawa będzie kosztować 3 razy więcej, niż koszt wydłużenia prac o 2

3 i wtedy powiedziałam PMowi, że po 6 tygodniach prac nad projektem wiemy, że będzie w nim w sumie 146 defektów i jeśli zrobimy release już za 4 tygodnie, to w kodzie wciąż zostanie 12 defektów polowych; ich naprawa będzie kosztować 3 razy więcej, niż koszt wydłużenia prac o 2 tygodnie, w których znajdziemy 9 z tych defektów, ale z drugiej strony nie opłaci się nam szukać ich dalej

4 Ile waży wół? Czyli mądrość tłumu

5 Wisdom of crowd 2.0: metoda delficka RUNDA 1 RUNDA 2 RUNDA 3 RUNDA 4 WYNIK X X X X X X X X X X X X X X X X X X

6 Dane historyczne: metoda naiwna PROJEKT A - zakończony KLOC 45 Defekty / KLOC 1.4 Defekty wykryte 63 Defekty polowe 8 PROJEKT B w trakcie KLOC (ew. estymacja KLOC) 70 Defekty / KLOC 1.4 Predykcja wykrytych defektów 98 Defekty polowe 12 =70*1.4 =98*(8/63)

7 Dane historyczne: metoda naiwna PROJEKT A - zakończony KLOC 45 Defekty / KLOC 1.4 Defekty wykryte 63 Defekty polowe 8 PROJEKT B w trakcie KLOC (ew. estymacja KLOC) 70 Defekty / KLOC 1.4 Predykcja wykrytych defektów 98 Defekty polowe 12 =70*1.4 =98*(8/63) technologia? doświadczenie zespołu? proces testowy? czas trwania projektu? złożoność/trudność projektu? typ projektu?

8 Dane historyczne: Rome Lab Model

10 Barry Boehm Model COCOMO II: COnstructive COst MOdel

11 COCOMO II dla defektów: COQUALMO

12 Jak policzyć ryby w stawie?

13 Jak policzyć ryby w stawie? POŁÓW złowiono 8 rybek OZNACZENIE oznaczono 8 rybek Wypuszczenie rybek do stawu

14 Jak policzyć ryby w stawie? POŁÓW złowiono 8 rybek OZNACZENIE oznaczono 8 rybek Wypuszczenie rybek do stawu PONOWNY POŁÓW

15 Jak policzyć ryby w stawie? POŁÓW złowiono 8 rybek OZNACZENIE oznaczono 8 rybek Wypuszczenie rybek do stawu 2 spośród 8 rybek są oznaczone Przewidujemy, że w stawie pływa ok. 32 rybek! PONOWNY POŁÓW

Testowanie mutacyjne 1. read X, Y 2. if (X>0) then { 3. Y = Y + 1 4. } 5.

16 Testowanie mutacyjne 1. read X, Y 2. if (X>0) then { 3. Y = Y } 5. return X+Y PROGRAM 1. read X, Y 2. if (X>0) then { 3. Y = X } 5. return X+Y MUTANT Test 1: X=5, Y=5 Oczekiwany wynik: 11 Test 1: X=5, Y=5 Wynik: 11 Test 2: X=6, Y=5 Oczekiwany wynik: 12 Test 2: X=6, Y=5 Wynik: 13 Tester jest zmuszony dodać nowy test, aby zabić mutanta M2!

17 Jak szacować defekty przy użyciu mutacji? w analogiczny sposób jak przy zliczaniu rybek w stawie! załóżmy, że testy wykryły D prawdziwych defektów, które zostały naprawione (usunięte) tworzymy N mutantów (symulujemy N sztucznych defektów) testy zabiły M spośród nich, czyli wykryły M/N całości D wynosi około M/N wszystkich prawdziwych defektów czyli szacujemy liczbę wszystkich prawdziwych defektów na (N/M)*D a skoro już usunęliśmy D z nich, w kodzie pozostało: (N/M)*D D = (N/M 1)*D

18 Model bazujący na pokryciu defekty vs. czas defekty vs. pokrycie w przybliżeniu funkcja liniowa pokrycie vs. czas może nie być obserwowane w niektórych programach eksperymenty dla pokryć: instrukcyjnego, gałęzi, p-use

19 Model bazujący na pokryciu

20 Modele zmian w kodzie (churn models) Microsoft, 2005 rok pozwalają na predykcję gęstości defektów na podstawie analizy repozytorium kodu wykorzystują metryki zmian w kodzie: LOC zmienione LOC usunięte LOC liczba plików użytych w kompilacji całkowity czas, w którym plik mógł być edytowany liczba zmian pomiędzy kolejnymi wersjami zmienione pliki

21 liczba znalezionych defektów Model Rayleigha czas t to pole wynosi ok. 40% pola pod całą krzywą zastosowanie naiwne: oblicz sumę S defektów znalezionych do czasu t szacuj całkowitą liczbę defektów na S/0.4

22 Model Rayleigha - przykład Tydzień Liczba defektów zastosowanie naiwne: max w tygodniu 5 do tygodnia nr 5 znaleziono = 223 defektów całkowita liczba defektów szacowana jest na: 223/0.4=557

23 Model Rayleigha - przykład 1> obs <- data.frame(t=c(1:9), d=c(20,41,48,52,62,59,52,44,33)) 2> pred <- data.frame(t=c(10:15), d=na) 3> points <- rbind(obs, pred) 4> plot(points$t, points$d, xlim=c(1, 15), ylim=c(0, 65), pch=16) 5> model <- nls(d ~ K*2*(t/c^2)*exp(-(t/c)^2), data=points[1:9,], start=list(k=450, c=8)) 6> summary(model) 7> points$predval <- predict(model, newdata=points) 8> lines(points$t, points$predval, type="o", pch=1) 4>

24 Model Rayleigha - przykład 1> obs <- data.frame(t=c(1:9), d=c(20,41,48,52,62,59,52,44,33)) 2> pred <- data.frame(t=c(10:15), d=na) 3> points <- rbind(obs, pred) 4> plot(points$t, points$d, xlim=c(1, 15), ylim=c(0, 65), pch=16) 5> model <- nls(d ~ K*2*(t/c^2)*exp(-(t/c)^2), data=points[1:9,], start=list(k=450, c=8)) 6> summary(model) 7> points$predval <- predict(model, newdata=points) 8> lines(points$t, points$predval, type="o", pch=1) 6> Formula: d ~ K * 2 * (t/c^2) * exp(-(t/c)^2) Parameters: Estimate Std. Error t value Pr(> t ) K e-09 *** c e-09 *** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 7 degrees of freedom Number of iterations to convergence: 4 Achieved convergence tolerance: 3.137e-06

25 Model Rayleigha - przykład 1> obs <- data.frame(t=c(1:9), d=c(20,41,48,52,62,59,52,44,33)) 2> pred <- data.frame(t=c(10:15), d=na) 3> points <- rbind(obs, pred) 4> plot(points$t, points$d, xlim=c(1, 15), ylim=c(0, 65), pch=16) 5> model <- nls(d ~ K*2*(t/c^2)*exp(-(t/c)^2), data=points[1:9,], start=list(k=450, c=8)) 6> summary(model) 7> points$predval <- predict(model, newdata=points) 8> lines(points$t, points$predval, type="o", pch=1) 8>

26 Wykorzystanie modeli niezawodności 1> library("maxlik") 2> i <- 1:10 3> x <- c(7, 11, 8, 10, 15, 22, 20, 25, 28, 35) 4> LL <- function(params) { 5> N <- params[1] 6> Phi <- params[2] 7> sum(log(phi*(n-(i-1))))-sum(phi*(n-(i-1))*x) 8> } 9> fit <- maxlik(ll, start=c(n=14,phi=0.5)) 10> summary(fit) Maximum Likelihood estimation Newton-Raphson maximisation, 9 iterations Return code 2: successive function values within tolerance limit Log-Likelihood: free parameters Estimates: Estimate Std. error t value Pr(> t) N ** Phi Signif. codes: 0 *** ** 0.01 * czasy pomiędzy kolejnymi awariami magiczna funkcja, korzysta z metody największej wiarygodności główna instrukcja: obliczenie modelu szacunkowa całkowita liczba awarii średni czas do następnej awarii

27 Wykorzystanie modeli niezawodności 1> library("maxlik") 2> i <- 1:10 3> x <- c(7, 11, 8, 10, 15, 22, 20, 25, 28, 35) 4> LL <- function(params) { 5> N <- params[1] 6> Phi <- params[2] 7> sum(log(phi*(n-(i-1))))-sum(phi*(n-(i-1))*x) 8> } 9> fit <- maxlik(ll, start=c(n=14,phi=0.5)) 10> summary(fit) Maximum Likelihood estimation Newton-Raphson maximisation, 9 iterations Return code 2: successive function values within tolerance limit Log-Likelihood: free parameters Estimates: Estimate Std. error t value Pr(> t) N ** Phi Signif. codes: 0 *** ** 0.01 * czasy pomiędzy kolejnymi awariami magiczna funkcja, korzysta z metody największej wiarygodności główna instrukcja: obliczenie modelu szacunkowa całkowita liczba awarii średni czas do następnej awarii

Podobne dokumenty

Regresja logistyczna. Regresja logistyczna. Przykłady DV. Wymagania

Regresja logistyczna. Regresja logistyczna. Przykłady DV. Wymagania Regresja logistyczna analiza relacji między zbiorem zmiennych niezależnych (ilościowych i dychotomicznych) a dychotomiczną zmienną zależną wyniki wyrażone są w prawdopodobieństwie przynależności do danej