Chess. Joanna Iwaniuk. 9 marca 2010

Transkrypt

1 9 marca 2010

2 Plan prezentacji 1. Co to jest? 2. Jak u»ywa? 3. Prezentacja dziaªania 4. kontrola przeplotów model checking odtwarzanie wadliwego wykonania 5.

3 Ogólna idea Wynik dziaªania Co to jest? program Microsoftu sªu» cy do testowania programów wspóªbie»nych cel: wykrywanie tzw. heisenbugs wersje dla ró»nych platform, przede wszystkim.net w zasadzie darmowy ;)

4 Ogólna idea Wynik dziaªania Motywacja testowanie programów wspóªbie»nych jest trudne tradycyjne podej±cie to stress testing nie mamy pewno±ci,»e zostaªy pokryte wszystkie przeploty bª dy mog pozosta niewykryte bardzo dªugo nawet je±li wykryjemy bª d to jak go odtworzy?

5 Ogólna idea Wynik dziaªania Postulaty jako narz dzie do wykrywania bª dów specycznych dla programów wspóªbie»nych testowanie deterministyczne pokrycie wszystkich (prawdopodobnych) przeplotów - model checking mo»liwo± odtworzenia znalezionego bª du

6 Ogólna idea Wynik dziaªania Wyzwania Sk d wzi model? Jak pozby si niedeterminizmu? Jak systematycznie przeszukiwa przeploty? Co zrobi z eksplozj stanów? Jak odtwarza przeplot, który prowadzi do bª du?

7 Ogólna idea Wynik dziaªania Co wykryje? (1) ogólnie: przypadki, kiedy test si nie powiódª ale: bynajmniej nie nale»y oczekiwa,»e b dzie to standardowy model checking zakªadamy,»e wykonanie pojedynczego w tku jest zawsze dokªadnie takie samo

8 Ogólna idea Wynik dziaªania Co wykryje? (2) Dla ró»nych przeplotów, ale dla jednego scenariusza: podstawowe bª dy takie jak segmentation fault (testowany program jest wykonywany) niespeªnienie warunków testu zakleszczenia»ywotno± mo»na za» da wykrywania data races

9 i C# potrzebna klasa Test, która dostarcza scenariusz testowy Test.Startup Test.Run - powtarzane w p tli Test.Shutdown

10 Prezentacja dziaªania...

11 Jak dziaªa - najogólniejsze spojrzenie

12 Przypomninenie Sk d wzi model? Jak pozby si niedeterminizmu? Jak systematycznie przeszukiwa przeploty? Co zrobi z eksplozj stanów? Jak odtwarza przeplot, który prowadzi do bª du?

13 happens-before

14 Graf happens-before tworzy abstrakcj wszystkich w tków, timerów itp. - traktuje wszystkie takie jednostki jednakowo, jako zadania program jako automat niedeterministyczny z przej±ciami mi dzy stanami powodowanymi przez zadania w zªy aktualne instrukcje wykonywane przez dany w tek kraw dzie chronologiczny porz dek mi dzy wykonanymi instrukcjami

15 Program automat niedeterministyczny niedeterminizm zwi zany z przeplotami inne rodzaje niedeterminizmu zmienno± danych wej±ciowych, random() itd.

16 vs przeszukuje kolejne ±cie»ki bez pami tania caªego grafu, poprzez powtarzanie wykonania testu potra zmusi program do przej±cia dokªadnie zadan ±cie»k przeszukiwanie przestrzeni, odtwarzanie bª dnego wykonania wniosek: potrzebne jest zapanowanie nad niedeterminizmem

17 1. Inne rodzaje niedeterminizmu rozwi zanie: obej±cie problemu :) dane wej±ciowe powtarzanie tego samego scenariusza losowanie, odczytywanie informacji o czasie rzeczywistym, (...) zapami tywanie i deterministyczne odtwarzanie wyniku bez ponownego wywoªywania funkcji

18 2. przeplotów ingerencja w system operacyjny? wirtualna maszyna? zmiana kodu ¹ródªowego testowanego programu? trudne i kosztowne... rozwi zanie: wªasny scheduler

19 Scheduler wyr cza system operacyjny w kontroli przeplotów to trudne: trzeba umo»liwi wszystkie oryginalnie mo»liwe przeploty, ale nie wi cej kolejki zada«aktywnych, nieaktywnych, kontrola zmiennych synchronizacyjnych, pami tanie które w tki zale» od których zmiennych... zaªo»enie: jednow tkowo±

20 Jak to kontrolowa? trzeba przechwyci informacje dla systemu operacyjnego podmienia funkcje woªane przez program na swoje wersje - wrappery ogólnie: rola wrapperów uchwycenie wystarczaj cego zakresu semantyki oryginalnego API,»eby umo»liwi zbudowanie abstrakcji happens-before

21 Wrappery np. tworzenie nowego w tku wrapper informuje o powstaniu nowego w tku i wywoªuje standardow funkcj wej±cie do sekcji krytycznej wrapper u»ywa wersji try oryginalnej funkcji, ewentualnie przenosi dany w tek do kolejki nieaktywnych potrzebna odr bna warstwa wrapperów dla ka»dej platformy (na szcz ±cie do± cienka, np. dla.net 64 wrappery, 1270 linii kodu)

22 Architektura

23 Odtwarzanie przeplotu decyzje zwi zane z przeª czaniem kontekstu s zapami tywane graf happens-before ze wszystkimi zdarzeniami synchronizacyjnymi informacje mo»na pó¹niej wykorzysta do znalezienia kolejnego przeplotu lub odtworzenia poprzedniego problem to nie s wszystkie informacje, s te» inne ¹ródªa niedeterminizmu nie przejmujemy si tym specjalnie i je±li nie mo»na odtworzy przeplotu to próbujemy powtórzy test

24 Bezstanowy model checking model happens-before opisany wcze±niej w pami ci nie jest przechowywany caªy graf, a jedynie ostatnia ±cie»ka sprawiedliwy model checking w roli schedulera priorytety w tków

25 Formalnie Oznaczenia predykatów i funkcji: enabled(t) w tek t jest aktywny yield(t) w tek t zaraz zrzeknie si procesora sched(t) ostatnio wykonana instrukcja z w tku t ES(t) abiór w tków aktywnych w danym stanie NextState(s, t) stan do którego dojdziemy ze stanu wyznaczaj c t jako kolejny w tek do wykonania P relacja priorytetu

26 Denicje wªasno±ci sprawiedliwo± : t TidGF enabled(t) GF sched(t) wªasno± dobrego samarytanina t TidGF sched(t) GF (sched(t) yield(t))

27 Idea okienek okienko mi dzy dwoma stanami ze zrzeczeniem si procesora funkcje o interpretacji w przestrzeni okienka: S(t) w tki przynajmniej raz wybrane (scheduled) E(t) w tki przez caªy czas aktywne (enabled) D(t) w tki niaktywne (disabled)

28 Algorytm (pseudo-pseudokod) curr := obecny stan := stan pocz tkowy loop forever T := curr.es - w tki o ni»szym priorytecie if t = then return t := wybierz w tek z T (do wykonania) next := NextState(curr, t) next.p := curr.p - priorytety faworyzuj ce t foreach u w tki aktualizuj E, D, S dla t if curr.yield(t) then inicjalizuj E, D, S dla nowego okienka next.p := next.p te które nie zostaªy wybrane w poprzednim okienku maj wy»szy priorytet ni» t curr := next

29 Wªasno±ci algorytmu ka»da niesko«czona ±cie»ka wygenerowana przez algorytm ma wªasno± dobry samarytanin sprawiedliwo±. je±li nie istnieje niesko«czona ±cie»ka o powy»szej wªasno±ci to algorytm ko«czy si pozwala wykry naruszenie wªasno±ci dobrego samarytanina i zakleszczenie

30 Liczba wszystkich przeplotów dla n w tków i k kroków w w tku

31 Preemption bounding ograniczenie analogiczne do ograniczenia gª boko±ci przeszukiwania w zwykªym model checkingu ograniczenie na liczb wywªaszcze«(liczba u±pie«dowolna) rozwi zanie oparte na wierze,»e bª dy s powodowane przez nieliczne wywªaszczenia, ale w odpowiednich miejscach

32 Cechy preemption bounding je±li liczba wywªaszcze«ograniczona do c, to rozmiar przestrzeni k c (k liczba kroków w w tku) dodatkowe heurystyki zmniejszaj ce k stopniowe zwi kszanie ograniczenia znajdziemy najmniejsze c takie, dla którego jest ¹le, a zatem najprostszy przypadek, kiedy program nie dziaªa

33 Wydajno± model checkingu w ró»nych wersjach

34 Zakres stosowalno±ci Rysunek: Charakterystyka programów testowanych z powodzeniem za pomoc

35 Statystyki skuteczno±ci Rysunek: Liczba bª dów znalezionych przez dla ró»nych programów

36 Zalety w sumie znaleziono 25 nieznanych bª dów (2007) niektóre z nich znalezione przez niezale»nych testerów znaleziono bª dy, które nie ukazaªy si przy stress testingu podobno wykryª wszystkie bª dy, które znaleziono przy stress testingu