Praktyczne metody weryfikacji

Transkrypt

1 Praktyczne metody weryfikacji Sławomir Lasota Uniwersytet Warszawski semestr letni 08/09. p.1/50

2 I. Motywacja czyli po co?. p.2/50

3 Arianne 5, czerwiec p.3/50

4 nieobsłużony wyjatek szacunkowy koszt: 600 mln euro. p.4/50

5 Mars Polar Lander, styczeń 1999 nasa.gov. p.5/50

6 grudzień 1999 awaria z powodu niezainicjowanej zmiennej wikipedia.org. p.6/50

7 Code Red, lipiec 2001 news.cnet.com usterka w serwerze Microsoft Internet Information Server (przepełnienie bufora) szacunkowy koszt: 2.5 miliarda USD. p.7/50

8 Therac-25, pari race condition przynajmniej 6 ofiar. p.8/50

9 Błędy kosztowne nieakceptowalne (ang. safety-critical) Rozwiazanie: formalna weryfikacja = dowód poprawności. p.9/50

10 II. Weryfikacja, ale jak?. p.10/50

11 Weryfikacja a posteriori produkcja wymagania system sa błędy weryfikacja nie ma błędów. p.11/50

12 system modelowanie wymagania formalizacja model systemu weryfikacja specyfikacja wymagań symulacja NIE + kontrprzykład BŁAD OK. p.12/50

13 Weryfikacja modelowa (ang. model checking) model M możliwe zachowania (abstrakcja rzeczywistego systemu) specyfikacja własności φ dopuszczalne zachowania automatycznie sprawdzamy, czy M φ. p.13/50

14 Przykładowe własności φ: bezpieczeństwo: wszystkie stany osiagalne spełniaja dany wymóg żywotność: zawsze osiagniemy stan, w którym dany wymóg jest spełniony sprawiedliwość (ang. fairness): pożadana własność... będzie zachodzić nieskończenie wiele razy. p.14/50

15 Cechy charakterystyczne model formalny (stany i przejścia) analiza dynamiczna (przeszukiwanie stanów osiagalnych) wymagania = formuła temporalna metoda w pełni automatyczna kontrprzykład (gdy odpowiedź negatywna). p.15/50

16 Nagroda Turinga 2008 Ed Clarke Allen Emerson Joseph Sifakis [Clarke, Emerson 1981] [Queille, Sifakis 1982]. p.16/50

17 Inne podejścia testowanie dowodzenie poprawności (proof checker) audyt kodu źródłowego analiza statyczna.... p.17/50

18 Weryfikacja modelowa dowodzenie twierdzeń: M φ w pełni automatyczne nie wymaga pracy eksperta vs Weryfikacja interakcyjna dowodzenie twierdzeń narzędzie wspomagajace (ang. proof checker) wymaga pracy eksperta. p.18/50

19 Od rzeczywistości do modelu system M M M wymagania φ odpowiedni poziom abstrakcji proces tylko częściowo automatyczny M φ?. p.19/50

20 Weryfikujemy nie system, lecz jego model! WERYFIKACJA = sprawdzenie, czy wytwarzamy to, co trzeba. WALIDACJA = sprawdzenie, czy weryfikujemy to, co trzeba.. p.20/50

21 Dziedziny zastosowań: sprzęt (SMV, NuSMV, Murphi) protokoły, oprogramowanie systemowe, sterowniki (Spin) oprogramowanie (BLAST, PathFinder, CBMC) systemy zależne od czasu (Uppaal, Kronos) systemy stochastyczne (PRISM). p.21/50

22 Czym zajmuje się teoretyk? formalny model i specyfikacja złożoność obliczeniowa algorytmy, czasem heurystyczne lub częściowe podejścia symboliczne metody abstrakcji.... p.22/50

23 Dziedziny teoria języków i automatów logiki temporalne, rozstrzygalność i złożoność matematyczne modele systemów współbieżnych algorytmy grafowe. p.23/50

24 Czym zajmuje się praktyk? dostosowanie ogólnej metodologii do specyfiki zastosowania heurystyki dla wydajności zastosowanie do rzeczywistych, dużych systemów właczenie weryfikacji do procesu projektowania sprzętu i oprogramowania zarzadzanie procesem weryfikacji.... p.24/50

25 III. Jaki model?. p.25/50

26 Jaki model? funkcyjny: dane wynik reaktywny: interakcja z otoczeniem działanie może się nie kończyć wymagania = własności temporalne przykłady: system operacyjny, bankomat, serwer WWW,.... p.26/50

27 Model = sterowanie + interakcja brak skomplikowanych danych i skomplikowanych obliczeń na danych kompozycjonalność dopuszczamy niedeterminizm ścisłość matematyczna. p.27/50

28 np. ABP. p.28/50

29 Własności modeli modele wysokiego poziomu (abstrakcyjne), niedospecyfikowane (częściowe) niedeterminizm interakcja pomiędzy składowymi współbieżność prototypowanie/symulacja model wykonywalny weryfikacja formalna semantyka matematyczna. p.29/50

30 Typowy model: maszyna skończeniestanowa (stany i przejścia) + zmienne (np. liczniki) + komunikacja (kanały komunikacyjne) + zegary +... Stan = punkt sterowania + wartości zmiennych + zawartość kanałów komunikacyjnych p.30/50

31 Opis kompozycjonalny lokalne składowe globalny system złożenie równoległe przemianowanie (kopie modułu)... Złożenie równoległe synchroniczne (hardware) asynchroniczne (software lub anynchr. hardware). p.31/50

32 Warianty pojęcie stanu atomowy krok obliczeń interakcja równoważność semantyczna. p.32/50

33 Inne modele różne rozszerzenia automatów algebra procesów: asynchroniczne: CSP, CCS, ACP, rachunek Π,... synchronniczne: SCCS, Esterel, Lustre sieci Petriego. p.33/50

34 . p.34/50

35 Eksplozja stanów! M = M 1... M n S S 1... S n. p.35/50

36 weryfikacja brak pamięci NIE + kontrprzykład redukcja modelu TAK. p.36/50

37 Metody walki z eksplozja podejście symboliczne symboliczna weryfikacja modelowa ograniczona weryfikacja modelowa (ang. bounded model checking) niezależność modułów redukcje częściowo-porzadkowe. p.37/50

38 IV. Za i przeciw. p.38/50

39 Weryfikacja modelowa zalety uniwersalna pozwala na częściowa weryfikację skuteczność niezależna od prawdopodobieństwa błędu w pełni automatyczna informacja diagnostyczna kontrprzykład solidne matematyczne podstawy sukces przemysłowy łatwa integracja z cyklem produkcyjnym. p.39/50

40 Weryfikacja modelowa ograniczenia zlożoność obliczeniowa, eksplozja stanów źle sobie radzi z danymi nie weryfikacja, tylko tropienie błędów weryfikujemy model a nie sam system sprawdzamy tylko sformułowane wymaganie φ wykonanie abstrakcji wymaga jednak pracy eksperta błędy w narzędziach weryfikujacych brak generalizacji/parametryzacji. p.40/50

41 Motto: celem formalnej weryfikacji nie jest tworzenie poprawnego oprogramowania, lecz dostarczenie metodologii, która pozwoliłaby zwiększyć niezawodność (zmiejszyć liczbę błędów).. p.41/50

42 Wybrane osiagnięcia weryfikacji modelowej powszechnie stosowana w cyklu produkcji sprzętu NASA weryfikuje sondy: Deep Space 1, PathFinder,... znaleziony atak na protokół Needhama-Schroedera [Lowe 1995] stanów.... p.42/50

43 V. Historia. p.43/50

44 1960 Dowodzenie poprawności programów [Dijkstra] [Floyd] [Hoare] podejście strukturalne. p.44/50

45 1970 Boyer Moore prover: automatyczne dowodzenie poprawności prostych programów w LISPie [Owicki-Gries] rozszerzenie Hoare a dla programów współbieżnych [Pnueli] logika temporalna dla systemów reaktywnych weryfikacje protokołów, zjawisko eksplozji stanów. p.45/50

46 1980 Model checking [Clarke, Emerson], [Queille, Sifakis] model explicite (skończony system przejść, automat) specyfikacja = formuła logiki temporalnej (później też automat) weryfikacja automatyczna kontrprzykład gdy odpowiedź negatywna zweryfikowano małe układy cyfrowe, znaleziono błędy. p.46/50

47 przełom lat 80 i 90 Metody walki z eksplozja: metody abstrakcji symboliczna weryfikacja modelowa redukcje częściowo-porzadkowe. p.47/50

48 1990 systemy nieskończeniestanowe, np. zależne od czasu parametryczne narzędzia (SMV, Murphi,... ) zastosowania przemysłowe zastosowanie SAT-solverów: ograniczona weryfikacja modelowa. p.48/50

49 2000 narzędzia dla rozszerzonych modeli: zależnych od czasu stochastycznych... zastosowania przemysłowe cd nowe dziedziny zastosowań, np. bioinformatyka weryfikacja oprogramowania (ang. software model checking). p.49/50

50 Plan wykład laboratorium LTL, translacja do ω-automatów (3x) SPIN (4x) redukcje częśc.-porz. (1x) CTL, OBDD, symboliczna w.m. (3x) NuSMV (4x) ograniczona w.m., redukcja do SAT (1x) abstrakcje (2x) CBMC (2x) automaty czasowe (2x) Uppaal (3x) weryfikacja stochastyczna (1x) W przyszłym tyg. nie ma labu!. p.50/50