KONCEPCJA REALIZACJI TESTÓW JEDNOSTKOWYCH W JĘZYKU VHDL

Transkrypt

1 KONCEPCJA REALIZACJI TESTÓW JEDNOSTKOWYCH W JĘZYKU VHDL Przemysław Sołtan Politechnika Koszalińska, Wydział Elektroniki, ul. Śniadeckich 2, Koszalin kerk@ie.tu.koszalin.pl Streszczenie W pracy zaproponowano nową koncepcję tworzenia i realizacji testów dla systemów cyfrowych przedstawionych w postaci modeli VHDL. Nowa koncepcja jest oparta o metodologię projektowania XP (Extreme Programming), i polega na tworzeniu niezależnych jednostek testowych w postaci bloków przedstawiających procesy VHDL, co umożliwia ich selektywne uruchomienie. W oparciu o nową koncepcję opracowana została biblioteka vhdlunit pozwalająca na automatyzację procesu testowania oraz tworzenie raportów i statystyk. Autor w praktyczny sposób wykorzystał bibliotekę podczas realizacji własnych projektów. Zaimplementowano rozszerzenie biblioteki o obsługę wielowartościowego typu danych oraz zaproponowano kierunki rozwoju rozszerzające jej funkcjonalność. 1. WPROWADZENIE Klasyczne testowanie układów polega na podawaniu wymuszeń do testowanego systemu i obserwowaniu jego zachowania. Jest to badanie zachowawcze (behawioralne). Podczas tworzenia projektów przy użyciu języka opisu sprzętu, np. VHDL, mamy do czynienia z symulacją programową badanych układów. W takim przypadku standardowe mechanizmy ich testowania można rozwinąć o tzw. testy jednostkowe szeroko stosowane w przypadku testowania oprogramowania. Termin testy jednostkowe definiuje się jako moduły testujące (jednostki testowe), które można uruchamiać w izolacji od pozostałych. Raporty Testy jednostkowe Testowany System Rys. 1. Testowany system i środowisko testowe Współczesne projektowanie boryka się z problemami testowania i weryfikacji tworzonych systemów. Złożoność projektów wymusza automatyzację procesu testowania i odciążenie projektanta od wykonywania powtarzalnych czynności. Celem testowania jest wykrycie obecności błędów, a nie ich braku. Wynika to z trudności w dowodzeniu poprawności i wiarygodności systemów ze względu na dużą ich złożoność. Zastosowanie sprzężenia zwrotnego za pomocą zautomatyzowanych testów jednostkowych umożliwia kontrolę jakości wykonanej pracy przy pomocy generowanych raportów. W ostatnich latach opracowano również metodologię projektowania XP (Extreme Programming) [6], która bazuje na realizacji testów jednostkowych. Głównym założeniem XP jest to, aby projekt rozpoczynać od zdefiniowania testów pomimo, że brak jeszcze reszty kodu projektowanego systemu. Takie zdefiniowanie wymagań zwraca uwagę na to, co jest ważne w projekcie, i jaki jest postęp prowadzonych prac. Tworzenie testów wraz z kodem programu umożliwia automatyczne wykrywanie błędów wprowadzanych podczas projektowania. Kod stanowi również formę dokumentacji, dzięki której wiadomo, jak ma zachowywać się system. Naprzemienne tworzenie testów i

2 kodowania wprowadza inkrementny tryb pracy, co eliminuje występowanie nieoczekiwanych sytuacji wydłużających cykl projektowy. 2. KONCEPCJA REALIZACJI TESTÓW JEDNOSTKOWYCH W VHDL Realizacja testów jednostkowych w języku VHDL nie jest próbą eliminacji sprawdzonych standardowych mechanizmów testowania. Jej głównym celem jest rozbudowa mechanizmów asercji, raportowania oraz automatyzacji testów. Termin asercja określa wymuszenie zachowania określonego warunku podczas pracy symulowanego systemu (np. przyjmowanie przez dany sygnał określonego stanu - wartości). W standardzie języka VHDL zdefiniowano obsługę asercji. Jednak istotną wadą tego mechanizmu jest ograniczona możliwość raportowania przebiegu testu i porównywania wyników z innymi symulacjami. W tym celu przezwyciężenia wymienionej wady autor zaprojektował własne metody asercji uwzględniające możliwość sprawdzania wartości dla różnych typów danych. Jako podstawową jednostkę testową zaproponowano realizację procesów VHDL wykorzystujących zaprojektowane metody asercji oraz pomocnicze metody sterujące procesem raportowania wyników testu. Tak przygotowany proces jako moduł testowy (TestCase) jest następnie umieszczany wewnątrz standardowego testu zaprojektowanego przez projektanta (TestBench). Kod testowy zawiera również zestaw procesów stymulujących testowany model (Stymulus). Opisana koncepcja została przedstawiona na rys. 2. Raporty (HTML/XML) VhdlUnit (vhdl) TestBench Stymulus TestCase Testowany model (VHDL) Rys. 2. Koncepcja implementacji biblioteki testów jednostkowych. Podczas symulacji następuje wywoływanie metod asercji opisanych w zewnętrznej bibliotece (vhdlunit), która realizuje raportowanie wyników test. Realizację biblioteki testów jednostkowych w języku VHDL wzorowano na bibliotece JUnit zaprojektowanej przez Erich a Gamma i Kent a Beck a wspomagającej wykonywanie testów jednostkowych programów tworzonych przy użyciu języka Java. Proces automatyzacji uzyskuje się poprzez sekwencyjne wywołanie testowanych symulacji wraz ze specjalną symulacja inicjującą i kończącą wykonanie testu. Całość wspomagana jest przez mechanizm makr środowiska projektowego. 3. PROJEKTOWANIE JEDNOSTEK TESTOWYCH Wykorzystanie biblioteki polega na tworzeniu jednostek testowych w postaci dodatkowych procesów dołączanych do zaprojektowanych testów. Proces testowy jest najmniejszą jednostką testową składającą się z metody setup(...) inicjującej test, grupy metod asercji assertxxx(...) testujących stan testowanych sygnałów, oraz metody teardown zakończenia testu. Wywołanie poszczególnych testów powoduje wykonywanie procesów jednostek testowych, których strukturę przedstawiono na rys. 3. Testowanie modułów testowych

3 umożliwia przeprowadzanie testowana poszczególnych komponentów systemu w izolacji od pozostałych. vhdlunit.vhdl setup( ) asserttime( ) assertwait( ) assertequals( ) asserttrue( ) assertinfo( ) fail; teardown; TestBench.vhdl Jednostka testowa TestCase : process begin setup( Test,true); wait for asserttime(50ns); assertequals(out1, 0 ); teardown; wait end process; Stymulatory Testowany komponent UUT Rys. 3. Struktura jednostki testowej (proces TestCase). W bibliotece vhdlunit zaprojektowano zestaw funkcji i procedur testowych napisanych przy użyciu języka VHDL, których listę przedstawiono poniżej. Lista funkcji i procedur biblioteki vhdlunit procedure setup(name: in string; test:boolean); procedure teardown; function assertwait(t:in time)return time; function asserttime(t:in time)return time; procedure assertequals(name: in String; arg1,arg2: in std_logic); procedure assertzero(arg: in std_logic); procedure asserttrue(arg: in std_logic); procedure assertfalse(arg: in std_logic); procedure assertinfo(message: in string); procedure assertsame(name: in String; arg1,arg2: in std_logic); procedure assertnotsame(name: in String; arg1,arg2: in std_logic); procedure assertinfo(message : in String); procedure fail(name: in String); Dodatkowo w każdym kodzie testowym wykorzystującym bibliotekę vhdlunit należy zadeklarować użycie jej pakietu (use work.vhdlunit.all). Jednostkowość wyboru testów jest realizowana przez określanie parametru test w metodzie setup(name: in string; test:boolean) jednostek testowych. Oznacza to, że każda jednostka testowa (process) będzie podlegała wykonaniu przy wartości parametru ustawionego na wartość true. Dla wartości false dana jednostka testowa będzie nieaktywna. Aby zrealizować selektywne wybieranie wystarczy jako wartość wprowadzić własną stałą definiowaną w dodatkowym pliku konfiguracyjnym vhdlunit_cgf.vhd np. setup( test,testcase_1). W ten sposób uzyskuje się globalną kontrole nad sterowaniem wszystkich jednostek testowych (TestCase) całego projektu zgrupowaną w jednym pliku.

4 Dla lepszego zobrazowania struktury jednostki testowej poniżej przedstawiono dwa przykłady procesów testowych przedstawiających odpowiednio proces oparty o wzorzec bezpośrednich porównań oraz proces oparty o wzorzec w postaci wektora danych: Przykładowy proces testowy oparty o wzorzec bezpośrednich porównań. TestCase : process begin setup("bramka_and4",true); -- inicjalizacja testu wait for asserttime(50ns); assertequals("out_1",out_1,'0'); wait for asserttime(100ns); assertequals("out_1",out_1,'0');... wait for asserttime(800ns); assertequals("out_1",out_1,'1'); teardown; -- koniec testu wait; end process; Przykładowy proces testowy oparty o wzorzec w postaci wektora danych. TestCase : process constant test_vector: nstd_logic_vector(1 to 16) := " "; constant test_time: time := 50ns; begin setup("bramka_and4",true); -- inicjalizacja testu for i in 1 to test_vector'length loop wait for asserttime(i*test_time); assertequals("out_1",out_1,test_vector(i)); end loop; teardown; -- koniec testu wait; end process; 4. PROCES WYKONANIA TESTU: Proces wykonania testu odbywa się w trzech fazach: wywołanie metody initialize; wywołanie zestawu testów (testbench) poszczególnych architektur projektowanego układu lub grupy układów wraz z procesami opisującymi jednostki testowe (process TestCase); wywołanie metody finalize zakończenia realizacji testów. Podczas inicjalizacji następuje przygotowanie ustawień początkowych i utworzenie pliku vhdlunit.htm raportującego przebieg testu (open new). Ze względu na bezstanowość języka VHDL pomiędzy symulacjami (brak możliwości przekazywania wartości zmiennych) przekazywanie danych testowych zrealizowano przy pomocy dodatkowego pliku konfiguracyjnego vhdlunit.properties uaktualnianego po zakończeniu każdego testu (update). Po wykonaniu fazy finalizacji następuje ostateczny zapis

5 raportu i jego prezentacja wraz ze statystykami (close). Przebieg tego procesu przedstawiono na rys. 4. open new initialize VhdlUnit_tb (unit_initialize) update test 1 Raport (Html/XML) update update test 2 test N Testowane komponenty close finalize vhdlunit.do VhdlUnit_tb (unit_finalize) Rys. 4. Proces przebiegu grupy testów jednostkowych. Automatyzacja testów ma kluczowe znaczenie przy projektowaniu złożonych systemów, w przypadku których należy sprawdzać poprawność wcześniej zaprojektowanej funkcjonalności po wprowadzeniu nowego i poprawianiu dotychczasowego kodu. 5. OSADZANIE TESTÓW Do uruchomienia testów jednostkowych wykorzystano język makr (plik vhdlunit.do) udostępniony przez środowisko ActiveHdl firmy Aldec, Inc. W przypadku symulatorów innych firm należy wykorzystać ich specyficzne właściwości lub pliki wsadowe określonego systemu operacyjnego. Idea polega na sekwencyjnym wywołaniu określonych symulacji. Reszta operacji wykonywana jest przez bibliotekę z poziomu funkcji i procedur VHDL. Przykładowa zawartość pliku VhdlUnit.do clear SetActiveLib -work set PROJECT_HOME "$DSN\src\vhdlunit\examples" comp -include "$PROJECT_HOME\vhdlunit\vhdlUnit_cfg.vhd" comp -include "$DSN\src\vhdlUnit\vhdlUnit.vhd" asim INITIALIZE_VHDL_UNIT run 1ns endsim comp -include "$PROJECT_HOME\fa.vhd" comp -include "$PROJECT_HOME\testbench\fa_TB.vhd" asim TESTBENCH_FOR_fa run 400 ns endsim asim FINALIZE_VHDL_UNIT run 1ns endsim

6 Podczas całego procesu testu wykonują się symulacje testowe wraz z dodatkową symulacją początkową (INITIALIZE_VHDL_UNIT) i końcową (FINALIZE_VHDL_UNIT). W projekcie zastosowano plik konfiguracyjny vhdlunit_cfg.vhd umożliwiający tworzenie samodzielnych zestawów testów korzystających z tej samej biblioteki. Przykładowa zawartość pliku VhdlUnit_cfg.vhd package vhdlunit_cfg is constant TEST_PROJECT_NAME : String := "Nazwa testu"; constant TEST_PROJECT_HOME : String := "lokalizacja"; constant TestCase_1 : boolena := false; -- stała dla jednostki testowej end vhdlunit_cfg; Zawartość biblioteki nie podlega wewnętrznej modyfikacji w celu jej konfiguracji i dostosowania do określonego projektu. Z tego względu można ją wielokrotnie wykorzystywać przy różnych testach. 6. RAPORTOWANIE WYNIKÓW TESTU Zaprojektowana biblioteka umożliwia raportowanie przebiegu testów w postaci dokumentów HTML. W postaci kolorowych wierszy tabel następuje odwzorowanie wyników testów, co ułatwia ich późniejszą analizę i wyłapywanie błędnych sytuacji. Podobnie jak przy standardowej asercji języka VHDL, w raportowaniu testów jednostkowych zastosowano poziomy obsługi błędów (error levels) o następujących stanach: Info, Success, Error, Failure. Rys. 5. Widok przykładowego raportu wygenerowanego przy użyciu biblioteki vhdlunit.

7 Podczas wywołania finalizacji testu utworzona zostaje statystyka testu obejmująca procentowy udział prawidłowo wykonanych testów i testów zakończonych niepowodzeniem. Wynik przykładowego testu przedstawiono w raporcie z rys MODUŁY ROZSZERZAJĄCE Biblioteka vhdlunit została zastosowana przy testowaniu projektów opartych o logikę wielowartościową. W tym celu zaprojektowano pakiet vhdlunit_ext_nstd_logic.vhd rozszerzający funkcjonowanie biblioteki o nowy typ danych nstd_logic. Fragment zawartości pakietu vhdlunit_ext_nstd_logic.vhd library IEEE; use IEEE.STD_LOGIC_1164.all; use IEEE.STD_LOGIC_TEXTIO.all; use STD.TEXTIO.all; library nstd_logic_2000; use nstd_logic_2000.nstd_logic_2000.all; use work.vhdlunit.all; -- uzyj standardowej biblioteki vhdlunit package vhdlunit_ext_nstd_logic is procedure assertequals(arg1,arg2 : in nstd_logic); procedure assertzero(arg: in nstd_logic);... function nstd2std(arg : in nstd_logic) return std_logic; function std2nstd(arg : in std_logic) return nstd_logic; end vhdlunit_ext_nstd_logic; W pakiecie rozszerzającym zastosowano funkcje nstd2std i std2nstd konwersji pomiędzy dwoma typami danych. Przy ich użyciu zaprojektowano metody asercji dla typu nstd_logic bez dodatkowej ingerencji w kod biblioteki vhdlunit. Główną zmianą jest sposób wywołania biblioteki, ponieważ oprócz wpisu use work.vhdlunit.all należy umieszczać również użycie biblioteki rozszerzonej use work.vhdlunit_ext_nstd_logic.all. Rozszerzenie korzysta również ze standardowej biblioteki nstd_logic_2000 zaprojektowanej przez autorów i wykorzystywanej podczas wielu projektów modelowania układów cyfrowych pracujących w logice wielowartościowej[5]. Weryfikacja opracowanych układów przy użyciu biblioteki rozszerzonej miała na celu automatyzację testów funkcjonowania modelu układu FPGA zaprojektowanego przy użyciu bramek pracujących w trybie prądowym. Podczas tego projektu wykazano szczególną użyteczność zaprojektowanej biblioteki ponieważ złożona rekonfigurowalność modelowanego systemu wymagała wykonania wielu samodzielnych symulacji oraz ich weryfikowania. Dodatkowo istotnym czynnikiem było umożliwienie przeprowadzania automatycznych testów porównawczych działania modelu pracującego w logice wielowartościowej nstd_logic z modelem opartym o typ std_logic. 8. ROZWÓJ BIBLIOTEKI VHDLUNIT Biblioteka została zaprojektowana w celu uproszczenia procesów testowych realizowanych przy własnych projektach. Uniwersalność biblioteki umożliwia zastosowanie jej przy innych projektach wymagających pełnej automatyzacji raportowania wyników.

8 Aktualnie wywoływanie testów odbywa się poprzez mechanizm konsolowych skryptów. Istotną modyfikacją biblioteki jest stworzenie graficznego interfejsu GUI za pomocą którego będzie można w sposób selektywny wywoływać wybrane testy (aktualnie selekcja odbywa się przy pomocy pliku konfiguracyjnego). W tym przypadku zainicjowano projekt utworzenia takiego interfejsu przy użyciu darmowego języka skryptowego TCL/TK dostępnego w większości komercyjnych środowisk projektowych VHDL. Zastosowanie testów jednostkowych nadaje się do testowania pojedynczego układu (entity) dla jednej lub wielu architektur, jak również dla grupy niezależnych układów. To projektant decyduje jaki test realizuje określone warunki akceptacji projektowanego systemu. Autor skupił się głównie na wykorzystaniu biblioteki we własnych projektach opartych o typy std_logic i nstd_logic. Modułowość projektu umożliwia dodawanie własnych procedur asercji obsługujących inne wyspecjalizowane typy danych. Pomysłem wartym uwagi jest rozszerzenie biblioteki o moduły obsługi jednostek testowych wykorzystujących, jako wartości testowe, dane zawarte w zewnętrznych plikach (pliki tekstowe oraz waveformy). W planach przewidziana jest rozbudowa biblioteki o dodatkowe moduły raportujące między innymi zapis wyników testów w postaci dokumentów XML. Zaletą XML a jako formatu danych jest możliwość łatwego przetwarzania jego zawartości i wykorzystania wyników do powtórnej analizy. Dzięki temu istnieje możliwość obróbki wyników przez zewnętrzne biblioteki (przekształcenia styli XSL, wizualizacja graficzna przy użyciu grafiki wektorowej SVG, porównywanie przeprowadzonych testów z ich wcześniejszymi wersjami, dokumentowanie postępu prac i wskazywanie zmian zaistniałych w projekcie). Projekt biblioteki vhdlunit posiada status otwartego oprogramowania (Open Source) i jest dostępny pod adresem 9. PODSUMOWANIE Podstawową zaletą stosowania biblioteki vhdlunit jest możliwość modyfikowania elementów projektu i wykonanie grupowych testów funkcjonalności wcześniej sprawdzanych konfiguracji układu. Dzięki tej właściwości uzyskuje się łatwość eksperymentowania z nowymi pomysłami z uwzględnieniem automatycznej weryfikacji wcześniej wykonanej pracy. Ważną cechą biblioteki jest jej niezależność od środowiska projektowego. Całość kodu opisana została przy użyciu języka VHDL. Przydatność biblioteki zweryfikowano w praktyczny sposób podczas projektu reprogramowalnego układu FPGA zamodelowanego przy użyciu bramek pracujących w trybie prądowym. LITERATURA I ŹRÓDŁA [1] The Programmable Logic Data Book. Xilinx, Inc., 2000 [2] Rushton A., Vhdl for logic synthesis, John Wiley & Sons, 1998 [3] Sjoholm S., Lindh L., VHDL for Designers, Prentice Hall, 1997 [4] Skahill K., Język vhld, projektowanie programowalnych układów logicznych, WNT 2001 [5] P. Sołtan, O. Maslennikow, R. Berezowski, M. Rajewska, Automatyzacja procesu implementacji układów cyfrowych w technologii prądowych układów FPGA, KKE'01, Kołobrzeg [6] Praca wykonana w ramach grantu KBN 3T11B05926

9 CONCEPT OF DESIGN AND REALIZATION UNITY TESTS IN VHDL Przemysław Sołtan Technical University of Koszalin, Department of Electronics, Ul. Sniadeckich 2, Koszalin Abstract In this paper, a new concept of design and realization of testing procedures for digital systems represented by VHDL models is proposed. This conception is based on Extreme Programming methodology, and assumes that unity tests are designed as the independent testing blocks represented by the VHDL process operators. Based on the new conception, the library named vhdlunit one is design. It allows to perform the testing procedure in automated way, and to obtain the test reports and statistics. Author uses the vhdlunit library for testing of several own VHDL projects. Moreover, the extension of this library is designed for testing of systems operating in a multiple-valued radix N logic.