Implementacja Gigabitowego Ethernetu na układach FPGA dla eksperymentów fizycznych Grzegorz Korcyl
Plan 1. Systemy akwizycji danych 2. Używana elektronika 3. Układy FPGA 4. Programowanie FPGA 5. Implementacja GbE 6. Podsumowanie
1. Systemy akwizycji danych Elektronika oraz oprogramowanie do pozwalające zmierzyć oraz zapisać sygnały z detektorów Rzeczywisty eksperyment: - Wiele detektorów - Tysiące kanałów danych - Tysiące pomiarów na sekundę - Analiza danych na żywo DAQ
1. Systemy akwizycji danych Eksperyment HADES System 7 detektorów 80 000 kanałów danych Do 55 000 przypadków na sekundę 520 płyt elektronicznych 550 FPGA 1050 optycznych nadajników 5km światłowodów Gigabit Ethernet + TrbNet Do 700 MBps danych zapisywanych High Acceptance Di-Electron Spectrometer at GSI Helmholtzzentrum fur Schwerionenforschung, Darmstadt (DE)
2. Używana elektronika Concentrators Detectors Front-End Electronics Readout electronics Trigger modules Event builders Detektory: Generuja analogowe sygnaly Tysiace kanałów Elektronika czołowa: Kształtowanie sygnałów Dyskryminacja Elektronika odczytu: Pomiar oraz cyfryzacja analogowych sygnałów Wstępna analiza Konstrukcja jednostek danych Koncenratory: Składanie jednostek danych Brama do sieci Transmisja danych kontrolnych Moduł wyzwalania: Generuje sygnał migawki Kontroluje działanie całego systemu Maszyny budujące: Składają części danych w pełne przypadki Zapisują dane na trwałych nośnikach
3. Układy FPGA Field Programmable Gate Array Programowalna logika Rekonfiguracja Równoległe przetwarzanie Porty do komunikacji Wbudowana pamięć Przetwarzanie sygnałów na żywo Rozwiązania CPU
3. Układy FPGA Piny IO Bloki logiczne (LUT, przerzutnik, multiplekser) Połączenia pomiędzy blokami Sprzętowe elementy (pamięć, moduły DSP, porty komunikacyjne, etc.)
3. Układy FPGA
4. Programowanie FPGA Projekt: Opis logiki wykonywanej przez FPGA języki HDL Plik mapujący piny na sygnały oraz określający wymagania Budowa: Synteza przetłumaczenie HDL na bramki logiczne wraz z połączeniami, uproszczenie, optymalizacja Place And Route rozmieszczenie logiki wewnątrz układu FPGA Bitgen Wygenerowanie pliku konfiguracyjnego Problemy: Błędy logiczne Czasy propagacji sygnałów Rozmiar zaprojektowanej logiki
4. Programowanie FPGA + =
4. Programowanie FPGA Język VHDL (VHSIC Hardware Description Language) Język opisu sprzętu Ukierunkowany na przepływ danych Teoretycznie przenośny pomiędzy platformami Budowa: Czasochłonna Nie zawsze przewidywalna Debugowanie: Symulacje (pre i post PAR) Analizator stanów logicznych ChipScope, Reveal Analyzers
5. Implementacja GbE Motywacja: Zebrane dane z detektorów trzeba przenieść do komputerów Znany standard, tanie, sprawdzone urządzenia Wsparcie producentów FPGA Projekty: Eksperyment HADES (GSI, Niemcy) Eksperyment BELLE2 (KEK, Japonia) Przyszły eksperyment PANDA (GSI, Niemcy) Ogólny projekt TRBv3
5. Implementacja GbE Podstawowa implementacja dla HADESu: Koncentrowanie danych z kilku źródeł Konstrukcja pakietów UDP Wybór komputera docelowego Transmisja Moduły: Odbierający dane interfejs z TrbNet Konstrukcja pakietów oraz ramek (OSI 3 + 4) Moduł transmitujący Moduł dostępu do sprzętu (OSI 1 + 2) Stan: W użyciu od 2 lat Prędkość transmisji do 50 MBps
FPGA Logic GTP SGMII/GbE PCS Embedded MAC 5. Implementacja GbE Rozszerzona implementacja Odbieranie pakietów - FullDuplex Implementacja podstawowych protokołów Transmisja do 118MBps Logika niezależna od układu FPGA Obsługa VLAN Jumbo Frames data control Packet Constructor Transmit Controller Frame Transmitter Frame Constructor Ethernet DHCP PING Frame Receiver Receive Controller Protocol Selector Main Controller Type Validator Protocol Prioritizer ARP DataRX Link Controller
5. Implementacja GbE Zastosowanie projekt 1 TRBv3 Płyta ogólnego zastosowania 5x Lattice ECP3 150 8x 3.2 Gbps SFP 4x 208 pin konektory małe karty Addon 1x 106 pin konektor regular Addon Kontrola całej płyty poprzez Ethernet
5. Implementacja GbE Zastosowanie projekt 1 TRBv3 Time-to-Digital Converter na FPGA Dokładny pomiar czasu propagacji sygnału wewnątrz FPGA
5. Implementacja GbE Zastosowanie projekt 2 Compute Node ATCA 5x Xilinx Virtex4FX 75 8x 3.2 Gbps SFP 5x 2GB DDR2 Wysoka przepustowość oraz moc obliczeniowa do analizy danych na żywo PowerPC do implementacji wysoko poziomowych algorytmów
5. Implementacja GbE Zastosowanie projekt 2 Compute Node Rozwiązania CPU na FPGA Hardware: Procesory PowerPC wbudowane w urządzenia FPGA Software: Kompilowalne procesory RISC MircoBlaze jako logika FPGA Możliwość uruchamiania programów napisanych w C Możliwość uruchomienia systemu operacyjnego
5. Implementacja GbE Zastosowanie projekt 2 Compute Node Analiza danych oparta na wbudowanych w FPGA PowerPC 2GB SDRAM dla każdego z FPGA
6. Podsumowanie Eksperymenty fizyczne wymagają nowoczesnych rozwiązań w zakresie przetwarzania oraz transmisji danych Układy FPGA idealnie wpasowują się do stawianych wymagań Implementacja Gigabitowego Ethernetu rozszerza zakres możliwości oferowanych przez elektronikę wyposażoną w układy FPGa