Potrzeby i możliwości realizacji nowej generacji systemów obliczeniowych reaktorów energetycznych

Potrzeby i możliwości realizacji nowej generacji systemów obliczeniowych reaktorów energetycznych Mieczysław Borysiewicz, Sławomir Potempski Narodowe Centrum Badań Jądrowych Otwock-Świerk

Skale czasowo-przestrzenne ważne dla problemów obliczeniowych instalacji jądrowych Źródło: U.S. Department of Energy, Science Based Nuclear Energy Systems Enabled by Advanced Modeling and Simulation at the Extreme Scale, 2009.

Reaktory jądrowe jako systemy złożone o wielopoziomowej strukturze Reaktor Przekrój poprzeczny rdzenia reaktora Kaseta paliwowa ESBWR 20 cm 15 meters Rdzeń reaktora 8 metrów 5 mm Pręt paliwowy

Czynniki determinujące zakres obliczeń neutronowych rdzenia Rozdzielczość przestrzenna Odwzorowanie geometrii rdzenia reaktora 10 9-12 wielkości do wyznaczenia komórki rozmiaru mm 3 w zbiorniku rozmiaru m 3 Analizy wypalania paliwa dodatkowo zwiększają wymagania Rozdzielczość w obszarze energii Opis rezonansów 10 4-6 przedziałów energii w stosowanych modelach przestrzennych 0D, 1D Rozdzielczość kątowa Opis strumieni 10 2-4 kierunków Różne przekroje czynne Różne przekroje czynne Całkowity p rzekrój czynny 1.E+03 4.6E-07 1.E+01 3.4E-07 1.E-01 2.2E-07 1.E-03 1.0E-07 1000 2000 3000 4000 5000 Energia (ev) 1.E+03 6.0E-07 1.E+00 4.0E-07 1.E-03 2.0E-07 1.E-06 0.0E+00 1.E-04 1.E+00 1.E+04 1.E+08 Energia (ev) 1.E+03 4.0E-07 1.E+00 2.0E-07 1.E-03 1.E-06 0.0E+ 00 1.E-04 1.E+00 1.E+04 1.E+08 Energia (ev) Strumień neutronów Strumień neu tronów Strumień neutronów

Aktualnie stosowane wielopoziomowe podejścia do obliczeń neutronowych Poziom 1: Pojedynczy pręt paliwowy Dokładna 1-D siatka dla małego obszaru Wysoka rozdzielczość w obszarze energii Przybliżone warunki początkowo brzegowe Przejście do siatki grubej Dane jednolite lub efektywne Poziom 2: Pojedyncza kaseta Umiarkowanie dokładna siatka przestrzenna 2-D Umiarkowana rozdzielczość w obszarze energii Przybliżone warunki brzegowe Various Cross Sections 1.E+03 6.0E-07 1.E+00 4.0E-07 1.E-03 2.0E-07 1.E-06 0.0E+00 1.E-04 1.E+00 1.E+04 1.E+08 Energy (ev) Neutron Flux Poziom 3: Cały obszar rdzenia reaktora Niska dokładność dla całego 3-D obszaru Bardzo niska rozdzielczość w obszarze energii Prawdziwe warunki brzegowe Dodatkowe modele fizyczne Various Cross Sections 1.E+03 4.0E-07 1.E+00 2.0E-07 1.E-03 1.E-06 0.0E+00 1.E-04 1.E+00 1.E+04 1.E+08 Energy (ev) Neutron Flux

Wieloskalowość modelowania przepływów Parowanie Sprzężony przepływ ciepła Makro-skala Mezo-skala Mikro-skala Widoczny kąt kontaktu Nie-odparowujący filtr absorpcyjny Sprzężony przepływ ciepła Pęcherzyki pary Kontakt z parą, cieczą i ciałami stałymi Pręty paliwowe Pęcherzyki pary

Aktualne podejście do modelowania przepływów Poziom 1: Poziom mikroskopowy Korelacje wrzącej wody Użycie CFD (mechanika obliczeniowa płynów) Poziom 2: Pręty paliwowe Modelowanie przepływu w kanałach Korelacje moc-przepływ i inne Poziom 3: Rdzeń reaktora Efektywne modele 1-D + modelowanie przepływu poprzecznego Kody: RELAP, CATHARE, TRAC(E), etc.

Przepływy i wymiana ciepła - potrzeby Istnieje potrzeba dalszych prac w następujących czterech obszarach: (1) Metody bezpośrednich symulacji przepływów turbulentnych (DNS), podejście najbliższe wymogowi stosowania pierwszych zasad: śledzenie frontów w przepływach, modele interfejsów dyfuzyjnych, metody cząstek, techniki sieci Boltzmann a; (2) Mechanika obliczeniowa płynów (CFD) w obszarach otwartych (obliczenia szczegółowe w kanałach lub w komorach mieszania), z naciskiem symulacje w przybliżeniu dużych wirów w obszarach dużych wartości liczby Reynolds a; (3) Przepływy CFD dla mediów porowatych (dla analiz wielokanałowych); (4) Obliczenia dla całego systemu (obliczenia dla całej instalacji).

Przepływy i wymiana ciepła potrzeby c.d. Nacisk na odpowiednie sprzężenie modeli dla różnych skal i procesów fizycznych i na problemy złożonej geometrii. Istnieje potrzeba skierowania głównych wysiłków na modelowanie przepływów wielofazowych i z udziałem wielu różnych czynników, transport między fazami i zmiany reżimów przepływu. W zakresie metod numerycznych potrzebny dalszy rozwój w obszarze stosowania niestrukturalnych siatek, adaptacyjnego zagęszczania siatek, modelowania mediów porowatych z uwzględnieniem anizotropowej przenikalności.

Nowe wyzwania Maj 2009 r. warsztaty, sponsorowane przez DoE of Science i DoE Office of Nuclear Energy: przedstawiono szczegółowy obraz wymagań obliczeniowych w zakresie energii jądrowej. Z perspektywą osiągnięcia wydajności obliczeniowej 10 exaflopsów (10 18 ) w roku 2024. potrzeba ok. 15 lat dla opracowania wdrożenia nowej generacji modeli obliczeniowych do analiz w reżimach HPC (High Performance Computing) wraz z metodami ocen niepewności wyników. modelowanie exaskali może zredukować koszty konstrukcji NOWYCH EJ dużej skali o 20%.(3 miliardy z 15 miliardów USD). DoE USA nadzoruje dla osiągnięcia wymienionych celów dwa interdyscyplinarne i międzyinstytucjonalne programy: Nuclear Energy Advanced Modelling and Symulation (NEAMS) Scientific Discovery through Advance Computing (SCidaC).

Wizja NEAMS Wymagania w zakresie modelowania i symulacji: - oparte o pierwsze zasady (prawa fizyki i chemii), - wysoki wymiar przestrzenny modeli, - wysoka rozdzielczość przestrzenno czasowa, - zintegrowane systemy modelowania, - odpowiednia weryfikacja, walidacja i oszacowanie niepewności wyników, - wykorzystanie najlepszych platform obliczeniowych oraz najlepszych technik programowania i narzędzi analiz wyników. Zaawansowane technologie obliczeniowe: - narzędzia programowania, - ułatwienia do tworzenia modeli, - analizy wyników (wizualizacja), - odpowiednie platformy komputerowe dla realizacji ww. zadań w reżimach HPC.

Wizja NEAMS Krytycznym zagadnieniem dla realizacji HPC jest opracowanie modeli programowania do wykorzystania architektur komputerowych nowej generacji, aktualnie są to m.in.: klastry wielordzeniowe CPU, nowa generacja klastrów GPGPU. Narzędzia programowania powinny: być wystarczająco ogólne dla odtworzenia dowolnego algorytmu równoległego rozwiązywania określonych problemów, zapewniać skalowalność na dostępnych konfiguracjach HPC, być łatwym w użyciu przy tworzeniu dowolnej aplikacji. Nacisk położony na: Metody numeryczne rozwiązywania równań różniczkowych cząstkowych występujące we wszystkich symulacjach i obszarach modelowania instalacji jądrowych, w tym rdzeniu reaktora (transport neutronów, dynamika płynów i wymiana ciepła w warunkach wielofazowych). Złożone geometrie.

Wizja NEAMS Istniejące kody symulacyjne, oparte są na algorytmach i technikach programowania sprzed 30 lat. Obliczenia dla nowych generacji, realizowana w przyszłości, wymagają: metod wyższego rzędu dyskretyzacji i wysokiej rozdzielczości w zastosowaniu do złożonej geometrii, wykorzystania efektywnych technik budowy i manipulacji siatkami obliczeniowymi, algorytmy numeryczne oraz rozwiązania programistyczne powinny uwzględniać wieloskalowość rozpatrywanych procesów.

Współczesne techniki i narzędzia programistyczne wspomagające przygotowanie i realizacje symulacji ITAPS (The Interoperable Tools for Advance Petascales Simulations) Stworzenie interfejsów upraszczających sprzężenie pomiędzy modułami obliczeniowymi w szczególności pomiędzy obliczeniami cieplnoprzepływowymi i neutronowymi.

ITAPS ITAPS powstał w wyniku współpracy kilku uniwersytetów USA oraz laboratoriów DoE w ramach programu SciDAC. Podstawowym celem jest uproszczenie stosowania wielosiatkowych strategii dyskretyzacji równań w ramach pojedynczej symulacji na komputerach z przetwarzaniem w skali tera i peta-flopsów. Jest to osiągalne przez rozwój wspólnych interfejsów funkcjonalnych dla definiowania geometrii, siatek i procesów.

Pakiety przygotowywania danych SAMRAI (Infrastruktura umożliwiająca stosowanie adaptacyjnej siatki o zmiennej rozdzielczości: LLNL) CUBES (Program tworzący siatkę: NASA Ames) Overture (Obiektowe narzędzia rozwiązywania równań różniczkowych cząstkowych w złożonych geometriach: LLNL) i jego składowe: Rapsodi Eleven

Ove rture Struktura Ove rture ws pie rając a programy obliczeń fizycznyc h So lvery dla przep ływó w cieczy So lve ry dla zagadnień e lektromag netyc znych Szybsze so lve ry dla równ ań e liptycznych Generowanie s ia tek Operatory różn iczkowe Adaptacyjne zagnieżdżanie siatek S truktury danyc h s iatkowyc h Funkcje s iatko we (po la) Grafika (wys okiego poziomu) Geometria Modyfikacja danych z CAD Klasy macierzy Grafika (nis kiego po ziomu) So lvery linio we (z ewnętrzn e) Bazy danych (zewnę trzne )

Nowe metody dyskretyzacji: Multigrid Embedded Boundary Method (MEBM) Konstruowanie dopasowanych, logicznie prostokątnych sieci jest trudne i kosztowne. Zagnieżdżone sieci graniczne są konstruowane automatycznie w SAMRAI: - tworzone z wielokątów, lub przy pomocy triangulacji powierzchni przy użyciu CUBES, - zmiana skali zwiększa dokładność przedstawienia granic. Przykładowa zagnieżdżona siatka MEMBM stworzona przy pomocy CUBES Siatka dopasowywana do kształtu Zagnieżdżona Siatka Graniczna Linie siatki zgodne z krawędziami budynków Wycięte komórki Zmiana skali siatki

Zaawansowane systemy tworzenia siatek, przykład systemów opracowanych w LLNL Overture zawiera narzędzia dla szybkiego tworzenia siatek na podstawie geometrii: - szybkie tworzenie siatek powierzchni na podstawie danych CAD, - opracowany dla obsługi złożonej geometrii. Biblioteka SAMRAI obsługuje równoległe programy AMR: - adaptacyjna zmiana skali siatki (AMR) automatycznie zwiększa rozdzielczość symulacji tam, gdzie jest to potrzebne, - pracuje na dużych systemach przetwarzania równoległego.

Rapsodi/Eleven - narzędzia geometryczne dla wydajnego wspierania MEBM Rapsodi: podzespół Overture zapewniający wsparcie CAD: - IGES dla złożonych geometrii CAD, - Liczne narzędzia poprawek i edycji w CAD. Eleven: mała, niezależna biblioteka dla tworzenia zagnieżdżonych siatek granicznych: przedstawianie, tworzenie zapytań oraz modyfikacje geometrii, zapytania korzystające z blokowej struktury danych AMR, może być wywołany z programu rozwiązującego problem (np. SAMRAI) dla ocenienia geometrii podczas zmniejszania skali.

Metody i algorytmy wielu skal czasowo-przestrzennych - potrzeby Fizyka wielu skal. Główna trudność leży w zapewnieniu właściwej wymiany informacji dla różnych skal czasowo-przestrzennych tak aby uzyskać możliwość wykonywania dokładnych oraz odpowiedniej jakości symulacji. Łączenie modeli fizycznych różnych skal czasowych. W wielu przypadkach krok czasowy jest zdeterminowany przez procesy fizyczne przebiegające w drobnej skali. Zastosowanie kroku adaptacyjnego i metod całkowania w celu przyspieszania szybkości wyznaczania rozwiązań może okazać się bardzo pomocne. Analiza stanów przejściowych w obliczeniach bezpieczeństwa wymaga metod umożliwiających przeprowadzanie symulacji w różnych skalach czasowych.

Metody i algorytmy wielu skal czasowo-przestrzennych - potrzeby Opracowanie ulepszonych rozwiązań łączących modele różnych skal czasowych oraz stosujących schematy o różnych krokach czasowych. Nowe matematyczne techniki do dekompozycji operatorów względem czasu, uwzględniające wiele skal i poziomów warunków brzegowych będą konieczne aby uzyskiwać dokładne rozwiązania równań różniczkowych cząstkowych. W analizach bezpieczeństwa stanów przejściowych wydajność solwerów dla układów równań sztywnych wymaga poprawy.

Bariery w szerszym stosowaniu symulacji HPC Pisanie kodów równoległych jest poza możliwościami wielu ekspertów z dziedzin pozainformatycznych Istnieją poważne trudności w łączeniu wielu kodów do analiz Spore trudności w tworzeniu i obsłudze siatek Proces modelowania jest ręczny, wielokrokowy Wymagana jest bliska znajomość różnych części oprogramowania Dostępnych jest niewiele narzędzi do zarządzania olbrzymimi zestawami danych symulacyjnych, przepływami oraz do wykonywania analiz Interfejs użytkownika jest skomplikowany Budowanie i dystrybucja kodu na różne platformy jest złożone Potrzeba kompletnej platformy ramowej do symulacji HPC

Czym jest platforma ramowa do symulacji HPC? Problem - brak jednolitych definicji w społeczności HPC Definicja ze spotkania platformy NEAMS, lipiec 2010: Ramowa platforma symulacyjna HPC: Całkowity zbiór oprogramowania potrzebny do opracowywania kodów do wieloskalowych symulacji oraz do przeprowadzania produktywnie takich symulacji, w odróżnieniu od kodów inżynierskich oraz naukowych, specyficznych w swoich dziedzinach. Platforma składa się z wielu części o różnych funkcjach Charakter modułowy z niepełną integracją Platforma zawiera następujące grupy oprogramowania: Oprogramowanie bazowe Usługi Zarządzanie danymi i przepływami, analizy, interfejs użytkownika Platforma do rozwoju kodu Ramowe platformy HPC są na wczesnym etapie projektów i opracowywania

Przykład symulacji ramowej platformy HPC Edytor geometrii Edytor danych wejściowych symulacji Biblioteki matriałowe Geometria Tworzenie siatki Właściwości materiałów, warunki początkowo-brzegowe, parametry symulacji Zarządzanie wykonaniem Siatka Fizyka 1 Fizyka 2 Fizyka 3 Oprogramowanie bazowe Narzędzia analityczne i VV/UQ Wyniki symulacji Wizualizacja i analizy Baza danych symulacji Kategorie Oprogramowanie Modułów bazowe Podstawowych Serwisy Zarządzanie danymi oprogramowanie grupowe, obliczenia i interface użytkownika Struktury rozwojowe (nie pokazane) użyte do rozwoju analiz i struktur kodów

Ogólne rozważania dotyczące ramowej platformy HPC Platforma modularna oparta na wybranych standardach Musi funkcjonować z kodami napisanymi w różnym stylu Różne języki programowania (Fortran, C, C++) Stare kody bez poważniejszych wewnętrznych zmian Kody używające narzędzia do rozwiązywania PDE bez konieczności znajomości szczegółów programowania równoległego Możliwość do zastosowania w dużych problemach obliczeniowych 10 10 komórek w siatce w najbliższej przyszłości; wychodzące znacznie poza exaskalę Wymaga to wprowadzenia znaczących innowacji Wszystkie krytyczne części, zwłaszcza oprogramowanie bazowe musi być typu open source Musi wspomagać użycie kodów prawnie chronionych, jeśli to konieczne

Projekt CIŚ: Centrum Informatyczne Świerk Cel: Przygotowanie zaplecza kompetencyjnego zdolnego do świadczenia zaawansowanych usług przetwarzania danych na potrzeby krajowej energetyki jądrowej i konwencjonalnej, symulacji procesów paliwowych, symulacji i monitorowania zagrożeń radiologicznych, oraz prowadzenie badań naukowych i rozwojowych w dziedzinach pokrewnych www.cis.gov.pl www.ncbj.gov.pl