Politechnika Gdańska Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej,

Transkrypt

1 Politechnika Gdańska Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej, INFORMACJA Superkomputer Galera Najszybciej liczącą maszyną w Polsce jest w chwili obecnej superkomputer o nazwie Galera, należący do Centrum Informatycznego Trójmiejskej Akademickiej Sieci Komputerowej (CI TASK). Jego instalacja rozpoczęła się na początku listopada 2007 roku, a zakończyła w styczniu 2008 roku. Superkomputer został zainstalowany w nowym inteligentnym gmachu Wydziału Elektroniki Telekomunikacji i Informatyki Politechniki Gdańskiej, gdzie znajdzie się siedziba Centrum Informatycznego TASK wraz z wyposażoną w nowoczesne rozwiązania i zabezpieczenia serwerownia. Galera składa się z 1344 procesorów czterordzeniowych, dzięki którym osiągnąć można teoretyczną moc obliczeniową rzędu 50 TeraFLOPS (ang. Floating Point Operations Per Second liczba operacji zmiennoprzecinkowych na sekundę). Obecne komputery stosowane w biurach czy domach oczywiście wielokrotnie przewyższają możliwości pierwszych superkomputerów. Superkomputer Galera potrafi wykonać 50 bilionów działań matematycznych, takich jak dodawanie lub mnożenie liczb zmiennoprzecinkowych, w ciągu sekundy. Wykonanie takiej liczby działań zajęłoby wszystkim ludziom na Ziemi około 1000 lat. Taki gigant zużywa też 500 razy więcej energii elektrycznej niż przeciętne gospodarstwo domowe, nie licząc energii potrzebnej na chłodzenie oraz wentylację pomieszczenia. Waży około 7 ton, a do jego budowy zużyto około 8 km kabli zasilających i sieciowych. Aby komputer nie przegrzał się, jego temperatury strzeże ponad 2000 wentylatorów. Superkomputer Galera (wszystkie nasze komputery posiadają nazwy statków) jest już trzecią generacją serwerów klastrowych w CI TASK, większą o kolejny rząd mocy obliczeniowej. Będzie on wykorzystywany tak jak jego poprzednicy do celów naukowo badawczych, głównie w dziedzinie chemii, fizyki i inżynierii. Jednym z projektów realizowanych z wykorzystaniem superkomputera będą badania prowadzone przez grupę prof. Józefa A. Liwo z Wydziału Chemii Uniwersytetu Gdańskiego nad modelowaniem procesu zwijania białek. Tego typu badania mają na celu lepsze zrozumienie procesów zachodzących w naszym organizmie. Proces zwijania lub fałdowania białek, czyli samoorganizacja białek (lub innych makrocząsteczek biologicznych) zachodząca w organizmach żywych prowadzi do utworzenia unikalnej dla każdego białka struktury przestrzennej i jest podstawą poprawnego ich funkcjonowania. Niepoprawne zwijanie będące wynikiem błędów w sekwencji białka (mutacji) lub zaburzenia warunków zewnętrznych prowadzą w skrajnych wypadkach do śmierci organizmu (np. śmierć z przegrzania) a zwykle do zmian nowotworowych lub innych patologii takich jak choroby konformacyjne, np. Choroba Creuzfelda-Jacoba. Komputer wykorzystany zostanie także w międzynarodowych projektach badawczych. Przykładem jest projekt FLIERT grupy prof. Piotra Doerffera z Instytutu Maszyn

2 Przepływowych PAN komputerowe analizy oporów powietrza i aerodynamiki samolotów bazujące na wynikach badań prowadzonych w European Transonic Wind Tunnel (tunel aerodynamiczny) w Kolonii. Celem projektu jest stworzenie symulacji lotu samolotów Airbus, które w przyszłości umożliwią modyfikacje konstrukcji w celu zmniejszenia oporów powietrza, zwiększenie szybkości i zmniejszenie zapotrzebowania na paliwo. Inne wybrane tematy z projektów naukowo badawczych: Badania nad substancjami o potencjalnym wykorzystaniu w terapii antynowotworowej. Projekt ma na celu lepsze zrozumienie powstawania uszkodzeń DNA zawierającego zmodyfikowane nukleotydy (cegiełki z których zbudowane jest DNA), pod wpływem promieniowania UV i jonizującego. Badania te mogą być podstawą do projektowania nowych terapii antynowotworowych, opartych na znacznie łagodniejszych dawkach promieniowania. Zrozumienie mechanizmu uszkodzeń DNA wymaga badania znacznie większych modeli nukleotydów niż jest możliwe z użyciem obecnie dostępnego klastra, w dodatku z większą dokładnością. (Uniwersytet Gdański, Wydział Chemii) Projekt AITEB-2 Analiza przepływu powietrza w turbinach silników lotniczych, mająca na celu uzyskania większej wydajności i bezpieczniejszych rozwiązań. Projekt prowadzony przy współpracy z Rolls-Royce'm koncentruje się na badaniach nad nowymi metodami chłodzenia łopatek w turbinach, które poddawane są na działanie gazów o wysokich temperaturach z komór spalania. (Instytut Maszyn Przepływowych PAN) Projekt UNVICO-2 Uwzględnienie zmienności danych eksperymentalnych oraz niepewności parametrów modelu numerycznego w pomiarach i dostrajaniu modeli numerycznych struktur kompozytowych. Projekt łączy eksperyment z metodami komputerowymi. Głównym celem poznawczym projektu są badania eksperymentalne i numeryczne własności dynamicznych konstrukcji wykonanych z materiałów kompozytowych. Autorzy projektu poszukują odpowiedzi na pytanie Ile punktów i które punkty pomiarowe można odrzucić tak aby znacząco nie obniżyć jakości informacji? (Instytut Maszyn Przepływowych PAN) Matematyczny zintegrowany model Morza Bałtyckiego i lodu morskiego o dwóch poziomych rozdzielczościach. Wyniki z modelu zawierają temperaturę, zasolenie i prędkość przepływów w Bałtyku od roku 1960 do Model pozwala na określenie przestrzennych (trójwymiarowych) rozkładów temperatury, zasolenia oraz rozkładu prądów i ich zmienności. Badania nad wynikami z modelu pozwolą na określenie wpływu zmian klimatycznych na Bałtyk obecnie i w przyszłości w skali kilku dekad. (Instytut Oceanologii PAN) Od jakiegoś czasu obserwujemy także rosnące zainteresowanie symulacjami komputerowymi firm komercyjnych. Na razie odbywa się to na poziomie sondowania, czy projekty oparte na badaniach symulacyjnych mogą się opłacać, jakie są możliwości i warunki stawiane przez nasze Centrum. Docierają już do nas informacje o zainteresowaniu obliczeniami na nowym klastrze przez duże koncerny. W tej chwili CI TASK udostępnia na zasadach komercyjnych, co prawda w niewielkim jeszcze zakresie, starszy klaster Holk. Wykonywane są na nim symulacje zanieczyszczeń środowiska w wybranych rejonach kraju. Liczymy, że tego typu współpraca będzie również kontynuowana na nowym klastrze. Budowa klastra została w połowie sfinansowana z dotacji Ministerstwa Nauki i Szkolnictwa Wyższego, a w połowie ze środków z funduszu rozwoju Centrum Informatycznego TASK. Należy tu też wspomnieć o specjalnych warunkach finansowych jakie CI TASK uzyskał od firmy Intel Corporation w związku z porozumieniem Memorandum of Understanding

3 podpisanym w 2006 roku pomiędzy firmą Intel a CI TASK, w zakresie współpracy w szeroko rozumianym testowaniu nowych rozwiązań HPC (ang. High Performance Computing). Trudno pojedynczemu Centrum, bez utworzenia jakiegoś dużego konsorcjum, uzyskać fundusze z Unii Europejskiej na inwestycje sprzętowe. Dostawa, instalacja i uruchomienie klastra wykonane zostały przez firmy Action i WASKO S.A. Podstawowe dane techniczne klastra Klaster zbudowany jest z 336 nodów (serwerów). Pojedynczy nod posiada 4 procesory czterordzeniowe Xeon Quad-Core. Nody rozmieszczono w calowych szafach teleinformatycznych i połączono między sobą siecią InfiniBand pracującą w technologii DDR z przepustowością 20 Gb/s. Sieć ta służy do komunikacji między procesorami podczas obliczeń. Jako sieć pomocnicza została wykorzystana sieć Gigabit Ethernet. Klaster pracuje pod kontrolą systemu operacyjnego Linux. Do zarządzania klastrem wykorzystywane będzie autorskie oprogramowanie firmy WASKO Open Eye Cluster Monitoring oraz własne oprogramowanie CI TASK. Do zarządzania zasobami (system kolejkowania zadań obliczeniowych) użyty zostanie pakiet PBS/Torque/Maui. Jak zwykle w przypadku instalacji nowego sprzętu lub rozbudowy sprzętu istniejącego przeprowadzono szereg testów sprawdzających poprawność działania instalacji, jak również jej wydajność i funkcjonalność. Głównym celem było sprawdzenie działania wszystkich elementów klastra oraz zmierzenie rzeczywistej mocy obliczeniowej za pomocą testu HPL (High Performancje LINPACK) w takich warunkach jakie są wymagane dla instalacji zgłaszanych na listę TOP500 (lista najszybszych superkomputerów świata). Sprawdzono też działanie głównych aplikacji naukowych wykorzystywanych przez użytkowników CI TASK. Wyniki porównano z wynikami maszyn posiadanych przez CI TASK: klastrem Holk opartym na procesorach Itanium2 oraz serwerem Altix 3700, a także z wynikami innych instalacji, np. dostępnych na liście TOP500 a także z wynikami podobnych instalacji budowanych w tym samym czasie w innych ośrodkach. Uzyskany wynik testu HPL TFlops jest niemal 14-krotnie większy od najlepszego wyniku poprzedniego podstawowego klastra Holk, będącego na wyposażeniu Centrum od 2003 roku. Uzyskana rzeczywista moc obliczeniowa na poziomie 38 TFlops stanowi około 80% teoretycznej mocy 50 TFlops co pozwala uznać klaster za wydajną instalację. Ponadto testy pokazały bliską liniowej skalowalność mocy obliczeniowej, aż do rdzeni obliczeniowych. Jest to zasługa sieci InfiniBand.

4 Zestawienie podstawowych danych Galery: Typ komputera Procesory Liczba serwerów (nodów) 336 Liczba płyt głównych 672 Liczba procesorów 1344 Liczba rdzeni obliczeniowych Całkowita pamięć operacyjna Pamięć dyskowa Sieć Oprogramowanie Klaster na procesorach Xeon Quad-Core z siecią InfiniBand Intel Xeon Quad-Core 2,33 GHz 12MB L3Cache architektura EM64T TB 107,5 TB 1) InfiniBand: zespół przełączników firmy Flextronics: 60 szt. 24-portowych i 6 szt. 120-portowych topologia fat tree przepustowość łącza 20 Gb/s opóźnienie <5 µs 2) Gigabit Ethernet zespół przełączników Catalyst firmy Cisco: 28 szt. 1) system operacyjny Debian GNU/Linux 2) pakiet kompilatorów dostarczony przez firmę Intel 3) autorskie oprogramowanie do zarządzania i monitorowania firmy WASKO 4) własne oprogramowanie CI TASK

5