RECENZJA ROZPRAWY DOKTORSKIEJ

Transkrypt

1 Lublin, 27 kwietnia 2019 dr hab. Przemysław Stpiczyński, prof. UMCS Instytut Informatyki Uniwersytet Marii Curie-Skłodowskiej Ul. Akademicka 9/ Lublin RECENZJA ROZPRAWY DOKTORSKIEJ Tytuł rozprawy: Metody zrównoleglenia i równoważenia obciążeń dla obliczeń numerycznych w architekturach hybrydowych z akceleratorami obliczeniowymi Intel MIC Autor rozprawy: mgr inż. Kamil Halbiniak Promotor rozprawy: dr hab. inż. Łukasz Szustak, prof. PCz. Przedstawiona do recenzji rozprawa doktorska mgr. inż. Kamila Halbiniaka składa się z ośmiu rozdziałów, liczącej 133 pozycje bibliografii oraz streszczenia w językach polskim i angielskim. Całość zajmuje 139 stron. Rozprawa została przygotowana w języku polskim. Pierwsze dwa rozdziały mają charakter wstępny i wprowadzają czytelnika w rozważaną problematykę, zaś pozostała, najważniejsza część pracy prezentuje wyniki własne Autora. Praca poświęcona jest teoretycznym i praktycznym aspektom efektywnego wykorzystania wieloprocesorowych systemów hybrydowych w numerycznych obliczeniach naukowo-technicznych. Autor stawia sobie za cel opracowanie i zbadanie efektywnych metod zrównoleglenia takich programów z uwzględnieniem specyfiki systemów hybrydowych wymagających zastosowania metod dynamicznego równoważenia obciążenia zasobów obliczeniowych systemu. Jako platformę docelową dla aplikacji inżynierskiej, której zadaniem jest numeryczne modelowanie krzepnięcia metodą pola fazowego przyjmuje systemy z akceleratorami Intel MIC różnych generacji (KNC, KNL). Podstawowa teza pracy zakłada możliwość znacznego zwiększenia wydajności obliczeń numerycznych realizowanych w hybrydowym środowisku obliczeniowym poprzez zastosowanie efektywnych metod organizacji obliczeń równoległych, wspartych przez odpowiednio skonstruowane metody odwzorowania algorytmów na architektury komputerowe. W celu udowodnienia tezy Autor zakłada realizację kilku szczegółowych celów badawczych, z których najważniejsze jest opracowanie i zbadanie efektywności metodyki adaptacji oprogramowania inżynierskiego na architektury hybrydowe z akceleratorami Intel MIC bez potrzeby istotnej modyfikacji kodu źródłowego. Dalsze cele obejmują zbadanie efektywności metodyki pod kątem produktywności i wydajności otrzymanego kodu z uwzględnieniem różnych metryk przydatnych przy ewaluacji systemów obliczeniowych oraz opracowanie metody równoważenia obciążenia w aplikacji do modelowania krzepnięcia, która charakteryzuje się zmienną intensywnością obliczeń. 1

2 Wobec potrzeby tworzenia oprogramowania do obliczeń charakteryzujących się sporą nieregularnością, które byłoby w stanie dobrze wykorzystywać możliwości oferowane przez pojawiające się na rynku nowe wersje wieloprocesorowych systemów hybrydowych do oraz wynikającą z tego potrzebą rozwijania nowych struktur danych i algorytmów przy zachowaniu łatwości ich użycia, uważam wybór tematyki badawczej za trafny i bardzo dobrze wpisujący się we współczesne trendy związane z rozwojem informatyki. W pierwszym rozdziale rozprawy Autor wprowadza czytelnika w rozważaną problematykę badawczą, dokonuje przeglądu literatury prezentując aktualny stan wiedzy i w dalszym ciągu formułuje tezę i szczegółowe cele pracy. Wstępny charakter ma również rozdział drugi, w którym omówione są zagadnienia związane ze współczesnymi architekturami hybrydowymi ze szczególnym uwzględnieniem koprocesorów o architekturze Intel MIC w wersjach KNC i KNL Dalej autor omawia dostępne i wykorzystywane środowiska programowania architektur hybrydowych (OpenMP, hstreams, MPI) oraz metryki służące do oceny wydajności heterogenicznych systemów obliczeniowych (czas wykonania, wydajność teoretyczną i rzeczywistą, przyspieszenie i efektywność oraz model Roofline). Rozdział ten jest bardzo ważny z punktu widzenia szczegółowych informacji technicznych dotyczących parametrów platform testowych omawianych w dalszych rozdziałach. Dalsza część pracy (rozdziały 3-7) zawiera systematyczną prezentację wyników rozprawy. W rozdziale trzecim omówiono numeryczny model krzepnięcia bazujący na metodach pola fazowego oraz przedstawiono cechy oryginalnego równoległego kodu źródłowego dwóch wersji aplikacji stanowiącej punkt wyjścia dla dalszych badań poświęconych jego odwzorowaniu na współczesne architektury hybrydowe. Pierwsza wersja zakłada stałą liczbę obliczeń wykonywanych w trakcie modelowania, zaś druga, znacznie bardziej istotna jeśli chodzi o trudności związane z efektywnym odwzorowaniem obliczeń na przyjęty model architektury, zakłada, że obliczenia są wykonywane tylko w tych węzłach, w których zaszły zmiany badanych zmiennych. Przedstawione są wyniki wydajnościowe obu wersji aplikacji opracowane z wykorzystaniem oprogramowania narzędziowego Intel Advisor Roofline. Rozdział czwarty poświęcony jest prezentacji opracowanej metodyki adaptacji aplikacji na platformę obliczeniową CPU-MIC. Zaprezentowano szczegółowo poszczególne kroki, które należy wykonać: transformację struktur danych, dekompozycję oraz optymalizację wymiany danych na granicach siatki obliczeniowej, równoważenie obciążenia między procesory CPU i akceleratory, zrównoleglenie oraz wektoryzację obliczeń. Szczególnie ciekawa wydaje się tu koncepcja poprawy procesu automatycznej wektoryzacji kodu charakteryzującego się nieregularnym dostępem do danych poprzez zastosowanie tymczasowych buforów. Rozdział piąty prezentuje sposoby implementacji opracowanej metodyki z wykorzystaniem czterech środowisk programowania dostępnych dla architektury opartej na akceleratorze Intel MIC w wersji KNC (Offload, OpenMP Accelerator Model w wersjach 4.0 i 4.5 oraz hstreams). Dla każdego środowiska przedstawiono zarys oraz najważniejsze cechy implementacji oraz pokazano i omówiono uzyskane wyniki charakteryzujące wydajność z wykorzystaniem przyjętych metryk. Podobne rozważania przedstawione są w rozdziale szóstym, ale dla platform hybrydowych opartych na koprocesorze w wersji KNL. Omówione jest również zastosowanie standardu MPI do poprawy wydajności i skalowalności obliczeń. Szczególnie ciekawe są wyniki uzyskane na hybrydowej platformie wyposażonej w dwa procesory CPU o mikroarchitekturze Broadwell oraz osiem akceleratorów KNL. Poza tym 2

3 Autor przedstawił tu porównanie różnych metryk opisujących wydajność dla obu wersji architektury Xeon Phi (KNC i KNL). Rozdział siódmy poświęcony jest dwuetapowej metodzie adaptacji aplikacji ze zmienną ilością obliczeń. Autor omawia algorytmy prognozowania domeny obciążeń oraz równoważenia obciążenia. Przedstawione są wyniki dotyczące wydajności metody na nowej platformie wyposażonej w dwa procesory CPU Intel Xeon Platinum 8180 oraz akcelerator Xeon Phi 7250F. Ostatni rozdział zawiera podsumowanie uzyskanych i przedstawionych w rozprawie wyników oraz perspektywy dalszych prac badawczych. Wymienia się w tym kontekście trzy główne kierunki badań, a mianowicie ocenę opracowanej metodologii pod kątem efektywności energetycznej, rozszerzenie badań na systemy z pamięcią rozproszoną oraz systemy wyposażone w procesory graficzne GPU oraz układy programowalne FPGA. Do najważniejszych oryginalnych wyników przedstawionych w pracy należy zaliczyć następujące: 1. Opracowanie kompletnej metodyki adaptacji kodów źródłowych aplikacji naukowo-technicznych do środowiska hybrydowego CPU-MIC. 2. Zaproponowanie dwuetapowej metody adaptacji aplikacji ze zmienną ilością obliczeń w oparciu o własne algorytmy prognozowania domeny obciążeń oraz równoważenie obciążenia. 3. Opisanie sposobu przeprowadzenia wektoryzacji obliczeń w oparciu o tymczasowe bufory zapewniające właściwy dostęp do danych. 4. Opisanie metodologii weryfikacji efektywności użycia konkretnych środowisk programistycznych dla architektur hybrydowych pod kątem wydajności oraz produktywności. 5. Sformułowanie algorytmu pozwalającego na zmniejszenie ilości obliczeń w kolejnych krokach numerycznego modelowania krzepnięcia, który wykorzystuje technikę łączenia pętli redukującą liczbę operatorów warunkowych oraz prognozowanie domeny obliczeń z wykorzystaniem mapy ID lub 2D. 6. Przeprowadzenie imponującej serii eksperymentów obliczeniowych pozwalających na pełną weryfikację przyjętych założeń oraz wysunięcie wniosków. Należy przyznać, że Autor podjął się realizacji bardzo ciekawego oraz istotnego z punktu widzenia praktycznych zastosowań problemu badawczego, który wymaga kompleksowej znajomości architektury współczesnych systemów wieloprocesorowych ze szczególnym uwzględnieniem wpływu hybrydowości (heterogeniczności) na efektywność przetwarzania i tworzenia ogólnych metod umożliwiających łatwiejsze programowanie aplikacji. Wykazał się dużą wiedzą w zakresie architektury komputerów i umiejętnościami wykorzystania tej wiedzy dla optymalizacji programów. Dzięki temu to podejście oraz opracowany warsztat badawczy" mogą być stosunkowo łatwo wykorzystane do poszukiwania nowych efektywnych implementacji algorytmów rozwiązywania innych problemów obliczeniowych. Właśnie ten element pracy (oprócz rzecz jasna wymienionych wyżej oryginalnych wyników badawczych) uważam za największy jej atut oraz element zasługujący na wyróżnienie. Praca została przygotowana w sposób staranny i wyczerpujący, co oznacza, że z pewnością będzie stanowić cenny materiał źródłowy pomocny w pracy 3

4 naukowej osób zgłębiających zagadnienia związane z opracowywaniem efektywnych implementacji obliczeń. Trzeba również przyznać, że uzyskane wyniki można dalej rozwijać oraz Autor wskazał bardzo interesujące kierunki takiego rozwoju. Szczególnie ważne wydają się przyszłe badania dotyczące efektywności energetycznej. Podsumowując należy stwierdzić, że Autor zawarł w rozprawie wyniki teoretyczne i praktyczne, które potwierdzają tezę postawioną w pierwszym rozdziale pracy. Udokumentowane zostało osiągnięcie wszystkich zakładanych celów szczegółowych. Warto zaznaczyć, że praca zawiera wyniki, które Autor rozprawy opublikował wcześniej (wraz ze współautorami) w siedmiu publikacjach dostępnych w obiegu międzynarodowym, z których cztery to artykuły w bardzo dobrych czasopismach Simulation Modelling Practice and Theory, Journal of High Performance Computing Applications, The Journal of Supercomputing, Scientific Programming. Pozostałe artykuły ukazały się w materiałach pokonferencyjnych (w tym w serii Lecture Notes in Computer Science). W większości prace są indeksowane w bazach Scopus i Web of Science osiągając sporą liczbę cytowań (łącznie odpowiednio 36 i 16). Świadczy to o uznaniu międzynarodowej społeczności naukowej dla uzyskanych wyników i trafności podjętej tematyki badawczej. Pomimo dbałości Autora o klarowne i w pełne przedstawienie omawianych zagadnień sformułować kilka uwag polemicznych i redakcyjnych. 1. Zamieszczony w rozdziale 3 opis stosowanych metod numerycznych mógłby być pełniejszy. W trakcie lektury pracy można mieć pewne problemy z odniesieniem poszczególnych fragmentów kodu źródłowego do wzorów opisujących metodę. 2. Autor zamieszcza fragmenty kodów źródłowych, które nie zwierają nagłówków funkcji. Utrudnia to nieco zrozumienie znaczenia poszczególnych fragmentów programów. 3. Ta sama uwaga dotyczy użytych struktur danych. Stwierdzenie siatka Grid zaimplementowana jest w oparciu o zasobniki STL" wymaga pewnego rozwinięcia i szerszego omówienia użytych struktur danych. Poprawiłoby to znacznie łatwość zrozumienia użytych technik w kontekście transformacji AoS -> SoA. Nie jest też jasne, czy przy tej transformacji stosowano bibliotekę SDLT. 4. Praca z pewnością zyskałaby, gdyby zamieszczono w niej omówienie ogólnej metodologii adaptacji kodów źródłowych na platformy hybrydowe. Takie omówienie mogłoby zawierać opis sposobu postępowania z różnymi konstrukcjami programistycznymi i mieć charakter wzorców projektowych. 5. Wyniki przedstawione w rozdziale 7 mogłyby dotyczyć również starszych platform testowych. 6. Można postawić pytanie, jak łatwo uzyskane wyniki (opracowaną metodologię) można zastosować do systemów hybrydowych z akceleratorami GPU. 7. Autorowi nie udało się uniknąć pewnych niekonsekwencji językowych. Przykładowo czasami pisze o kernelach obliczeniowych", zaś w innych miejscach używa tłumaczenia jądra obliczeniowe". 4

5 Powyższe uwagi nie wpływają jednak w sposób istotny na moją bardzo wysoką ocenę rozprawy. Uważam, że spełnia ona ustawowe wymogi stawiane rozprawom doktorskim z dziedziny nauk technicznych w zakresie informatyki. Wnoszę zatem o dopuszczenie mgr. inż. Hamila Halbiniaka do publicznej obrony rozprawy Metody zrównoleglenia i równoważenia obciążeń dla obliczeń numerycznych w architekturach hybrydowych z akceleratorami obliczeniowymi Intel MIC. Jednocześnie biorąc pod uwagę obszerność i duże znaczenie zawartych w rozprawie wyników oraz fakt, że zostały opublikowane w siedmiu artykułach naukowych uzyskując wysokie wskaźniki cytowalności wnoszę o wyróżnienie rozprawy doktorskiej. 5