Numeryczna algebra liniowa

Transkrypt

1 Numeryczna algebra liniowa

2 Numeryczna algebra liniowa obejmuje szereg algorytmów dotyczących wektorów i macierzy, takich jak podstawowe operacje na wektorach i macierzach, a także rozwiązywanie układów równań liniowych czy znajdowanie wartości własnych

3

4 Przykłady podziałów zadania na podzadania: Podział ze względu na funkcje (functional decomposition): standardowe złożone aplikacje (np. z obsługą plików, korektą poprawności w trakcie pracy itp.) złożony problem optymalizacji

5

6 Przykłady podziałów zadania na podzadania: Podział ze względu na funkcje (functional decomposition): standardowe złożone aplikacje (np. z obsługą plików, korektą poprawności w trakcie pracy itp.) złożony problem optymalizacji Podział struktury danych (data decomposition) sortowanie tablic rozwiązywanie układów równań liniowych

7

8 Przykłady podziałów zadania na podzadania: Podział ze względu na funkcje (functional decomposition): standardowe złożone aplikacje (np. z obsługą plików, korektą poprawności w trakcie pracy itp.) złożony problem optymalizacji Podział struktury danych (data decomposition) sortowanie tablic rozwiązywanie układów równań liniowych Podział w dziedzinie problemu (domain decomposition) symulacje zjawisk fizycznych w przestrzeni (wykorzystanie podziału geometrycznego geometric decomposition)

9

10 Przykłady podziałów zadania na podzadania: Podział ze względu na funkcje (functional decomposition): standardowe złożone aplikacje (np. z obsługą plików, korektą poprawności w trakcie pracy itp.) złożony problem optymalizacji Podział struktury danych (data decomposition) sortowanie tablic rozwiązywanie układów równań liniowych Podział w dziedzinie problemu (domain decomposition) symulacje zjawisk fizycznych w przestrzeni (wykorzystanie podziału geometrycznego geometric decomposition) Podział złożony, mający cechy i podziału funkcjonalnego i danych: przetwarzanie potokowe (np. sekwencji obrazów)

11 Problemy embarrassingly parallel brak zależności minimalizacja komunikacji Problemy z zależnościami potrzeba komunikacji

12 Komunikacja wewnątrz wątku zawsze powoduje opóźnienie W czasie komunikacji zasoby maszyny są używane na pakowanie i transmisje danych Synchronizacja zadań wymuszona komunikacją powoduje nierównomierne obciążenie wątków Duży ruch na kanałach przesyłu może przepełnić możliwości maszyny i spowodować dalsze spowolnienie

13 Opóźnienie (latency) czas potrzebny do przesłania minimalnej (zerowej) porcji danych z wątku A do B. Przepustowość (bandwidth) ilość danych możliwych do przesłania w jednostce czasu. Przesyłanie dużej ilości małych komunikatów powoduje wzrost roli opóźnienia w czasie komunikacji!

14 Równoważenie podziału pracy Równoważenie podziału danych Równoważenie podziału iteracji pętli Równoważenie obciążenia na systemach heterogenicznych Dynamiczny przydział pracy task pool

15 Stosunek obliczeń do komunikacji Obliczenia od komunikacji oddziela synchronizacja Równoległość drobnoziarnista Stosunkowo niewielkie ilości pracy obliczeniowej są wykonywane między zdarzeniami komunikacyjnymi Niski stosunek mocy obliczeniowej do komunikacji Ułatwia równoważenie obciążenia Sugeruje wysokie koszty komunikacji i mniejsze możliwości poprawy wydajności Jeśli ziarnistość jest zbyt drobna, możliwe, że narzut wymagany do komunikacji i synchronizacji między zadaniami zajmuje więcej czasu niż obliczenia.

16 Równoległość gruboziarnista Stosunkowo duże ilości pracy obliczeniowej są wykonywane między zdarzeniami komunikacji /synchronizacji Wysoki stosunek obliczeń do komunikacji Oznacza większe możliwości zwiększenia wydajności Trudniej jest efektywnie zrównoważyć obciążenie.

17 Istotnym elementem wszelkich równoległych algorytmów macierzowych jest określenie rozdzielenia (dystrybucji) macierzy i wektorów na poszczególne procesory pasmowe kolumnowe lub wierszowe: blokowe cykliczne blokowo cykliczne szachownicowe: blokowe cykliczne blokowo cykliczne

18 Mnożenie macierz wektor dla podziału pasmowego wierszowego algorytm analiza czasu działania i przyspieszenia obliczeń dla podziału szachownicowego algorytm analiza czasu działania i przyspieszenia obliczeń

19 Macierze zawierające większość zer nazywane są macierzami rzadkimi Macierze takie powstają np. jako efekt aproksymacji równań różniczkowych cząstkowych typowymi metodami MRS, MES, MOS Praktycznym kryterium rzadkości macierzy jest wykazanie, że klasyczne algorytmy dla macierzy gęstych są wolniejsze od specjalnych algorytmów dla macierzy rzadkich

20 Specjalne algorytmy dla macierzy rzadkich uwzględniają specjalne sposoby przechowywania macierzy, w których w pamięci komputera umieszcza się tylko wyrazy niezerowe Jest wiele schematów przechowywania macierzy rzadkich Wybór konkretnego schematu zależy od struktury macierzy (układ wyrazów niezerowych w macierzy) i algorytmu, w którym występuje macierz

21 Formaty: naturalny oparty na współrzędnych CRS skompresowany wierszowy CCS skompresowany kolumnowy CDS diagonalny ITPACK uproszczony postrzępiony diagonalny Dla każdego z formatów istnieją odpowiednie wersje algorytmów realizujących podstawowe operacje macierzowe

22 Dla części klasycznych algorytmów numerycznej algebry liniowej można w sposób naturalny wykorzystać rzadkość macierzy i dostosować implementację do formatu przechowywania macierzy Przykładem są mnożenie macierz wektor i wszelkie algorytmy oparte na takim mnożeniu Algorytmami, które jest znacznie trudniej efektywnie dostosować do rzadkości macierzy są wszelkie algorytmy oparte na eliminacji Gaussa

23 Podział macierzy rzadkiej między procesory jest powiązany ze strukturą macierzy (układem wyrazów niezerowych w macierzy), sposobem przechowywania niezerowych wyrazów macierzy w pamięciach lokalnych i algorytmem rozwiązującym zadany problem macierzowy

24 Metody bezpośrednie warianty eliminacji Gaussa równoległa wersja z podziałem wierszowym macierzy równoległa wersja z podziałem szachownicowym macierzy Metody iteracyjne metody iteracji prostej: Jacobiego, Gaussa Seidla, SOR, SSOR metody podprzestrzeni Kryłowa wersje równoległe oparte na zrównolegleniu podstawowych operacji wektorowych i macierzowych skalowalność zależna od struktury i własności macierzy poprawa uwarunkowania macierzy w metodach podprzestrzeni Kryłowa

25

26

27 Poprawa uwarunkowania macierzy jako przybliżone rozwiązanie układu równań dające się wyrazić w postaci operatora liniowego Działanie metod iteracji prostej (relaksacji) jako wygładzania błędu Wielopoziomowe wygładzanie błędu metody wielosiatkowe (multigrid) Algorytmy niekompletnego rozkładu jako metody poprawy uwarunkowania i metody wygładzania błędu

28

29 Dziękuję za uwagę

30 Krzysztof Banaś - OWW