Wydajność systemów a organizacja pamięci Krzysztof Banaś, Obliczenia wysokiej wydajności. 1
Motywacja - memory wall Krzysztof Banaś, Obliczenia wysokiej wydajności. 2
Organizacja pamięci Organizacja pamięci: pojedynczy procesor wielopoziomowa pamięć podręczna pamięć wirtualna maszyny wieloprocesorowe pamięć wspólna (UMA, NUMA, cc NUMA) pamięć rozproszona W ostatnich latach wydajność systemów komputerowych coraz częściej ograniczana jest przez wydajność pamięci (dostęp do danych) Krzysztof Banaś, Obliczenia wysokiej wydajności. 3
Szacowanie wydajności pamięci Jak szacować czas realizacji operacji pobierania z pamięci (w algorytmach o wydajności ograniczanej przez pamięć ten czas służy do określania ostatecznej wydajności przy realizacji algorytmu): t mem = liczba_dostępów * czas_dostępu Czas dostępu do pojedynczej danej (pojedynczego argumentu) jest często podawany jako parametr pamięci i dla pamięci RAM wynosi ok. kilkudziesięciu ns oznacza to możliwość przesłania do procesora ok. kilkudziesięciu MB danych na sekundę Krzysztof Banaś, Obliczenia wysokiej wydajności. 4
Szacowanie wydajności pamięci Przykład oszacowania dla algorytmu mnożenia macierz razy wektor (rozmiar macierzy nxn): liczba_dostępów - 2n 2 czas_dostępu 100ns t mem = 200n 2 x 10-9 ns Dla porównania czas wykonania 2n 2 operacji algorytmu w przypadku uwzględnienia teoretycznych możliwości czterodrożnego procesora o częstotliwości 2.5GHz t proc = 0.2n 2 x 10-9 ns Pamięć spowalnia wykonanie zadania 1000 razy? Krzysztof Banaś, Obliczenia wysokiej wydajności. 5
Hierarchia pamięci Czas wykonania pojedynczej operacji procesora: ~0.4ns Czas dostępu do pojedynczej zmiennej w pamięci DRAM: ~40ns Konieczność wprowadzenia szybszej niż DRAM pamięci pośredniej, pomiędzy rejestrami i pamięcią główną Przybliżone przykładowe rozmiary i czasy dostępu dla różnych rodzajów pamięci: rejestry kilkaset B < 1ns podręczna (L1) kilkanaście kb ok. 1 ns ~$2000/GB podręczna (L2 3) kilka MB kilka ns główna kilka GB kilkadziesiąt ns ~$20/GB dyskowa kilkaset GB kilka ms ~$0.2/GB Krzysztof Banaś, Obliczenia wysokiej wydajności. 6
Pamięć podręczna AK Działanie pamięci podręcznej: procesor zgłasza chęć dostępu do komórki pamięci sprawdzana jest odpowiadająca jej linia pamięci podręcznej (lub zbiór linii): trafienie (hit) wartość jest udostępniana chybienie (miss) przeładowywana jest zawartość całej linii pamięci odczyt lub zapis komórki z pamięci podręcznej jeśli procesor dokonuje zapisu konieczna jest strategia utrzymywania spójności pamięci podręcznej (w stosunku do pamięci głównej) Krzysztof Banaś, Obliczenia wysokiej wydajności. 7
Pamięć podręczna AK Organizacja pamięci podręcznej: linie pamięci o pojemności kilku słów (np. 64B, 128B) odwzorowanie obszarów (bloków) pamięci głównej w linie pamięci podręcznej statyczne bezpośrednie, direct mapped (każdy blok ma swoją linię) dynamiczne: skojarzeniowe, fully associative (każdy blok może być odwzorowany w dowolną linię całej pamięci) sekcyjno skojarzeniowe, set associative (każdy blok może być odwzorowany w dowolną linię z pewnej grupy) architektura harvardzka: osobna pamięć podręczna dla danych, osobna dla kodu (dla unikania hazardu zasobów) Krzysztof Banaś, Obliczenia wysokiej wydajności. 8
Pamięć podręczna - AK Krzysztof Banaś, Obliczenia wysokiej wydajności. 9
Pamięć podręczna AK Działanie pamięci podręcznej: strategie podmiany linii w dynamicznych pamięciach podręcznych: losowo FIFO najdłużej przechowywana LRU (least recently used) najdawniej użyta LFU (least frequently used) najrzadziej używana Krzysztof Banaś, Obliczenia wysokiej wydajności. 10
Pamięć podręczna - AK Strategia korzystania z hierarchii pamięci w procesorach Opteron L2 do przechowywania linijek usuniętych z L1 Odczyt z RAM z pominięciem L2 Krzysztof Banaś, Obliczenia wysokiej wydajności. 11
Lokalność odniesień Przydatność pamięci podręcznej zależy od stopnia lokalności odniesień do danych w programie lokalność czasowa: dane raz użyte niedługo zostaną użyte ponownie (warto je zachować w szybszej pamięci) lokalność przestrzenna: jeśli w programie użyto jakichś danych to za chwile zostaną użyte dane sąsiadujące w pamięci (warto pobierać do pamięci podręcznej całe bloki) Miarą lokalności odniesień w trakcie wykonywania programu jest współczynnik trafień (hit ratio) proporcja trafień do chybień Optymalne wykorzystanie pamięci podręcznej ma kluczowe znaczenie dla wydajności programów. Krzysztof Banaś, Obliczenia wysokiej wydajności. 12
Lokalność odniesień Zastosowanie pamięci podręcznej przynosi zazwyczaj wzrost wydajności, ponieważ wiele programów ma w sposób naturalny wysoki stopień lokalności odniesień (w praktyce stosunek trafień do chybień sięga nawet powyżej 90%) Chcąc zwiększać wydajność programów dzięki optymalnemu wykorzystaniu pamięci podręcznej należy maksymalizować stopień lokalności odniesień w kodzie (grupować odniesienia do tych samych i sąsiadujących danych w jedno miejsce) Ciekawą alternatywą są tzw. cache oblivious algorithms Krzysztof Banaś, Obliczenia wysokiej wydajności. 13
Czas dostępu do pamięci Obliczenie średniego czasu dostępu do danej w pamięci dla konkretnego programu: t c czas dostępu do pamięci podręcznej (czas obsługi trafienia) t m czas dostępu do pamięci głównej (czas obsługi chybienia) h współczynnik trafień w pamięci podręcznej t av średni czas dostępu do danej dla programu t av = h t c + (1 h) t m Czas dostępu może być wyrażany w liczbie taktów zegara, należy go wtedy odpowiednio przeliczyć. Krzysztof Banaś, Obliczenia wysokiej wydajności. 14
Czas dostępu do pamięci Dla pamięci podręcznej wielopoziomowej można stosować wzór: t av = t c1 + m 1 * ( t c2 + m 2 * ( t c3 + m 3 * t m3 ) t ci czas dostępu do pamięci podręcznej (hit time) poziomu i t mi czas obsługi chybienia w pamięci podręcznej poziomu i (m.in. podmiany linii) miss time m i współczynnik chybień w pamięć podręczną poziomu i t av średni czas dostępu do danej dla programu Powyższy wzór zakłada 3 poziomową pamięć podręczną o identycznym sposobie działania dla każdego poziomu (co jak wiadomo nie zawsze ma miejsce, np. przypadek victim cache) Krzysztof Banaś, Obliczenia wysokiej wydajności. 15
Czas dostępu do pamięci Przykład (mnożenie macierz wektor): t c =4ns, t m =100ns h=0.875 > t av = 16ns s pm = 2n 2 /2n 2 = 1 > wydajność 0.0625 GFLOPS wynik wciąż silnie zależy od bardzo długiego czasu dostępu do pamięci głównej czas dostępu do pamięci nie uwzględnia technik ukrywania opóźnienia (latency hiding np. wielobankowość pamięci) i jest z tego względu pesymistyczny Krzysztof Banaś, Obliczenia wysokiej wydajności. 16
Opóźnienie versus przepustowość Krzysztof Banaś, Obliczenia wysokiej wydajności. 17
Opóźnienie versus przepustowość Krzysztof Banaś, Obliczenia wysokiej wydajności. 18
Przepustowość pamięci Krzysztof Banaś, Obliczenia wysokiej wydajności. 19
Skalowalność hierarchii pamięci Krzysztof Banaś, Obliczenia wysokiej wydajności. 20
Skalowalność pamięci głównej Krzysztof Banaś, Obliczenia wysokiej wydajności. 21
Rzeczywisty czas dostępu do pamięci Krzysztof Banaś, Obliczenia wysokiej wydajności. 22
Rzeczywisty współczynnik trafień Współczynnik trafień w programach SPEC_int Krzysztof Banaś, Obliczenia wysokiej wydajności. 23
Rzeczywisty czas dostępu do pamięci Krzysztof Banaś, Obliczenia wysokiej wydajności. 24
Optymalizacja wydajności pamięci podręcznej Parametry wydajności pamięci podręcznej: czas obsługi trafienia (hit time) współczynnik trafień (hit rate) lub chybień (miss rate) czas obsługi chybienia (miss penalty) rzeczywisty średni czas dostępu do danych może być niższy od uzyskanego z przedstawionej uproszczonej analizy ze względu na współbieżność i równoległość działania pamięci, np. potokowość, wielobankowość itp. Do dyspozycji programisty: maksymalizacja współczynnika trafień redukcja wpływu czasu obsługi chybienia przez pobieranie z wyprzedzeniem (software prefetching) Krzysztof Banaś, Obliczenia wysokiej wydajności. 25