Organizacja pamięci współczesnych systemów komputerowych : pojedynczy procesor wielopoziomowa pamięć podręczna pamięć wirtualna

Transkrypt

1 Pamięć

2 Wydajność obliczeń Dla wielu programów wydajność obliczeń może być określana poprzez pobranie danych z pamięci oraz wykonanie operacji przez procesor Często istnieją algorytmy, których wydajność zależy tylko od jednego z tych czynników Sprzyja temu budowa oraz sposób działania nowoczesnych systemów komputerowych

3

4 Organizacja pamięci współczesnych systemów komputerowych : pojedynczy procesor wielopoziomowa pamięć podręczna pamięć wirtualna maszyny wieloprocesorowe pamięć wspólna (UMA, NUMA, cc NUMA) pamięć rozproszona architektury hybrydowe pamięć wspólna (huma, VSM) pamieć wbudowana (edram)

5 Czas wykonania pojedynczej operacji procesora: ~0.4ns Czas dostępu do pojedynczej zmiennej w pamięci DRAM: ~40ns Konieczność wprowadzenia szybszej niż DRAM pamięci pośredniej, pomiędzy rejestrami i pamięcią główną Przybliżone przykładowe rozmiary i czasy dostępu dla różnych rodzajów pamięci: rejestry kilkaset B < 1ns podręczna (L1) kilkanaście kb ok. 1 ns ~$2000/GB podręczna (L2 3) kilka MB kilka ns główna kilka GB kilkadziesiąt ns ~$20/GB dyskowa kilkaset GB kilka ms ~$0.2/GB

6 L1 cache reference 0.5 ns Branch mispredict 5 ns L2 cache reference 7 ns Mutex lock/unlock 100 ns Main memory reference 100 ns Compress 1K bytes with Zippy 3,000 ns Send 1K bytes over 1 Gbps network 10,000 ns Read 4K randomly from SSD 150,000 ns Read 1 MB sequentially from memory 250,000 ns Round trip within same datacenter 500,000 ns Read 1 MB sequentially from SSD 1,000,000 ns Disk seek 10,000,000 ns Read 1 MB sequentially from network 10,000,000 ns Read 1 MB sequentially from disk 30,000,000 ns Send packet CA->Netherlands->CA 150,000,000 ns

7 Jak szacować czas realizacji operacji pobierania z pamięci (w algorytmach o wydajności ograniczanej przez pamięć ten czas służy do określania ostatecznej wydajności przy realizacji algorytmu): t MEM = liczba_dostępów * czas_dostępu Czas dostępu do pojedynczej danej (pojedynczego argumentu) jest często podawany jako parametr pamięci i dla pamięci RAM wynosi ok. kilkudziesięciu ns: oznacza to możliwość przesłania do procesora ok. kilkudziesięciu MB danych na sekundę

8 Przykład oszacowania dla algorytmu mnożenia macierz razy wektor (rozmiar macierzy nxn): liczba_dostępów - 2n 2 czas_dostępu 100ns t MEM = 200n 2 * 10-9 s Dla porównania czas wykonania 2n 2 operacji algorytmu w przypadku uwzględnienia teoretycznych możliwości czterodrożnego procesora o częstotliwości 2.5GHz: t PROC = 0.2n 2 * 10-9 s Pamięć spowalnia wykonanie zadania 1000 razy?

9 Działanie pamięci podręcznej: procesor zgłasza chęć dostępu do komórki pamięci sprawdzana jest odpowiadająca jej linia pamięci podręcznej (lub zbiór linii): trafienie (hit) wartość jest udostępniana chybienie (miss) przeładowywana jest zawartość całej linii pamięci odczyt lub zapis komórki z pamięci podręcznej jeśli procesor dokonuje zapisu konieczna jest strategia utrzymywania spójności pamięci podręcznej (w stosunku do pamięci głównej)

10 Organizacja pamięci podręcznej: linie pamięci o pojemności kilku słów (np. 64B, 128B) odwzorowanie obszarów (bloków) pamięci głównej w linie pamięci podręcznej: statyczne bezpośrednie, direct mapped (każdy blok ma swoją linię) dynamiczne: skojarzeniowe, fully associative (każdy blok może być odwzorowany w dowolną linię całej pamięci) sekcyjno skojarzeniowe, set associative (każdy blok może być odwzorowany w dowolną linię z pewnej grupy) architektura harvardzka: osobna pamięć podręczna dla danych, osobna dla kodu (dla unikania hazardu zasobów)

11

12 Działanie pamięci podręcznej: strategie podmiany linii w dynamicznych pamięciach podręcznych: losowo FIFO najdłużej przechowywana LRU (least recently used) najdawniej użyta LFU (least frequently used) najrzadziej używana

13 Haswell - 2 loads and 1 store per cycle Sandy Bridge only when using 256-bit memory accesses.

14 Przydatność pamięci podręcznej zależy od stopnia lokalności odniesień do danych w programie lokalność czasowa: dane raz użyte niedługo zostaną użyte ponownie (warto je zachować w szybszej pamięci) lokalność przestrzenna: jeśli w programie użyto jakichś danych to za chwile zostaną użyte dane sąsiadujące w pamięci (warto pobierać do pamięci podręcznej całe bloki) Miarą lokalności odniesień w trakcie wykonywania programu jest współczynnik trafień (hit ratio) proporcja trafień do chybień Optymalne wykorzystanie pamięci podręcznej ma kluczowe znaczenie dla wydajności programów.

15 Zastosowanie pamięci podręcznej przynosi zazwyczaj wzrost wydajności, ponieważ wiele programów ma w sposób naturalny wysoki stopień lokalności odniesień (w praktyce stosunek trafień do chybień sięga nawet powyżej 90%) Chcąc zwiększać wydajność programów dzięki optymalnemu wykorzystaniu pamięci podręcznej należy maksymalizować stopień lokalności odniesień w kodzie (grupować odniesienia do tych samych i sąsiadujących danych w jedno miejsce) Ciekawą alternatywą są tzw. cache oblivious algorithms

16 Obliczenie średniego czasu dostępu do danej w pamięci dla konkretnego programu: t c czas dostępu do pamięci podręcznej (czas obsługi trafienia) t m czas dostępu do pamięci głównej (czas obsługi chybienia) h współczynnik trafień w pamięci podręcznej t av średni czas dostępu do danej dla programu t av = h t c + (1 h) t m Czas dostępu może być wyrażany w liczbie taktów zegara, należy go wtedy odpowiednio przeliczyć.

17 Dla pamięci podręcznej wielopoziomowej można stosować wzór: t av =t c1 + m 1 * ( t c2 + m 2 * ( tc 3 + m 3 * t m3 ) t ci czas dostępu do pamięci podręcznej (hit time) poziomu i t mi czas obsługi chybienia w pamięci podręcznej poziomu i (m.in. podmiany linii) miss time m i współczynnik chybień w pamięć podręczną poziomu i t av średni czas dostępu do danej dla programu Powyższy wzór zakłada 3 poziomową pamięć podręczną o identycznym sposobie działania dla każdego poziomu (co nie zawsze ma miejsce, np. przypadek victim cache który zbiera rzeczy wyrzucone z L1 na skutek chybienia)

18

19

20

21 Parametry wydajności pamięci podręcznej: czas obsługi trafienia (hit time) współczynnik trafień (hit rate) lub chybień (miss rate) czas obsługi chybienia (miss penalty) rzeczywisty średni czas dostępu do danych może być niższy od uzyskanego z przedstawionej uproszczonej analizy ze względu na współbieżność i równoległość działania pamięci, np. potokowość, wielobankowość itp. Do dyspozycji programisty: maksymalizacja współczynnika trafień redukcja wpływu czasu obsługi chybienia przez pobieranie z wyprzedzeniem (software prefetching)

22

23 Dostęp nieoptymalny (non-coalesced) odczyt: zapis:

24 Dostęp wektorowy (coalesced): odczyt

25 Zapis

26

27 Intel Haswell, Iris Pro Graphics 5200 (GT3e) Intel Broadwell, Iris Pro Graphics 6200 (GT3e) Intel Skylake, Iris Graphics 540 and 550 (GT3e) Intel Skylake, Iris Pro Graphics 580 (GT4e) Intel Coffee Lake, Iris Plus Graphics 655 (GT3e) PlayStation 2 Xbox 360 Wii U 128 MB 128 MB 64 MB 64 or 128 MB 128 MB 4 MB 10 MB 32 MB

28

29

30 Dziękuję za uwagę

31 Krzysztof Banaś - OWW