Architektury równoległe

Transkrypt

1 Architektury równoległe Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego Uniwersytet Warszawski Maciej Szpindler m.szpindler@icm.edu.pl Bartosz Borucki b.borucki@icm.edu.pl Maciej Cytowski m.cytowski@icm.edu.pl Wersja 1.PL, Październik 2009

2 Plan prezentacji Jednostki obliczeniowe współczesnych komputerów równoległych Organizacja dostępu do pamięci i hierarchia pamięci Organizacja połączeń sieciowych Metody przeplatania obliczeń i komunikacji Komputery równoległe Historia komputerów i superkomputerów Wybrane superkomputery Historia superkomputerów w ICM Lista TOP500 Najnowsza lista Miejsce Polski Statystyki historyczne Najnowsze trendy Przyszłość

3 Klasyfikacja architektur komputerowych Typ procesora (skalarne, wektorowe, wielordzeniowe, wielowątkowe) Dostęp do pamięci Sposób łączenia węzłów obliczeniowych (GE,IB) Dodatkowe akceleratory (Cell BE, GPU, FPGA, ClearSpeed) 3

4 Architektura - typ procesora Procesory skalarne klasyczne biurkowe Procesory wektorowe (Cray, NEC)

5 Architektura - typ procesora SIMD Single Instruction Multiple Data MIMD Multiple Instruction Multiple Data Wiele biurkowych procesorów wspiera operacje SIMD na krótkich wektorach (SSE, 3D Now!, AltiVec) Mechanizmy strumieniowania Często w ramach MIMD wspierane są operacje wektorowe multiplyadd lub multiply-subtract Sprzętowe wsparcie dla kilku wątków (np. HyperThreading)

6 Architektura procesory PVP parallel vector processors Cray, NEC, Hitachi MPP massively parallel processors Connection Machines, Cray T3E SMP symmetric multiple processors Sun SunFire, DEC AlphaServer NOW network of workstations Klastry PC-tów

7 x86_64 Intel Xeon / AMD Opteron Architektura zgodna z procesorami biurkowymi typu PC (64-bit EMT64/AMD64) Architektura CISC Wiele rdzeni 2-, 4- (AMD Barcelona, Intel Nehalem), 6- (AMD Shanghai), Rejestry wektorowe SSEx Procesory uniwersalnego przeznaczenia 7

8 x86_64 QuadCore QuickPath / HyperTransport L2 cache L2 cache L2 cache L2 cache L1 cache superscalar unit thread thread Cross bar L3 cache L1 cache L1 cache superscalar unit superscalar unit thread thread thread thread Memory L1 cache superscalar unit thread thread 8

9 UltraSPARC T1/T2 procesor wielo-wątkowy typu ChipMultiThreading Architektura RISC do 64 wątków obsługiwanych przed jeden procesor Wątki nieblokowane dostępem do zasobów mogą pracować nie czekając na pozostałe Relatywnie niska wydajność jedno-wątkowa Procesor stworzony do zastosowań np. bazodanowych 9

10 UltraSPARC T2 L1 cache FPU unit CPU unit thread 8x thread Memory L2 cache Cross bar 8x I/O L1 cache FPU unit CPU unit thread 8x thread 10

11 POWER Rodzina procesorów POWER Procesory POWER (kolejne generacje 5,6,7) Procesory PowerPC (serie 4xx i 9xx) Architektura RISC Rejestry wektorowe AltiVec Względnie wysokie taktowanie (dziś do 4 GHz) Do 4- rdzeni 11

12 Cell Silnik konsoli PlayStation 3 Procesor z rodziny POWER Rdzeń sterujący PowerPC Zredukowana funkcjonalność 8 rdzeni wektorowych Zamiast pamięci cache, mała statyczna pamięć Procesor stworzony do przetwarzania strumieniowego grafiki wysokiej jakości kompresji danych 12

13 PowerXCell8i SPE SPU SXU SPU SXU SPU SXU SPU SXU SPU SXU SPU SXU SPU SXU SPU SXU LS LS LS LS LS LS LS LS MFC MFC MFC MFC MFC MFC MFC MFC EIB (up to 96B/cycle) PPE 16B/cycle 16B/cycle PPU MIC BIC L2 L1 PXU 32B/cycle 16B/cycle Dual XDR TM FlexIO TM 64-bit Power Architecture with VMX 13

14 Architektura pamięć Pamięć współdzielona Jedna, zunifikowana przestrzeń pamięciowa dla wszystkich procesorów Pamięć rozproszona Każdy z procesorów ma własną przestrzeń pamięciową Systemy hybrydowe Kilka procesorów w ramach węzła obliczeniowego współdzieli tą samą przestrzeń pamięciową, cały system składa się z wielu węzłów

15 Architektura pamięć NUMA Non-Uniform-Memory-Access Pamięć jest współdzielona przez kilka procesorów niejednorodnie Podział na bloki fizycznie bliższe odpowiednim CPU Wymaga wsparcia ze strony systemu operacyjnego

16 UMA i (cc)numa MEM CPU CPU MEM MEM CPU CPU MEM Organizacja pamięci typu SMP Jednorodny dostęp - UMA Organizacja pamięci typu NUMA Niejednorodny dostęp do pamięci MEM cache CPU cache CPU MEM MEM CPU cache CPU cache MEM Organizacja pamięci typu ccnuma 16

17 Organizacja połączeń miedzy węzłami Obecne technologie połączeń: Gigabit Ethernet Infiniband Myrinet Połączenia dedykowane Własności połączeń: Przepustowość (bandwidth) Opóźnienia (latency) Cena ($$) Rodzaj okablowania (copper, optical) Kable sieciowe, NEC SX8

18 Historia prędkości interkonektu 96 Gbit/s Historia interkonektu Myri-10G Infiniband (12xQDR) 10 Gbit/s Myrinet ,5 Gbit/s 2 Gbit/s 1 Gbit/s Infiniband (1xSDR) Gigabit Ethernet 100 Mbit/s Fast Ethernet

19 Przepustowość sieci Gigabit Ethernet (1000base-X) 1,000 Mbit/s 116 MB/s Myrinet ,000 Mbit/s 250 MB/s Infiniband SDR 1X 2,000 Mbit/s 250 MB/s Quadrics QsNet I 3,600 Mbit/s 450 MB/s Infiniband DDR 1X 4,000 Mbit/s 500 MB/s Infiniband QDR 1X 8,000 Mbit/s 1,000 MB/s Infiniband SDR 4X 8,000 Mbit/s 1,000 MB/s Quadrics QsNet II 8,000 Mbit/s 1,000 MB/s 10 Gigabit Ethernet (10Gbase-X) 10,000 Mbit/s 1,250 MB/s Myri 10G 10,000 Mbit/s 1,250 MB/s Infiniband DDR 4X 16,000 Mbit/s 2,000 MB/s Scalable Coherent Interface (SCI) Dual Channel SCI, x8 PCIe 20,000 Mbit/s 2,500 MB/s Infiniband SDR 12X 24,000 Mbit/s 3,000 MB/s Infiniband QDR 4X 32,000 Mbit/s 4,000 MB/s Infiniband DDR 12X 48,000 Mbit/s 6,000 MB/s Infiniband QDR 12X 96,000 Mbit/s 12,000 MB/s

20 Metody przeplatania obliczeń i komunikacji niektóre architektury udostępniają możliwość ukrywania komunikacji pomiędzy węzłami obliczeniowymi za obliczeniami DMA Direct Memeory Access - dostęp do pamięci operacyjnej RAM z pominięciem procesora głównego Obsługa mechanizmów na różnych poziomach: dma_get, dma_put (procesor Cell) obsługa komunikacji nieblokującej MPI (system BlueGene)

21 Wydajność: PC a superkomputer Obecnie wydajność wyrażana w GFlops ( 10 9 ), TFlops ( ) oraz PFlops ( )! Intel Pentium GHz (NW) 3.65 GFlops IBM BlueGene/L Tflops (ponad 150 tys. razy szybszy)

22 Prawo Moore a Gordon E. Moore współzałożyciel firmy INTEL obserwacja/prognoza sformułowana w 1965 roku: co miesiące podwaja się prędkość procesorów, pojemność pamięci operacyjnej i twardych dysków* * To nie jest dokładny cytat, G.Moore mówił o liczbie tranzystorów

23 / 5 kops Około 1939 roku powstają pierwsze komputery US Departament of Energy (Manhattan Project) Astanoff Berry (Iowa State Univ.) Konrad Zuse Mark I 1945 pierwszy komputerowy Bug

24 / 100 kops Algorytmy i metody obliczeniowe rozijane w DOE są używane do dziś (np. Monte Carlo) Stan Ulam i John von Neumann ENIAC (Univ. Of Pennsylvania) - Los Alamos problem 1947 pierwszy tranzystor

25 / 57 kops AVIDAC (25k sum/s, 2k mult/s) IBM 650 pierwszy komputer produkowany seryjnie John Backus FORTRAN ORACLE dwukrotnie szybszy niż AVIDAC Tranzystor krzemowy

26 / 56 kops 250kFLOPS Lampy przechodzą do lamusa Nowe urządzenia we/wy Modem Układ scalony IBM 7090 pierwszy komputer w całości oparty o tranzystory

27 / 1.2 MFLOPS 3 MFLOPS IBM Stretch CDC 6600 Seymour Cray pierwszy sukces komercyjny superkomputera (3 MFLOPS)

28 / 36 MFLOPS Standard wymiany danych RS232 CDC 7600 (Cray) 36 MFLOPS

29 / 150 MFLOPS Pascal tranzystorów / 1 cm 2 Mikroprocesor

30 / 250 MFLOPS 941 MFLOPS 1976 Cray Research CRAY 1 wektorowy superkomputer (250 MFLOPS) Światłowód CFS współdzielony system plików 1982 Cray X-MP (941 MFLOPS) 1983 CRAY 2

31 1976 Cray 1

32 / 1 GFLOPS 10.3 GFLOPS Intel IPSC/1 pamięć rozproszona Animacja w czasie rzeczywistym Przekroczono granicę 1 GFLOPS NEC, Fujitsu, Hitachi Cray Computer Corp. FEMAIR

33 / 23.2 GFLOPS GFLOPS LAPACK PVM MPI Cray T3D 1993 powstaje ICM

34 / TFLOPS 3 TFLOPS Intel ASCI Red pierwszy komputer teraflopowy Cray T3E Intel ASCI Blue 3 TFLOPS

35 1997 Cray T3E Cray T3E ICM

36 / TFLOPS 70.7 TFLOPS IBM ASCI White (> 7 TFLOPS) NEC EarthSimulator globalne modelowanie klimatu ( > 35 TFLOPS) IBM BlueGene/L (> 70 TFLOPS)

37 Cray X1e (tornado) Komputer wektorowy o dosyć ciekawej budowie SSP SSP SSP MSP MSP Single-Streaming Processor SSP SSP MSP MSP MSP Multiple-Streaming Processor Węzeł obliczeniowy

38 Cray X1e (tornado) Możliwość kompilacji i uruchamiania w trybie MSP i SSP Automatyczna wektoryzacja i automatyczne zrównoleglanie (MultiStreaming) Tornado posiada 8 węzłów (128 SSP) Uruchamianie kodów na komputerach Cray wymaga zwykle portowania oraz optymalizacji

39 Earth Simulator Na pierwszym miejscu przez 5 kolejnych edycji Top500 (2½ roku) W czerwcu 2002 (pierwsza edycja) tak mocny jak 12 następnych komputerów razem wziętych i 5 razy mocniejszy niż drugi na liście

40 Earth Simulator Zbiór zmodyfikowanych maszyn wektorowych NEC SX węzłów 40 Tflops Peak 36 Tflops Max. Linpack Pamięć 512 MB Procesor (SX-6)

41 Earth Simulator Specjalnie na potrzeby komputera powstał dwupiętrowy budynek i elektrownia Zabezpieczony przed trzęsieniami ziemi i uderzeniami piorunów

42 Earth Simulator Kilka poziomów równoległości: MPI pomiędzy węzłami Wątki, np. OpenMP wewnątrz węzłów Wektoryzacja

43 2004 MareNostrum Instalacja w Barcelona Supercomputing Center W 2006 roku podwojona moc Aktualnie 26 miejsce na świecie MareNostrum () 94,21 TFLOPS IBM PowerPC 2,3GHz (2560 JS21 blades) 20 TB pamięci głównej 370 TB pamięci dyskowej Interkonekt: Myrinet + GigabitEthernet Linux SuSe Zajmowana powierzchnia: 120 m 2 Ciekawostką jest

44 2004 MareNostrum - Lokalizacja Kaplica Torre Girona w Barcelonie

45 / TFLOPS PFLOPS Rosnąca dominacja IBM BlueGene 2008 RoadRunner pierwszy komputer petaflopowy! (1,026 PFLOPS)

46 BlueGene/P - JUGENE Lokalizacja: Juelich - Niemcy Zainstalowany w 2007 roku Posiada procesorów PowerPC MHz (3.4 GFlops) Jedna szafa to 4096 CPU! (w sumie jest ich 16) Użycie: tylko badania naukowe 4 miejsce na liście Green500: ranking komputerów z listy TOP500 dla których stosunek Mflops/Wat jest najlepszy

47 BlueGene Kolejne generacje /L i /P, /Q w laboratoriach Napędzany procesorami PowerPC 4X0 BlueGene/P 2 rdzenie PowerPC 450 w węźle obliczeniowym Bardzo duże upakowanie procesorów Dedykowana sieć o topologii 3D Torus i obsłudze DMA Komputer masywnie równoległy dla aplikacji bazujących na bibliotece MPI 47

48 RoadRunner Lokalizacja: Los Alamos, USA Jako pierwszy komputer osiągnął moc 1 PetaFlops (10 15 ) według listy ogłoszonej w czerwcu na SC 08 System hybrydowy: x86 + akceleratory Cell/B.E. Nowe modele programowania hybrydowego Prototyp węzła w ICM (blader)

49 RoadRunner

50 Maksymalna moc obliczeniowa Historia moc obliczeniowa 1 PFLOPS IBM BlueGene/L RoadRunner 1 TFLOPS NEC Earth Simulator Intel ASCII Red 1 GFLOPS Cray T3E 1 MFLOPS CRAY 1 CDC kops ENIAC 1 OPS Rok

51 Superkomputery ICM

52 Koral Cray EL PVP 1 GB RAM 8 cpus ~1.06 GFLOPS ( miejsce instalacji: MIMUW )

53 Tajfun Cray YMP/4E PVP 512 MB RAM 4 cpus ~1.2 GFLOPS ( prawdziwy Cray, chłodzenie cieczą )

54 Krewetka SGI Onyx SMP 2 GB RAM 8 cpus ~3 GFLOPS ( był to rok fuzji Cray Research i Silicon Graphics )

55 Tsunami Cray T3E MPP 7.5 GB RAM 32 cpus ~20.4 GFLOPS

56 Koral Cray J PVP 4 GB RAM 16 cpus ~3.2 GFLOPS

57 Monsun SUN E10K SMP 4 GB RAM 16 cpus ~9.1 GFLOPS

58 Koral Cray SV1-1A PVP 16 GB RAM 16 cpus ~19.2 GFLOPS ( obudowa Cray J916, wymiana płyt )

59 Mistral NEC SX4B/2A PVP 2 GB RAM 2 cpus ~3.6 GFLOPS

60 Tajfun v Cray SV PVP 32 GB RAM 32 cpus ~38.4 GFLOPS ( stare płyty z Korala oraz nowo dostarczone płyty w nowej obudowie Cray SV1 )

61 Fen NEC SX4B/2A PVP 1GB RAM 2 cpus ~3.6 GFLOPS

62 Tornado v Cray SV1e-1A PVP 16 GB RAM 16 cpus ~32 GFLOPS ( nowe szybsze CPU w szafie Cray J916 )

63 Tajfun v Cray SV1ex PVP 32 GB RAM + 32 GB SSD 32 cpus ~64 GFLOPS ( nowe procesory, większa wydajność, aktualna konfiguracja, maszyna Meteo )

64 Zefir Compaq GS SMP 12 GB RAM 6 cpus ~6 GFLOPS

65 Latimeria SGI O SMP 8 GB RAM 16 cpus ~16 GFLOPS

66 Tornado v Cray X PVP 64 GB RAM 16 cpus (MSP) ~198.4 GFLOPS ( pierwsza instalacja w Europie )

67 Halo v IBM eserver klaster 196 GB RAM 196 cpus ~784 GFLOPS

68 Tornado v Cray X1e PVP, NUMA 128 GB RAM 32 cpus (MSP) ~576 GFLOPS ( dwa razy więcej szybszych procesorów, aktualna konfiguracja)

69 Halo v IBM eserver 325 SUN V40z klaster 196 GB GB RAM cpus ~1.2 TFLOPS ( dodatkowe serwery SUN V40z, aktualna konfiguracja)

70 Halo2 Sun Constelation Klaster serwerów kasetowych (blade serwer) Procesory Opteron/Xeon do 24 rdzeni w jednym serwerze Architektura ccnuma Szybka sieć między węzłami Rozproszony system plików Lustre

71 Nautilus Cluster IBM BladeCenter QS22 Architektura hybrydowa: QS22 2x procesory PowerXCell8i LS21 2x DualCore Opteron Połączenie: DDR Infiniband Voltaire Grid Director ISR 2012 Multi-Service Switch Komunikacja w pełni nieblokująca 1 miejsce na liście Green500

72 Najmocniejsze maszyny ICM

73 TOP najmocniejszych superkomputerów na świecie Od 1993 roku Nowa edycja 2 razy do roku Wyniki bazują na benchmarku LINPACK (Jack Dongarra) Rozwiązywanie gęstego układu równań liniowych R peak teoretyczna maksymalna wydajność R max zmierzona maksymalna wydajność

74 TOP500

75 TOP500

76 Najnowsza lista Czerwiec 2009

77 Polska na TOP500 Pierwszy polski komputer 1995 PCSS (Poznań) SGI PowerChallenge 75 ~2 GFLOPS (#486) Najnowsza lista: czerwiec 2009 #107 Galera #281 #300 TASK, Gdańsk 38,17 TFLOPS klaster, 1344 x 4core Intel Xeon (5376 procesorów) Firma telekomunikacyjna. 21,8 TFLOPS HP Cluster Platform 3000BL, Intel Xeon Firma telekomunikacyjna. 21,4 TFLOPS HP Cluster Platform 3000BL, Intel Xeon #422 Nautilus ICM, Warszawa 18,5 TFLOPS IBM BladeCenter QS22 Cluster

78 Gdzie jest ICM? Halo2 Nautilus Halo Tornado

79 TOP500 statystyki historyczne Moc obliczeniowa vs. Dostawcy sprzętu EarthSimulator IBM BlueGene Cray T3E

80 TOP500 statystyki historyczne Moc obliczeniowa i Liczba maszyn vs. Architektura maszyny

81 TOP500 statystyki historyczne Moc obliczeniowa vs. Architektura procesorów

82 TOP500 statystyki historyczne Moc obliczeniowa i Liczba maszyn vs. Rodzina procesorów

83 TOP500 statystyki historyczne Moc obliczeniowa i Liczba maszyn vs. Liczba procesorów

84 TOP500 statystyki historyczne Moc obliczeniowa i Liczba maszyn vs. Interconnect

85 TOP500 statystyki historyczne Liczba maszyn vs. Systemy operacyjne

86 TOP500 statystyki historyczne Moc obliczeniowa vs. Zastosowania

87 Najnowsze trendy Procesory docierają do granicy stosowalności praw Moore a Koszt produkcji procesorów maleje Procesy technologiczne obniżają emisję ciepła na procesorach Przekłada się to też na architekturę superkomputerów: Wzrasta liczba procesorów Stosuje się co raz szybszy interkonekt Co raz większe upakowanie przestrzenne procesorów Tendencja do poszukiwania mocy obliczeniowej gdzie indziej Accelerated Computing RoadRunner Strategia firmy Cray Coraz większe zainteresowanie akceleratorami

88 Akceleracja Dwie idee rządzące akceleracją obliczeń: Wykorzystywanie innych, sprawdzonych, wydajnych architektur i próby ich uogólniania Przenoszenie części obliczeń na wydajniejsze (specjalizowane) architektury Obie w/w idee powoli spotykają się

89 Akceleracja GPGPU General Purpose Graphics Processing Unit nvidia AMD ATI Architektura strumieniowa Wykorzystanie bardzo wydajnych (500 GFLOPS) procesorów graficznych do obliczeń zmiennoprzecinkowych ClearSpeed FPGA Koprocesor parallel data ~33 GFLOPS Field Programmable Gate Array Układy programowalne Składają się z wielu pojedynczych bramek logicznych Cell Broadband Engine IBM Procesor stworzony na potrzeby konsoli Playstation 3 1 PPE (Power processor) + 8 SPE