Konferencja 3i. Nowe możliwości obliczeniowe systemu SMP ALTIX UV. Ryszard Radziejewski. Warszawa,

Transkrypt

1 Konferencja 3i Nowe możliwości obliczeniowe systemu SMP ALTIX UV Ryszard Radziejewski Warszawa,

2 Plan prezentacji Krótko o ATM Oferta SGI System SMP Altix UV budowa Testy Nowości Klaster PrismXL zestaw na 1PF 2

3 Podstawowe dane ATM S.A. spółka teleinformatyczna założona w 1994 r. od września 2004 r. notowana na GPW w Warszawie głównymi akcjonariuszami są założyciele spółki od 2006 r. z sukcesem buduje grupę kapitałową. Dane finansowe na koniec 2009 r. (dane skonsolidowane, przed audytem) aktywa: 373,5 mln zł kapitał własny: 255,3 mln zł przychody ze sprzedaży: 283,5 mln zł. Zatrudnienie ponad 150 pracowników ponad 450 w grupie kapitałowej. 3

4 Struktura grupy kapitałowej ATM S.A. 4

5 ATM S.A. usługi telekomunikacyjne Własne sieci światłowodowe i centra danych: siedem światłowodowych sieci metropolitalnych krajowa sieć transmisyjna (~4500 km tras) o przepustowości od 1 Gb/s Centrum Operacyjne Sieci (24 7). Pełny zakres usług: dostęp do Internetu transmisja danych kolokacja i hosting usługi telefoniczne. Odbiorcy: operatorzy telekomunikacyjni media tradycyjne i portale internetowe firmy z sektora finansowego, handlowego i przemysłowego. 5

6 Data Center w ATM S.A. Kolokacja - ochrona informacji ISO sprzęt, oprogramowanie systemowe Outsourcing SLA na obsługę procesów biznesowych bieżące utrzymanie systemów monitorowanie i raportowanie funkcjonowania systemu Zapasowe Centra Danych (DRC) Data Center Site 1 Zapasowe Centra Operacyjne 2500 m2 powierzchni 2 x 5 MW Ponad serwerów zainstalowanych Data Center Site m2 powierzchni 9 MW Odległość większa niż 10 km 6

7 ATM Systemy Informatyczne - oferta Operatorzy telekomunikacyjni i kablowi kompleksowe wdrożenia infrastruktury i zaawansowanych usług (CISCO) profesjonalne systemy wsparcia obsługi istotnych procesów biznesowych klienta, wdrożenia aplikacji do zarządzania usługami dla abonentów o nazwie SMaCS (Service Management and Charging System) Bankowość i finanse audyty bezpieczeństwa i planów ciągłości działania: budowa planów BCP aplikacja Atmeus służąca wsparciu BCP Handel i usługi outsourcing internetowych platform transakcyjnych - sprzęt, kolokacja, administracja Sektor Publiczny Dostawy serwerów i urządzeń sieciowych Budową, wdrożeniem i utrzymaniem infrastruktury teletechnicznej Ogólnopolskiej Sieci Teleinformatycznej tworzonej na potrzeby obsługi numeru alarmowego 112 (OST112). Nauka Dostawy komputerów dużej mocy (klastry obliczeniowe, wieloprocesorowe serwery obliczeniowe SMP) Dostawy wydajnych pamięci masowych w wersji Doświadczenie w budowie współdzielonego systemu plików (Lustre) 7

8 OFERTA SERWEROWA SGI Scale-Out Scale-Up Rackable Rackmount Architecture CloudRack Tray Architecture PrismXL Tray Architecture Altix ICE 8400 Blade Architecture Altix & Altix UV Shared-Memory Systems 8

9 Cluster - SMP Commodity Clusters Infiniband or Gigabit Ethernet SGI Altix UV Platform SGI NUMAlink 5 Interconnect Mem ~64GB mem mem mem mem Global shared memory to 16TB system + OS system + OS system + OS system + OS... system + OS System + OS Each system has own memory and OS Nodes communicate over commodity interconnect Inefficient cross-node communication creates bottlenecks Coding required for parallel code execution 9

10 AltixUV 10 Max. Sockets: 4 Max. Cores: 32 Max. Memory: 1 TB Max. Gigaflops: 289 AltixUV 100 Max. Sockets: 96 Max. Cores: 768 Max. Memory: 6 TB Max. Teraflops: 6.9 Altix UV 1000 Max. Sockets: 256 Max. Cores: 2048 Max. Memory: 16 TB Max. Teraflops:

11 Introducing Altix UV 11

12 Blade Each blade: 8-16 Intel Xeon 7500 cores Up to 128GB DDR3 I/O risers provide choice of expansion slot capabilities SGI NUMAlink 5 = 15.0 GB/s Intel Quick Path Interconnect (QPI) = 25.6 GB/s aggregate (6.4GT/s) Directory FBD1 = 6.4GB/s Read + 3.2GB/s Write (800MHz DIMMs) Intel 7500 Scalable Memory Buffers with 4 channels of DDR3 DIMMs Intel Scalable Memory Interconnect (SMI) 12 12

13 Four I/O riser choices offer configuration flexibility Altix UV Blade Base I/O Externalized I/O (2) PCI-E 2.0 x16 Cable Connections to I/O Expansion Chassis (2) hot-swap 2.5 drives I/O expansion chassis supports up to 4 PCI-E Integrated PCI-E 2.0: slots in 1U (1) x16 low-profile (1) x8 low-profile 13

14 Single System Image scales to 256 Intel Xeon 7500 series, sockets (2048 cores) & 16TB memory Investment protection, start as small as four sockets 8 x 8 (paired-node) 2D torus topology = 256 sockets 14

15 Altix UV s architecture supports scaling to Petaflop level 256-socket fat tree groups in 8 x 8 torus 4-rack groups x 8D x 8W = 256 racks for 16,384 sockets is illustrated Upper limit on scaling is the Altix UV hub, capable of connecting 32,768 sockets Petaflop System Each Red & Green Torus link shown is (2) links / L1R (8) L1Rs per plane (8 of 16) ports / L1R support Fat Tree (8 of 16) ports / L1R support 2-copies of Torus (16) copies of Torus per plane Green Links (Interleaved across the aisles) Red Links (Interleaved down the ranks) 256-Socket Fat Tree Building Block (4 racks) = 4-Rack Group 15

16 Competitive SSI systems are limited to 256 cores or fewer Max. Cores in Single System Image Cores HP ProLiant DL980 G7 IBM x3950 M2 HP Superdome2 256 IBM Pow er 795 SGI Altix 4700 SGI Altix UV 1000 System - (Source - Vendor web sites Oct., 2010) 16

17 Top SPECfp_rate_base2006 Results SGI Altix UV s Intel Xeon X IBM Power s 9730 System SGI Altix UV socket Intel Xeon X7560 Sun Blade 6048 Cluster 192 socket AMD Opteron 8384 ScaleMP vsmp Foundation 32 socket Intel Xeon X SPECfp_rate_base

18 World record Multi JVM performance of 26,328,087 BOPS with 64 JVMs using Oracle JRockit Single JVM performance of 2,818,350 BOPS/JVM using Oracle Java HotSpot 1.6 (using 16 blades) Above 1M BOPS on the smallest system ever! Single JVM performance of 1,080,399 BOPS/JVM using Oracle Java HotSpot 1.6 with only 1 JVM, on the smallest system with only 48c (8 6c). 18

19 Barrier Latency <1usec (4096 thread) AltixUV offers up to 3X improvement in MPI reduction processes Barrier latency is dramatically better than competing platforms HPCC Benchmarks UV, MOE disabled UV with MOE UV, MOE disabled UV with MOE HPCC benchmarks show substantial improvement possible with MPI Offload Engine (MOE) UV with MOE UV. MOE disabled 0 19 Source: SGI Engineering projections 19

20 By close-coupling cooling to the heat source, data center cooling issues can be mitigated Condensate Drain Pan (4) Individual Coils Branch Feed to Individual Coil Target Heat Rejection 95% water / 05% air Chilled-Water Supply 45 F to 65 F (7.2 C to 18.3 C) 16 gpm (3.6 m 3 /hr) Max. 3/4 (1.91 cm) Coupling Swivel Coupling to Supply Hose 20

21 21

22 News Jolt (Router) rollout on SC 2010 Quotable immediately Routered multi-racks need a bit more space (next slide) Graphics/cGPU Max 8 GPUs for now (will grow when Linux allows it) New Option coming: NVidia S2070, S2050 with 2 or 4 GPUs (2*X16) 16GB DIMMs - can be quoted 4-8GB DIMM price drop Westmere EX ~25% core or clock boost 22

23 Jolt = Routered Racks Single Rack no change 2+ Racks require expanded side and top panels as shown and rack spacers All previously installed Altix UV systems can be upgraded with the Jolt technology for SGI Altix UV. 23

24 ALTIX UV + Jolt 24

25 SGI Prism XL Rack 21 x 3-slot Enclosures 1 bay 2 or 4 accelerator cards Switches & headnode in additional I/O rack 25

26 Enclosure 2U 3 bays for sticks 26

27 Stick Image (sheet metal Stick Image removed) DDR3 DIMM Slots 4 per Node Board Node Boards (2) 40mm Fans (6) Power Supply C32 Socket 1050 Watts 1 per Node Board Full Size PCIe Cards 2 Double Wide or 4 Single Wide 27

28 1 PF configuration 125 Mojo Stick Deployment 117 to 125 Sticks 250 Double wide or 500 Single wide GPUs =1.0 PFLOP SP w/ ATI Firestream 9350 Connected in Full Non-Blocking QDR IB Fat Tree Requiring 21 IB Switches Also interconnected with GigE Requiring 6 GigE Switches Head Node 48 Port GigE Switch 48 Port GigE Switch 48 Port GigE Switch 48 Port GigE Switch 48 Port GigE Switch 48 Port GigE Switch 28

29 Financially strong 29

30 Dziękuję za uwagę więcej informacji: ryszard.radziejewskiatm-si.com.pl 30