Nigdy niekoocząca się wydajność i pojemność

Transkrypt

1 Nigdy niekoocząca się wydajność i pojemność Skaluj się horyzontalnie, a nie wertykalnie Bartosz Charlioski EMC Polska Specialized Technology Consultant Zion Gabai EMC Area Sales Director 1

2 Agenda Wprowadzenia Budowa i zasada działania klastra Case study 2

3 Wzrost ilości danych wg IDC 3

4 Dlaczego IT potrzebuje jeszcze jednego podejścia do kwestii przechowywania danych? Life Sciences Worldwide File And Block Disk Storage Systems, * Media & Entertainment Internet & Cloud Oil & Gas High-Tech Engineering By 2012, 80% of all storage capacity sold will be for file-based data 4

5 Centra danych przechodzą z modelu skalowania wertykalnego do horyzontalnego 5

6 Elementy klastra skalowalnego horyzontalnie CECHY OPROGRAMOWANIA KLASTRA (Rozproszony System Plików, Klastrowy System Plików, itp) Nieograniczona skalowalność Wysoka wydajność Maksymalna ochrona danych Łatwe zarządzanie Wysoka dostępność Zaawansowane usługi (Windows, Unix, Security, autentykacja, itd.) ISILON STANDARDOWY IQ WĘZŁY PLATFORMY SPRZĘT 6

7 Isilon Rozwiązanie klastrowe NAS ISILON - SYSTEM OPERACYJNY ISILON IQ - PLATFORMA SPRZĘTOWA 7

8 Isilon ustanawia standard dla klastra NAS 8

9 Główne cechy Systemu operacyjnego Isilon OneFS Utwórz jeden gigantyczny dysk z: Jeden system plików, jeden wolumen Najwyższa wydajność, w pełni symetryczny klaster Łatwy w zarządzaniu i rozbudowie 9

10 OneFS 6.5 Dostarcza niezrównanej skalowalności Ochrona danych 144 Nody Odporny na awarie rozległą Gotowy do zadań krytycznych 15 PBs 85 GB/s 1.6M IOPs 10

11 Isilon IQ Architektura Sieci Servery NFS, CIFS, ISCSI, FTP, HTTP Servery Servery Warstwa kliencka/aplikacyjna Warstwa sieci gigabit, 10 gigabit Isilon IQ Warstwa składowania danych Komunikacja między węzłowa - Infiniband 1 11

12 Zapisywanie pliku do klastra Isilon Servery Servery NFS, CIFS, ISCSI FTP, HTTP Servery 1 12

13 Zapisywanie pliku do klastra Isilon 1 13

14 Odczytywanie pliku z klastra Isilon Zapisywanie pliku do klastra Isilon Servery Servery NFS, CIFS, FTP, HTTP (optional 2 nd switch) Servery 1 14

15 Odczytywanie pliku z klastra Isilon Servery Servery NFS, CIFS, ISCSI, FTP, HTTP Servery 151

16 Najbardziej niezawodny system składowania danych Dla dużych rozwiązań, N+2:1 = awaria 2 dysków w nodzie lub 1 noda N+3:2 = awaria 3 dysków w nodzie lub 2 nodów Wbudowana w klaster wysoka dostępność Z protekcją N+2, N+3, i N+4, dane są w Z protekcją N+1, 100% dostępne nawet przy awarii kilku dysków lub dane są w 100% dostępne nodów przy awarii jednego dysku I lub Isilon noda IQ oferuje najszybszy w branży czas odbudowy Mniej niż godzina! FAILED FAILED 100% AVAILABILITY 100% AVAILABILITY 100% AVAILABILITY 100% AVAILABILITY 100% AVAILABILITY 100% AVAILABILITY 100% AVAILABILITY 100% AVAILABILITY 16 16

17 System o największej dostępności Wirtualne dyski zapasowe Wykorzystuje całe dostępne wolne miejsce w klastrze do odbudowy W przeciwieństiwe do tradycyjnych systemów które ograniczone są do wolumenu, grupy raid X FAILURE 17

18 Największy i Najbardziej Skalowalny System Plików 100X bardziej skalowalny niż tradycyjny system plików OneFS może skalować się od 15 TB do ponad 15 PB w jednym systemie plików Zwiększenie pojemności w ciągu 60s bez przestoju 18

19 BALANCED EMPTY FULL BALANCED EMPTY FULL BALANCED EMPTY FULL BALANCED EMPTY FULL BALANCED EMPTY Najbardziej skalowalny System Plików AutoBalance: Zautomatyzowane balansowanie danych pomiędzy nodami Redukuje koszt, poziom skomplikowania i ryzyko skalowania AutoBalance migruje zawartość do nowego noda podczas pracy produkcyjnej systemu Nie wymaga manualnej interwencji, rekonfiguracji, zamontowania ponownego zasobów 19

20 Wydajność Niekończące się skalowanie Węzęł wydajnościowy Isilon Scale-out Dodaj węzeł Drugi The Paradigm Shift system NAS/SAN NAS Head Clustering Fully Symmetric Cluster Tradycyjny SAN/NAS Infiniband Network Backbone Pojemność Modern Architecture Built to WORK! Ability to Scale performance and capacity in concert or independently non-disruptively! 20

21 Bardzo dobre wykorzystanie pojemności System 3 węzłowy N+1 Parity 12 Cores 12 GB Cache 6 GbE ports 66% 33% Capacity Over Head System 6 węzłowy N+1 Parity 24 Cores 24 GB Cache 12 GbE ports 83% 17% Capacity Over Head System 10 węzłowy N+1 Parity 40 Cores 40 GB Cache 20 GbE ports 90% 10% Capacity Over Head 21 21

22 Bardzo łatwy w obsłudze interfejs graficzny Zarządzenie całym klastrem z jednego okna Zarządzaj od 18TB do 15PB system plików z intuicyjnej konsoli "Isilon has made some very bold claims with respect to its clustered storage products - not least the idea of genuinely revolutionizing the ease and speed with which mass storage - over 500 Terabytes - can be added and managed thereafter. We have conducted rigorous testing and unanimously agree with their assertions. This stuff is almost frighteningly simple to use. Steve Broadhead, Founder, Broadband-Testing Laboratories 22

23 System operacyjny Sprzęt Oprogramowanie Szeroka oferta rozwiązań skalowalnych horyzontalnie Platform Nodes Extension Nodes S-SERIES X-SERIES NL-SERIES ACCELERATOR & BACKUP ACCELERATOR ISILON EX NODES 23

24 Wydajność Bardzo elastyczna rodzina produktów Trzy wymiary skalowania IQ Accelerator and Backup Accelerator Niezależna skalowalność wydajności S, X, NL-Series Platform Nodes Liniowy wzrost wydajności i pojemności EX 6000/9000/12000 Niezależna skalowalność pojemności Pojemność 24

25 Case study 25

26 .pdf.ppt images video audio VMware Files Non DB Files By 2012, 80% of all storage capacity sold will be for file-based data Source: 26

27 Big Data Is Top of Mind for CIOs 27 27

28 Datacenter Requirements for Big Data Data N+4 Protection Business Scale-Out Continuance Replication ENTERPRISE CAPABILITIES Sophisticated Management Analytics and Monitoring Block Interoperability and File BIG DATA Up Scalability to 15 PBs Single File Simplicity System SCALE-OUT ARCHITECTURE Up to 85GB/sec Performance and 1.4 million IOPs Efficiency 80+ % Utilization 28

29 Enterprise Capabilities Scale-Out Competitive Landscape ENTERPRISE CAPABILITIES SCALE-OUT ARCHITECTURE SONAS Big Data Storage 29

30 Isilon Overview Proven, global leader in Scale-Out Storage solutions Unrivaled product innovation 6 th Generation World-class products and global services Strong ecosystem of technology partners ~2000 worldwide customers and growing Recently Acquired by EMC for $2.5 Billion Record Growth & Profitability 30

31 Over 2,000 Isilon Customers Media & Entertainment Internet Life Sciences Engineering Higher Ed Virtualization Other Virtualization Sony Apple Illumina GE Aircraft UCLA Softlayer Lexis/Nexis Disney Move Networks Broad Institute Xilinx Baylor Edelbrock Act Litigation DirecTV Technicolor Viacom Warner/GDMX Comcast Omniture Facebook Ancestory.com LiveOffice Friendster Mayo Clinic Genentech National Center for Genomic Research JGI LONI UCLA GeoTrace Kelman Technology Pratt Whitney Honda ARM Ltd. Harvard/Yale University of Michigan Rutgers Rice University University of Texas Trizetto Aurora Bank Sonic Drive-in Yellow Roadway KC Southern Love s Stores OMRF Edgecast Nielsen Compnay Bill Young Productions Sanborn 31

32 Big Data in Isilon Core Markets (Battlecards) Isilon Opportunity Internet/Cloud Life Sciences High-Tech Engineering Oil & Gas Media & Entertainment New Areas Media & Entertainment Video Surveillance Public Sector VMware, Outsourcing Medical Imaging 32

33 Isilon Enables Success In 33

34 CREATE & CAPTURE PROCESS ARCHIVE BACKUP NL-Series Backup Accelerator Purpose-built for high-transactional & IOPS-intensive applications for high-concurrent and sequential throughput applications Purpose-built for cost-effective, large capacity storage to Tape Storage Isilon IQ X Series Nodes X200, 6000X and 12000X Isilon IQ S S, IQ 5000S-SSD Isilon IQ 10000X-SSD 36000X, 72000X, IQ 32000X-SSD Isilon IQ 108NL, 72NL,36NL Isilon IQ SAS ( TB) Isilon IQ X Series SATA (18TB 10.4PB) Isilon IQ Nearline SATA (108TB 15PB) High Performance Backup/Restore 34

35 35

36 Design and Engineering Typical Architecture 38

37 COMAC Commercial Aircraft Corporation of China BACKGROUND HPC for computer aided application such as Dyna, Nastran, Fluent and several other self-made HPC based applications CHALLENGE High-performance concurrent access from a single file system. Scale easily and on the fly to 1PB Add capacity and performance as the system scales Simplify storage management and increase utilization SOLUTION Over 100TBs in a Isilon IQ 12000X storage cluster Reduced storage management to less than half a person Showed ability to scale on the fly to meet growing capacity and performance needs Demonstrated best performance over NFS to large Linux HPC environments 39

38 Pratt & Whitney BACKGROUND Pratt & Whitney engines power nearly half the world's commercial and military fleets CHALLENGE Replace legacy engine testing storage infrastructure with 100% online and file-based network attached clustered storage system Engine testing generates huge amounts of data in disparate silos SOLUTION Isilon IQ has enabled us to streamline our [jet engine] testing analysis and appreciably reduce costs while maintaining our uncompromising commitment to safety and quality. Dr. Zbigniew Grabowski, Engineering Information Technology Program Manager, Pratt & Whitney 32+ Terabytes of Isilon IQ clustered storage used to create unified storage pool for jet engine testing Enabled reduction in test time from 6 months to 6 weeks Isilon IQ used to test military and civilian engines for Airbus and Boeing. Data critical for government compliance and bringing products to market 40

39 IC Design & EDA Customer Testimonials ARM DaiNippon Printing 41

40 Life Sciences Typical Architecture 42

41 Life Sciences Customer Testimonials Cedars-Sinai Harvard Medical School Broad Institute 43

42 Higher Education Typical Architecture 44

43 Higher Education Customer Testimonials French National Library UCLA LONI University of Michigan 45

44 High Performance Computing Typical Architecture 46

45 High Performance Computing Customer Testimonials Repsol 47

46 Isilon Scale-Out NAS Solutions 48

47 Isilon Scale-Out NAS Benefits 49

48 Dziękuję Życzę udanej konferencji 50