NetApp Clustered DataOntap. Jarosław Duda

Transkrypt

1 NetApp Clustered DataOntap Jarosław Duda

2 NetApp Portfolio Corporate Data Centers Cloud Data Centers Flash Arrays Clustered Data ONTAP E-Series StorageGRID

3 Macierze serii FAS

4 Szeroka gama macierzy NetApp FAS8080 FAS8060 FAS8040 FAS TB dysków 18TB flash pool 5760TB dysków 36TB flash pool FAS TB 84 dysków 4TB flash pool FAS TB 144 dysków 4TB flash pool 1920TB 480 dysków 6TB flash pool 2880TB 720 dysków 12TB flash pool E5600 EF dysków E dysków 192 dysków

5 Data ONTAP - Wspierane Protokoły NFS (v2, v3, v4) [mostly Unix] CIFS [Windows/Samba/MacOS X] FCP iscsi [SCSI over TCP/IP]

6 Data ONTAP - Wspierane Protokoły

7 Macierze serii FAS25xx FAS2552 SAS/SSD FAS2554 SATA/SSD FAS2520 SATA/SAS/SSD 7

8 FAS2520 HA Widok kontrolerów Obudowa 2U FAS2520 8

9 FAS2520 opis portów kontrolera Console Port e0m/sp LNK LNK e0c e0d e0e e0f e0a LNK LNK LNK LNK NV 0b 0a SSN MAC e0b SAS 4 x 10GBaseT 2 x GbE ports 2 x SAS ports 10GBaseT USB port 1 x GbE management port 1 x private management port 1 x USB port (disabled) 1 x console port Private Management Port GbE 9

10 FAS2552 oraz FAS2554 Porównanie obudowy obu macierzy Obudowa 2U FAS2552 Obudowa 4U FAS

11 FAS2552 oraz FAS2554 opis portów Console Port LNK LNK e0c 0c e0d 0d e0e 0e e0f 0f e0a LNK LNK LNK LNK NV 0b 0a SSN MAC e0b SAS UTA 2 4 x Unified Target Adapter (UTA2) ports 10GbE, GbE Ethernet 16Gb/s FC or 8Gb/s FC 2 x GbE ports 2 x SAS ports USB port Private Management Port GbE 1 x GbE management port 1 x private management port 1 x USB port (disabled) 1 x console port

12 Interfejsy do zarządzania

13 Półki dyskowe

14 Dyski fizyczne RAID Group RAID 4 RAID 54 Data blocks A B C D E F G H I J Controller Data blocks 2A B4 C1 D3 E1 3F G2 H1 I J Controller A E : : : B F : : : C G : : : D H : : : (A-D)P (E-H)P : : : A2 E1 : : : B4 F3 : : : 1C G2 : : : D3 (A-D)P 10 (E-H)P 1 7H : :: : :: : :: Data disks + Parity disks Data disks + Parity disks :Parity :Parity

15 Dyski fizyczne RAID Group RAID DP RAID 6 Data blocks Data blocks A B C D E F G H I J A B C D E F G H I J Controller Controller A D : : : B E : : : C F : : : SUMA SUMA Data disks + Parity disks : : : (A-C)P (D-F)P : : : A D G : : : B E (G-I)P : : : C (D-F)P (G-I)P : : : (A-C)P (D-F)P H : : : (A-C)P F I : : : Data disks + Parity disks

16 FAS8020

17 FAS8020

18 FAS8040/8060

19 FAS8000

20 Flash Cache akceleracja pamięci cache

21 Flash Cache akceleracja pamięci cache Karta PCIe, taka sama jak karta PAM I Dostępna wersja 512 GB, 1 TB, 2 TB

22 Błyskawiczny start z cache Czas boot owania niższy o 47% Operacje na dyskach niższe o 50% Wzrost wydajności o 71% Read data block from disk Disk Flash Cache 32

23 Flash Pools Mieszane grupy RAID SSD + HDD Cache owanie całego ruchu Wzrost wydajności odczyt/zapis SSD Odczyt danych z dysków Disk

24 Flash Pools W jaki sposób działa pula przy odczytach

25 Flash Pools W jaki sposób działa pula przy zapisach

26 AutoSupport Dostępny we wszystkich modelach macierzy NetApp HTTP or HTTPS SMTP Server

27 Podstawy Clustered Data ONTAP

28 Konfiguracje HA 7-Mode Clustered High Availability High Availability High Availability Kontrolery w konfiguracji cluster są nazywane nodes

29 Skalowalność liniowa C2 B C A2 A3 C1 B1 A D Do 24 kontrolerów w przypadku protokołów NAS Do 8 kontrolerów w przypadku protokołów SAN lub SAN oraz NAS

30 Multi-Tenancy FAS Storage Platform with Data ONTAP Virtual Storage Systems Customers Departments Applications

31 Multi-Tenancy Storage Containers 7-Mode vfiler unit Clustered Storage virtual machine (SVM) Administrative SVM Data ONTAP z vfiler0 Data ONTAP z trzema vfiler Node SVMs Admin SVMs Data SVMs Cluster Interconnect HA HA Data SVM

32

33 SVM typu Data With FlexVol Volumes SVM Admin mgmt LIF FlexVol Volumes data LIFs NFS CIFS iscsi FC Client Access SVM with FlexVol Volumes SVM udostępnia dane dla klientów SVM w sposób bezpieczny izoluje dane oraz sieć w zakresie zarządzania i udostępniania.

34 Zarządzanie Data ONTAP Interfejs użytkownika

35 OnCommand System Manager W celu prostego zarządzania, konfiguracji, diagnostyki macierzy NetApp 7-Mode Clustered

36 Administracja macierzą Standardowe konto do administracji : Data ONTAP operating in 7-Mode: root Clustered Data ONTAP: admin Można zarządzać użytkownikiem admin z poziomu linii poleceń oraz oprogramowania OnCommand System Manager. Istnieje możliwość tworzenia nowych użytkowników oraz nadawania im odpowiednich ról z uprawnieniami Data ONTAP 7-Mode system> useradmin Clustered Data ONTAP c1::> security login role create

37 Shells Poziomy zarządzania 7-Mode Clustered Clustershell Admin Shell Node Shell System Shell System Shell

38 Przełączanie się pomiędzy poziomami zaawansowania Data ONTAP 7-Mode system> priv set advanced Warning: These advanced commands are potentially dangerous; use them only when directed to do so by NetApp personnel. Do you want to continue? {y n}: y system*> priv set admin system> Clustered Data ONTAP c1::> set -priv advanced Warning: These advanced commands are potentially dangerous; use them only when directed to do so by NetApp personnel. Do you want to continue? {y n}: y c1::*> set admin c1::>

39 Clustershell Question Mark c1::> storage aggregate c1::storage aggregate> modify? [-aggregate] <aggregate name> Aggregate [ -disktype -T {ATA BSAS FCAL FSAS LUN MSATA SAS SATA SSD VMDISK} ] Disk Type [ -free-space-realloc {on off no_redirect} ] Free Space Reallocation [ -ha-policy {sfo cfo} ] HA Policy [ -percent-snapshot-space <percent> ] Space Reserved for Snapshot Copies [ -space-nearly-full-threshold-percent <percent> ] Aggregate Nearly Full Threshold Percent [ -space-full-threshold-percent <percent> ] Aggregate Full Threshold Percent [ -hybrid-enabled {true false} ] Hybrid Enabled [ -force-hybrid-enabled -f [true] ] Force Marking of Aggregate as Hybrid Enabled [ -maxraidsize -s <integer> ] Max RAID Size... c1::storage aggregate> modify

40 Konfiguracja sprzętu

41 Konfiguracja macierzy FAS 25xx

42 DS2246 Półki dyskowe do macierzy FAS Size: 450GB 450GB 450GB 450GB DS4243 Disk Speeds: 450GB 450GB 450GB 450GB DS424x 4U, 24 disks 450GB 450GB 450GB 450GB 450GB 450GB 450GB 450GB 450GB 450GB 450GB 450GB 10K SAS 7.2K SATA DS4486 4U, 48 disks 450GB 450GB DS4243 DS4246 DS GB 450GB SSD 2U, 24 disks 600GB 600GB 600GB 600GB 600GB 600GB 600GB 600GB 600GB 600GB 600GB 600GB 600GB 600GB 600GB 600GB 600GB DS GB 600GB 600GB 600GB 600GB 600GB 600GB 10K SAS SSD

43 Konfiguracja Clustered Data ONTAP Switched Clusters Node 1 Node 2 Node 3 Node 4 Disk Shelves Disk Shelves Disk Shelves Disk Shelves SAS or FC (simplified) HA interconnect Cluster interconnect Cluster Interconnect Switches

44 Konfiguracja FAS Konfiguracja dwu-kontrolerowa bez użycia switcha (switchless) Kontroler 1 Kontroler 2 Disk Shelves Disk Shelves HA Pair SAS or FC (simplified) HA interconnect Cluster interconnect

45 FAS2552 Clustered Data ONTAP

46 W jaki sposób organizujemy przestrzeń dyskową?

47 Data ONTAP Storage Architecture Files and LUNs Logical Layer FlexVol volumes Aggregate Physical Layer RAID Groups Disks

48 Konfiguracja fizycznej przestrzeni dyskowej 3. Create Aggregate Aggregate 2. Assign Ownership Spare Disks 1. Add Disks Unowned Disks

49 Typy aggregatów Dostępna przestrzeń dyskowa Root Aggregate Data Disk Parity Disk dparity Disk Data Aggregate Data Disks Parity Disk dparity Disk

50 FAS2520 bez partycjonowania ADP FAS2520 Data Disks / Total Disks = Efficiency 2 Data HDDs and 12 HDDs Total = 17% 100% NODE1 ROOT NODE1 ROOT PARITY NODE1 ROOT PARITY USER AGGR USER AGGR USER AGGR PARITY USER AGGR PARITY SPARE SPARE NODE2 ROOT NODE2 ROOT PARITY NODE2 ROOT PARITY %

51 FAS2520 HDDs z partycjonowaniem ADP FAS2520 Root Partition <- NODE1 ROOT <- NODE1 ROOT <- NODE1 ROOT <- N1 ROOT PARITY <- N1 ROOT PARITY <- SPARE <- NODE2 ROOT <- NODE2 ROOT <- NODE2 ROOT <- N2 ROOT PARITY <- N2 ROOT PARITY <- SPARE Data Partition DATA DATA DATA DATA DATA DATA DATA DATA DATA PARITY PARITY SPARE

52 FAS2520 efektywność dużo lepsza FAS Data HDDs and 12 HDDs Total = 72% 100% Root Partition Data Partition DATA DATA DATA DATA DATA DATA DATA DATA DATA PARITY PARITY SPARE 0%

53 NetApp Virtual Storage Tier Server Flash Cache Flash Pool Storage

54 Akceleracjaz dyskami SSD

55 Creation Partycjonowanie SSD dla Flash Pool i Storage Pool (STORAGEPOOL1) Allocation Unit Allocation units staje się grupą RAID w momencie przypisania do aggregatu z danymi a Flash Pool aggregate SSD Disk1 Through Disk6

56 Partycjonowanie SSD dla Flash Pool i Storage Pool (STORAGEPOOL1) Node1 Node

57 Partycjonowanie SSD dla Flash Pool i Storage Pool (STORAGEPOOL1) Aggr2 Aggr1 HDD rg0 HDD rg0 DATA DATA DATA DATA PARITY PARITY HDD rg1 HDD rg1 DATA DATA DATA DATA PARITY PARITY HDD rg2 SSD rg2 DATA DATA DATA DATA PARITY PARITY SSD rg SSD rg4

58 Co z siecią?

59

60 Interfejsy sieciowe w Clustered Data ONTAP Logical* LIF smv1-mgmt smv1-data1 Virtual VLAN a0a-50 a0a-80 Ifgrp a0a Physical Port e2a e3a

61 Podstawowa konfiguracja

62 Setting Up a System 1. Connect controllers, disks, and cables. 2. Set up and configure nodes. 3. Install software onto nodes. (Software is preinstalled on most systems.) 4. Initialize disks (not necessary on new clusters). 5. System setup: use System Setup Complete the initial configuration. 7. Create data aggregates. 8. Create a data storage virtual machine (a data SVM). 9. Create data volumes and protocol configuration.

63

64

65

66 System Setup Tool

67 Six Steps System Setup 3.1

68 LABORATORIUM A

69 Policies and Schedules

70 Policy-Based Storage Services Policy: A collection of rules that are created and managed by the cluster or SVM administrator Predefined or created to manage data access Policy examples: Export, quota, file, and data Snapshot copy and SnapMirror Quality of service (QoS)

71 Policy Example policya Rule1 criteria1 Rule2 criteria2 policyb Rule3 criteria3 property Rule1 criteria1 property property Rule2 criteria2 Rule3 criteria3 property property property You assign a policy to a service or resource A rule criteria in the policy matches the service or resource The matching rule s properties apply to the service or resource The example is a firewall to allow or deny access to a protocol for specific IP address ranges.

72 Job Schedules Job schedules can be used: Globally (by all virtual storage systems and SVMs) For functions that can be automated For SnapShot, SnapMirror events, for example Note the following job schedule means every five minutes on the five-minute means daily at 4:00 means hourly at ten minutes after the hour

73 Zarządzanie przestrzenią dyskową

74 Setting Up a System 1. Connect controllers, disks, and cables. 2. Set up and configure nodes. 3. Install software on nodes. (Software is preinstalled on most systems.) 4. Initialize disks. 5. System setup: Create a cluster on the first node, then join additional nodes to the cluster. 6. Complete the initial configuration. 7. Create data aggregates. 8. Create a storage virtual machine (SVM). 9. Create data volumes and protocol configuration.

75

76 RAID Group Sizing HDD rg SSD rg HDD and SSD RAID Group Data Disks Flash Pool Data Disks Data Disks Parity Disk Parity Disk Parity Disk dparity Disk dparity Disk dparity Disk RAID group sizing: HDD and SSD RAID groups: All RAID groups in aggregate should be the same size HDD: 12 to 20 (per RAID group) SSD: 20 to 28 (per RAID group) Flash pools: SSD RAID group size and type can be different from HDD RAID group size

77 LABORATORIUM B

78 LABORATORIUM B

79 Data ONTAP Konfiguracja zasobów na macierzy Volumeny typu FlexVol

80 Setting Up a System 1. Connect controllers, disks, and cables. 2. Set up and configure nodes. 3. Install software onto nodes. (Software is preinstalled on most systems.) 4. Initialize disks. 5. System setup: Create a cluster on the first node, then join additional nodes to the cluster. 6. Complete the initial configuration. 7. Create data aggregates. 8. Create a storage virtual machine (SVM). 9. Create data volumes and protocol configuration.

81 Data SVM With FlexVol Volumes SVM Admin mgmt LIF FlexVol Volumes data LIFs NFS CIFS iscsi FC Client Access SVM with FlexVol Volumes

82 FlexVol Volumes Types Files LUN FlexVol FlexVol Aggregate FlexVol volume types: System (or node root) Typically named vol0 Should only contain configuration and logs Should not contain user data SVM root volume Top level of the namespace Should not contain user data Data NAS: Contain file systems for user data SAN: Contain LUNs

83

84

85

86

87 Zarządzenie siecią

88 IPspaces

89 IPspaces Default IPspace Company A IPspace Company B IPspace Storage service provider (SSP) point of presence SVM 1 SVM 2 Default routing table SVM_A-1 SVM_A-2 Company A routing table SVM_B-1 SVM_B-2 Company B routing table Default: Company A: Company B:

90 Broadcast Domains Default Broadcast Domain Company A Broadcast Domain Company B Broadcast Domain

91 Subnets Default Broadcast Domain Company A Broadcast Domain Company B Broadcast Domain subnet subnet subnet

92 Logiczne interfejsy - LIF An IP address or World Wide Port Name (WWPN) is associated with a LIF If subnets are configured (recommended), IP addresses are automatically assigned when a LIF is created If subnets are not configured, IP addresses must be manually assigned when LIF is created WWPNs are automatically assigned when an FC LIF is created One node-management LIF exists per node One cluster-management LIF exists per cluster Two* cluster LIFs exist per node Multiple data LIFs are allowed per port (Client-facing: NFS, CIFS, iscsi, and FC access) * The default is platform dependent.

93

94 Implementacja protokołów NAS

95 Unified Storage Review File System (SAN) NFS iscsi Corporate LAN CIFS File System (NAS) FCoE FC NAS (File-Level Access) NetApp FAS SAN (Block-Level Access)

96 System plików NAS Client UNIX1 /mnt/nfsvol Client WIN1 Disk 1 (C:) Disk 2 (E:) \\system\smbvol Server NFS volume SMB volume

97 Storage System Resources Volume Qtree Directory File

98 NAS Namespace Architecture Multiple Standalone Volumes root /temp temp /project1 /project2 /project3 pro2 pro3 pro1 SVM volume junction path vs1 temp /temp vs1 pro1 /project1 vs1 pro2 /project2 vs1 pro3 /project3 vs1 vs1_root /

99 NAS Namespace Architecture Namespace with Branched Trees root /temp temp /project project pro3 /project/pro3 /project/pro1 pro2 /project/pro2 pro1 SVM volume junction path vs1 temp /temp vs1 project /project vs1 pro1 /project/pro1 vs1 pro2 /project/pro2 vs1 pro3 /project/pro3 vs1 vs1_root /

100 NAS Namespace Architecture Namespace with Directory /temp temp root project /project/pro3 pro3 pro1 pro2 /project/pro11 /project/pro2 SVM volume junction path vs1 temp /temp vs1 pro1 /project/pro1 vs1 pro2 /project/pro2 vs1 pro3 /project/pro3 vs1 vs1_root /

101 Windows File Services

102 Server Message Block Protocol Client WIN1 Disk 1 (C:) Disk 2 (E:) \\system\smbvol Server SMBvol

103 Enable SMB SMB Implementation Data ONTAP 7-Mode system> cifs setup Clustered Data ONTAP c1::> vserver cifs create Best Practice: Configure NAS protocols with OnCommand System Manager.

104 LABORATORIUM C

105 Użyteczne funkcjonalności w macierzach NetApp

106 DataONTAP

107 Zmiany w zakresie automatyzacji procesów

108 Przykład polisy policya Rule1 criteria1 Rule2 criteria2 policyb Rule3 criteria3 property property Rule1 criteria1 property Rule2 criteria2 Rule3 criteria3 property property property

109 Snapshot y

110 Data ONTAP kopie Snapshot Produkcja: aktywny system plików Prod PROD A B SNAP 1 A B SNAP 2 A B C C C WRITE WRITE D D D A B C D E F F E E E E F F F F S 1 S 2 SNAP #1 SNAP #2

111 NetApp System Manager Create a Snapshot Copy Zaznacz volume n i wybierz Snapshot Copies > Create aby utworzyć nową kopię snapshot

112 Odtworzenie danych ze snapshotu Produkcja: Aktywny system plików Prod A B C D E F F E PROD A B C D E F SNAP PROD1 A B C D E F SNAP 2 A B C D E F F Prod S 1 Produkcja SNAP #1 S 2 SNAP #2

113 Odtwarzanie danych ze snapshotów z poziomu klienta Windows katalog ~snapshot Istnieje możliwość udostępnienia kopii snapshotowych dla zwykłych użytkowników

114 Integracja z aplikacjami SnapManager dla

115 Metody optymalizacji przestrzeni dyskowej

116 Metody optymalizacji przestrzeni dyskowej

117 Thin Provisioning

118 Thin Provisioning App 3 waste 8 spindles App 2 waste 6 spindles Dostępna przestrzeń App 3 12 spindles App 1 waste 6 spindles App 2 Standard Volume Manager App 1 NetApp Thin Provisioning

119 FlexClone klonowanie danych

120 FlexClone Production Mirror Production Dev 1 Dev 2 Dev 1 Dev 2 Test 1 Test 2 Pełne kopie zabierają przestrzeń i czas QA Test 1 Test 2 4 FlexClone QA

121 Klonowanie Aggregate vol1 Klon - unikalne bloki Wspólne bloki vol1 Unikalne bloki vol1 clone

122 Tradycyjne klonowanie VM DATA DATA DATA DATA DATA Primary Images APP APP APP APP APP OS OS OS OS OS DATA APP DATA APP DATA APP DATA APP DATA APP Image Clones OS OS OS OS OS Traditional Enterprise RAID Arrays

123 Klonowanie NetApp DATA APP OS DATA APP OS DATA APP OS DATA APP OS DATA APP OS Primary Images DATA APP OS DATA APP OS DATA APP OS DATA APP OS DATA APP OS Image Clones (datastore, file, LUN)

124 Deduplikacja i kompresja

125 DEDUPLIKACJA Data Deduplikowane są 4K bloki w aktywnym systemie plików na wolumeninie typu Flex Meta Data Deduplication Process Deduped (Single Instance) Storage Standardowe dane w volumenie Meta Data Dane po deduplikacji w wolumenie

126 Deduplikacja oraz SnapMirror Dedupe Optimized Storage Vol1 (deduped) Network Efficiency Reduced data across the network Vol1 (deduped) Dedupe Optimized Storage VSM Site A, Oddział firmy w innej lokalizacji Site B, Centrala firmy

127 Kompresja Data Compression

128 Backup i replikacja

129 SnapMirror replikacja SnapMirror Lokalizacja podstawowa Centrum zapasowe

130 SnapVault kopie długoterminowe Snapshot1 Snapshot2 Snapshot3 Snapshot1 Snapshot2 Snapshot3 Snapshot4 Snapshot5

131 Elastyczne testy w lokalizacji zapasowej Development Testing Disaster Recovery Testing SnapMirror Snapshot Copies FlexCone Volume

132 Implementacja protokołu SAN

133 Unified Storage Review File System (SAN) NFS iscsi Corporate LAN CIFS File System (NAS) FCoE FC NAS (File-Level Access) NetApp FAS SAN (Block-Level Access)

134 Setting Up a System 1. Connect controllers, disks, and cables. 2. Set up and configure nodes. 3. Install software onto nodes. (Software is preinstalled on most systems.) 4. Initialize disks. 5. System setup: Create a cluster on the first node, then join additional nodes to the cluster. 6. Complete the initial configuration. 7. Create data aggregates. 8. Create a storage virtual machine (SVM). 9. Create data volumes and protocol configuration.

135 Basic SAN Implementation

136 Dostęp blokowy iscsi i FC Data ONTAP 8.2 and 8.3 Windows Red Hat VMware ESX HPUX Solaris AIX FC, iscsi, or FCoE LUNs LUNs LUNs LUNs

137 SAN Data Logical Interfaces Clustered Data ONTAP e1a LIF1 LIF2 e1b Data SVM Cluster Interconnect Data SVM LIF1 LIF2 HA HA SAN data logical interfaces (data LIFs): Are assigned a home node and port Are single-protocol (FC or iscsi) Do not fail over Can be moved to different ports or nodes within an SVM (LIF must be offline) Can be grouped into port sets Recommendation: Use at least one LIF per node, per SVM, per network.

138 WWN Format LIF1 LIF2 0a 0a 1. Verify the port details: c1::*> network fcp adapter show node system-02 adapter 0a Node: cluster1-02 Adapter: 0a Original WWNN: 50:0a:09:80:00:05:a2:40 Adapter WWNN: 50:0a:09:80:8d:7d:c0:1c Adapter WWPN: 50:0a:09:85:8d:7d:c0:1c Queue Depth: 2048 Data SVM 2. List the SVM s WWNN: c1::> vserver fcp show Status Vserver Target Name Admin svm1 20:37:00:a0:98:13:d5:d4 up 3. List the LIF s WWPN: c1::> network interface show vserver svm1 Logical Status Network Current Current Vserver Interface Admin/Oper Address/Mask Node Port svm1 n1_fc_lif1 up/up 20:38:00:a0:98:13:d5:d4 cluster1-01 0a n1_fc_lif2 up/up 20:39:00:a0:98:13:d5:d4 cluster1-02 0a

139 Wielościeżkowy dostęp do zasobów blokowych Dostęp wielościeżkowy ze wsparciem dla ALUA Direct LUN

140 LABORATORIUM D

141 Dziękuję za uwagę