1
Agenda Inteligentne składowanie danych VP co to właściwie jest? Słowo od autorów Trochę o technologii Co ciekawego mamy Rekomendacje/Use Cases/Best Practices Podsumowanie 2
Niekończące się wyzwanie 5X DVD 4X RFID digital TV MP3 players 3X digital cameras camera phones, VoIP medical imaging, laptops, 2X data center applications, games satellite images, CAD/CAM, ATM, scanners 1X sensors, digital radio, DLP theaters, telematics GPS, e-mail, instant messaging, video conferencing, industrial machines, security surveillance, appliances 2010 2011 2012 2013 2014 Za 4 lata będzie 5x więcej danych, którymi trzeba zarządzać Źródło: As the Economy Contracts, the Digital Universe Expands, IDC white paper, maj 2009 3
Inteligentne składowanie danych 5X 4X 3X 2X 1X EMC ma na to kilka sposobów Fully Automated Storage Tiering Optymalizacja wydajności i powierzchni Virtual Provisioning (for free) Alokacja zasobów na żądanie Deduplikacja,kompresja,spin-down Store more with less (for free) Archiwizacja + kasowanie Zarządzanie cyklem życia oparte o polisy Wirtualizacja w chmurze Integracja z środowiskami cloud 2010 2011 2012 2013 2014 4
Virtual Provisioning/Thin Provisioning Strategia efektywnego zarządzania przestrzenią w sieci SAN/NAS i przydzielania zasobów fizycznych w miarę potrzeb Możliwość przedstawienia do aplikacji/systemu większej pojemności niż ta fizycznie zaalokowana na macierzy Fizyczne zasoby przestrzeni dyskowych alokowane są ze współdzielonej puli w miarę zapotrzebowania 5
Virtual Provisioning: Od autorów Virtual Provisioning jest jednym z kluczowych elementów efektywnego składowania danych. Jest dojrzały i zaawansowany. Mądrze wykorzystany pomoże Uprościć zarządzanie Poprawić wydajność Zoptymalizować wykorzystanie przestrzeni Nie obawiajmy się używać go w produkcyjnych środowiskach! 6
Trochę o technologii 7
Terminologia RAID group zbiór dysków z których możemy stworzyć tradycyjne LUNy lub metaluny Traditional LUN logiczna przestrzeń dyskowa stworzona na podstawie grupy RAID MetaLUN kolekcja tradycyjnych LUNów, które jako pojedynczy LUN prezentowane są do hosta Pool grupa dysków przeznaczona do kreowania LUNów typu Thick lub Thin Thick LUN zaalokowana fizycznie przestrzeń jest identyczna z przestrzenią użytkową widoczną przez serwer Thin LUN zaalokowana fizycznie przestrzeń może być mniejsza od przestrzeni użytkowej widocznej przez serwer Subscribed capacity Over-subscribed capacity Consumed capacity User capacity Pamiętajmy, że możemy stosować zarówno podejście tradycyjne jak i VP na jednej macierzy 8
Pool LUN (R5 config) pool R5 Private 4_1 RAID Groups Private LUNs in pool HDD HDD HDD HDD HDD Pool LUN HDD HDD HDD HDD HDD HDD HDD HDD HDD HDD Private Pool Objects Created automatically LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN LUN HDD HDD HDD HDD HDD Host LUN will map to physical Pool element size is 1GB, so each 1GB ordered LBA of a pool LUN will map to a single pool private LUN HOST LUN showing 1GB granularity 9
Pule Jednorodne FC, EFD lub ATA Aplikacje z podobnymi wymaganiami wydajnościowymi Brak planów na wykorzystanie technologi FAST 10
Pule Niejednorodne Różne typy dysków w jednej puli Możliwość wykorzystania technologii FAST 11
Clariion - Pule oraz alokacja zasobów Po inicjalizacji LUNów Thin, Thick zajmowane jest 2GB przestrzeni Dlaczego 2GB dla Thick skoro Thick alokuje całą przestrzeń? Metadata Overhead = LUN Size (GB) x.02 + 3GB Pule, analogicznie do RAID grupy to zbiór dysków wspierający pojedynczą protekcję (RAID 5, RAID 6, RAID 1/0) 12
Symmetrix VP: elementy składowe TDEV TDEV Thin Devices: Wirtualne LUN-y, dostępne dla hostów (obszary w pamięci cache nie zajmują przestrzeni storage) Protekcja RAID = protekcja puli Thin Pool TDAT Thin Pool: Grupa fizycznych LUN-ów, zarządzana jako pojedyncza pula Pierwszy TDAT dodany do puli definiuje jej RAID TDAT Data Devices: Fizyczne LUN-y, tworzące zasoby puli Muszą być tego samego rozmiaru i protekcji RAID (1, 5 lub 6) Mogą należeć tylko do 1 puli 13
Symmetrix VP w działaniu Thin LUN-y (TDEV) wolumeny adresowane/mapowane przez hosty Bindowane do puli Under-subscribed vs. Fully Allocated vs. Over-Subscribed Operacje jak na tradycyjnych wolumenach Najmniejszy element, jakim operuje mechanizm VP Extent = 768KB 14
Technologia i funkcjonalność Wide-striping Pre-alokacja dla podniesienia wydajności Rozszerzanie przestrzeni puli poprzez dodawanie fizycznych LUN-ów (TDAT) online Shrinkowanie puli poprzez drenaż danych online Thin LUN-y mogą podlegać replikacji lokalnej i zdalnej Monitorowanie i alerty ECC, SMC, SYMCLI 15
Co ciekawego mamy Automated Pool Rebalancing Zero Space Reclamation Klonowanie typu Thick-to-Thin FAST VP 16
Automated Pool Rebalancing Dostępne w systemach Symmetrix VMAX Umożliwia równomierne rozłożenie extentów VP na nowo dodawanych do puli zasobach (LUN-ach) Wzrost wydajności wraz z rozbudową Pozwala rozbudowywać pule niewielkimi krokami Zrównoważenie obciążenia I/O Likwidacja istniejących hot spotów Umożliwia również równomierny rozkład, gdy zasoby z puli są odejmowane Operacja inicjalizowana manualnie przez administratora Rozszerzanie puli oraz rebalancing są operacjami przezroczystymi dla hosta Thin Pool Expanded Thin Pool Rebalanced Thin Pool New with Enginuity 5874 Q4 SR for V-Max 17
Zero Space Reclamation Dostępne dla macierzy Clariion i Symmetrix VMAX Space Reclamation na 2 sposoby Odzyskuje przestrzeń o statusie PreAllocated, ale nie wykorzystywaną fizycznie przez dane (niezapisaną) Zero Space Reclamation odzyskuje obszary (extenty), które są zaalokowane oraz wykorzystane przez hosty, ale zapisane ciągami 0 (z pewnymi wyjątkami) Odzyskuje przestrzeń, która jest zaalokowana, ale niewykorzystywana uwięziona Operacja inicjowana manualnie przez administratora (Symmetrix) lub automatycznie przez mechanizmy migracji: SAN Copy oraz LUN Migration (Clariion) Największe korzyści z ZSR uzyskiwane podczas migracji Thick-to-Thin, na wolumenach docelowych Zwraca całkowicie zerowe extenty targetu do puli Mocno zależy od wyboru metody migracji danych (czy jest thin friendly ) Przykłady: replikacja lokalna TF/Clone typu Thick-to-Thin, PPME Host Copy, Open Migrator (Windows jako target) Efektywne wykorzystanie przestrzeni po migracji między macierzami Thick Source Volume Sparse Target Thin Volume New with Enginuity 5874 Q4 SR for V-Max 18
Klonowanie typu Thick-to-Thin Replikacja lokalna wolumenów Thick (tradycyjnych) do Thin W obrębie macierzy Symmetrix, z wykorzystaniem TF/Clone Kopiowane są tylko obszary, które zostały zapisane przez OS hosta Może działać również w drugą stronę (Thinto-Thick) Operuje z dokładnością do poszczególnych bloków (tracków) Wolumeny źródła i targetu mogą znajdować się na różnych typach dysków i o różnej protekcji RAID Proces całkowicie przezroczysty dla hosta oraz replikacji zdalnej SRDF (nie wymaga jej uśpienia ani zatrzymania) Efektywne wykorzystanie przestrzeni dla replikacji lokalnej Unwritten Space Thick Source Volume Sparse Target Volume New with Enginuity 5874 Q4 SR for V-Max 19
FAST V2 (FAST VP): Inteligentny storage tiering na bazie VP FAST = Fully Automated Storage Tiering Stworzony z myślą o optymalizacji storage Najwyższa wydajność Największa pojemność Najniższy koszt Dynamicznie rozlokowuje informacje Dane Hot na ultra-szybkim tierze Flash Dane Cold na tanim, pojemnym tierze SATA Optymalizuje utylizację zasobów dyskowych, adekwatnie do zdefiniowanych polityk Zapewnia gwarantowane poziomy SLA Dane zawsze znajdą się w odpowiednim tierze, o oczekiwanych parametrach Jest adaptacyjny obserwuje zachowanie systemu i żyje wraz z nim Flash Fibre Channel SATA 20
FAST VP: koncepcja funkcjonowania FAST V2 (FAST VP) operuje z dokładnością do pojedynczych extentów danych FAST V2 Sub-LUN Tiering automatycznie rozlokuje dane aktywne na dyskach Flash, a nieaktywne na taniej przestrzeni dyskowej SATA 21
Gdzie warto zastosować TP/VP? Wszędzie! Aplikacje z umiarkowanymi wymaganiami wydajnościowymi Pazerne aplikacje, alokujące przestrzeń na zapas Jako narzędzie do automatyzacji provisioningu zasobów Spora ilość niewielkich aplikacji, czerpiących korzyści z wide-striping u zbalansowane obciążenie I/O Gdy przewaga operacji sekwencyjnych porównywalna wydajność Repozytoria wszelkiego rodzaju dokumentów Najbardziej efektywne wykorzystanie przestrzeni Flash Ale również na najniższym tierze storage dla przestrzeni SATA: duża powierzchnia + wide-striping A może tak: 2 pule R1 i R6, z których wystawiamy zasoby stosownie do potrzeb (wydajność vs. dostępność) Uwaga zawsze na czasie monitoring zajętości zasobów VP jest absolutnie krytyczny dla dostępności środowiska! 22
Większość systemów plików jest thinfriendly 23
Rekomendacje w środowiskach VMware Dostęp do zasobów VP VMFS, RDM RDM VM kernel nie odgrywa bezpośredniej roli przy operacjach I/O generowanych przez Guest OS Thick: eager-zeroed, zeroedthick (lazy-zeroed); Thin Not thin friendly eagerzeroedthick przestrzeń wymagana przez wirtualny dysk jest w pełni alokowana podczas inicializacji, FT, best performance Thin friendly zeroedthick (lazy-zeroed) domyślna opcja przy tworzeniu, klonowaniu czy konwertowaniu wirtualnych dysków (VMFS full allocation, thin device when data is written to it, shorter creation time, zeroed on first write, the same performance on subsequent writes) Thin (VMFS space is not reserved, thin device when data is written to it, higher I/O penalty during the first write) 24
Best practises dla baz danych ORACLE: Sizing dla DB: pula raczej na near-term, thin LUN-y long-term, z over-subskrypcją (łatwe rozszerzanie zasobów) Pliki danych, TEMP, logi, rollbacki mogą koegzystować w jednej puli, na różnych thin LUN-ach. Nie jest konieczne tworzenie osobnych pul Najlepsze efekty VP (over-subskrypcja) + Auto-Extend Krytyczne monitorowanie zajętości zasobów rozszerzajmy pulę przy max 80%, unikniemy zatrzymania aplikacji oraz lepszy balancing obciążenia ASM i OCFS2 są bardzo thin-friendly Efektywne odzyskiwanie przestrzeni po usuniętych obiektach ASM/ASRU + Symmetrix ZSR MSSQL: Rekomendowane jest tworzenie bazy z opcją Instant File Initialization thin friendly (nie inicjalizuje/alokuje wszystkich bloków danych) NTFS w wersji z Win2003 Server i późniejszych są thin friendly (w Win2008 Server zalecany quick format) Lepsze efekty z manualnego rozszerzania plików danych w połączeniu z VP niż wykorzystanie opcji Auto-Grow (lepszy rozkład obciążenia) Over-subskrypcja jak najbardziej, ale z rozwagą. WAL (Write Ahead Logging) chroni spójność danych w razie wystąpienia braku przestrzeni w puli ZSR: Pliki danych SQL Servera, tworzone bez opcji Instant File Initialization (np. wszystkie wersje przed SQL Server 2005) 25
Virtual Provisioning - Korzyści Zmniejszenie kosztów administracyjnych uproszczone procesu przydzielania zasobów dyskowych redukcja czasu przydzielania zasobów dyskowych over-provisioning eliminacja wyzwań związanych z rozszerzaniem udostępnianych zasobów dyskowych Redukcja kosztów związanych z pamięcią masową efektywne wykorzystywanie przestrzeni dyskowej (primary storage, replicas) Storage on demand (eksploatacja zasobów w miarę potrzeb) redukcja poziomu niewykorzystanej przestrzeni dyskowej unikanie prealokacji fizycznych zasobów do aplikacji Redukcja kosztów operacyjnych SLA mniejsza ilość dysków to mniejsze zużycie energii, mniejsze wymagania na chłodzenie, mniejsze powierzchnie w centrach danych redukcja przestojów aplikacji 26
Dodatkowe materiały White papers, najlepsze praktyki, opisy testów EMC Symmetrix Virtual Provisioning Applied Technology EMC Clariion Virtual Provisioning Applied Technology EMC Best Practises for Fast, Simple Capacity Allocation with Virtual Provisioning Virtual Provisioning: Space Reclamation and Application Considerations Implementing Virtual Provisioning with VMware vsphere Implementing Virtual Provisioning with Oracle 10g and 11g Implementing Virtual Provisioning with Microsoft SQL Server Dodatkowe materiały dostępne dla VMware Infrastructure 3.x, MS Exchange, Sybase ASE, IBM DB2 Referencyjne architektury wraz z opisami przeprowadzonych testów Źródła: http://www.emc.com, http://powerlink.emc.com 27
DZIĘKUJEMY 28