Tomasz Sucharzewski EMC forum 2011

Transkrypt

1 Optymalizacja aplikacji na platformie midrange. Przykład zastosowania technologii FAST, FAST Cache, Virtual Provisioning w macierzach EMC VNX. Tomasz Sucharzewski EMC forum 2011

2 O czym będzie prezentacja Opis środowiska klienta Virtual Provisioning w praktyce ile rzeczywiście aplikacje zapisują danych Pule hybrydowe i FAST VP prezentacja rozkładu potrzeb aplikacji Wykorzystanie FAST cache do przyśpieszenia pracy aplikacji 2

3 Opis środowiska storage klienta PTK Centertel (operator mobilny Orange) wchodzi w raz z innymi spółkami np.: Wirtualna Polska w skład grupy TP. W TP&PTK aktualnie przetwarzamy około 4 PB danych, ponad 90% to macierze EMC portów w sieci SAN. Kilka lokalizacji, FC routing, FCIP, replikacja do ośrodka DR. 3

4 Kolejny temat Virtual Provisioning 4

5 Virtual (Thin) Provisioning w praktyce Jak zacząć przygodę? Funkcjonalność dostępna już na macierzach serii Clariion CX4 wymagany Flare rodziny 30.x Uruchomienie VP przez wgranie enablera. Virtual Provisioning wymaga dysków zorganizowanych w pule brak wsparcia dla Raid Group. Dla pracujących konfiguracji skutkuje reorganizacją macierzy. Minimalna (realna) jednostka alokacji 1GB, mapa bitowa zmian zajmuje co najmniej 2GB unikać małych lunów. 5

6 Virtual Provisioning w praktyce Virtual Provisioning w Orange: pierwsza macierz Clariion CX4 uruchomiona z VP w 2010 roku. zasilenie danymi przez migracje z innych macierzy Clariion zyski z technologii space reclaimation (!!!) Dedykowane pule stworzono ze względu: chęć dopasowania konfiguracji do potrzeb aplikacji (pule hybrydowe) cykl życia sprzętu i rozbudowy fizyczne łatwość (?) rekonfiguracji 6

7 Virtual Provisioning w praktyce Wykorzystanie przestrzeni (suma dla wszystkich puli dyskowych ) [GB] [GB] CX4 (euklides) - virtual provisioned pools CONFIGURED PROVISIONED CONSUMED CX4 - test env. Względnie stała różnica Względnie stała różnica CONFIGURED stworzone pule dyskowe PROVISIONED przestrzeń wystawiona do serwerów CONSUMED rzeczywiste zużycie przez aplikacje Ilość zaoszczędzonej przestrzeni względnie stała ~20 TB, ale podzielona na kilka pul. W ujęciu globalnym trend alokacji przestrzeni jest trwały i przewidywalny (ważne jeśli chcemy udostępniać > 100% przestrzeni), ale nie ma pewności, że każda aplikacja zachowuje się tak samo Od początku października udostępniamy więcej niż posiadamy (oversubscribing) CONFIGURED PROVISIONED CONSUMED 7

8 Virtual Provisioning w praktyce Przykłady wpływu wykorzystania technologii VP dla wybranych aplikacjach w środowisku Orange. SUBSCRIBED [GB] USED [GB] % SAVED [GB] NAKWIN (AIX) ,4% -6 VENUS (AIX) ,0% 0 SAS HSM (AIX) ,4% 56 Vmware DMZ ,1% 2378 Vmware PROD ,0% 4135 Cloud - MGMT ,5% 1252 Cloud - Farm ,9%

9 Virtual Provisioning w praktyce Wnioski po roku eksploatacji macierzy EMC Clariion z uruchomionym VP: Możemy udostępniać aplikacjom ponad 100% posiadanej przestrzeni. O ile więcej? Bezpieczna granica inna dla każdej konfiguracji, wyznaczana na podstawie trendów. Dodatkowe zwiększenie zysków z VP w przypadku użycia klona lub replikacji (kopie thin aware ). Podobne oszczędności obserwujemy na każdej macierz, choć nie na każdej aplikacji. VP dostarcza informacji o rzeczywistych potrzebach aplikacji na przestrzeń. Duża pula zwiększa oszczędności (agregacja wolnej przestrzeni), ale zmniejsza elastyczność. Oversubscribing utrudnia rozliczenia za zużycie i komplikuje budżetowanie jak zagospodarować oszczędności? Dla niektórych aplikacji np.: przestrzeń na backup rekomendacja dla thick provisioning. Rozbudowa puli w dużym uproszczeniu skutkuje zwiększeniem pojemności, a nie wydajności (nie dotyczy niezaalokowanych przestrzeni w urządzeniach typu thin, oraz pul hybrydowych). Złośliwa aplikacja może wygenerować niewielką stratę przestrzeni, konieczność przechowywania mapy bloków na dyskach. Istnieje narzut wydajnościowy dla zapisów nowych bloków, pomijalny w większości przypadków 9

10 Kolejny temat Pule hybrydowe i FAST VP 10

11 Pule hybrydowe, FAST VP w praktyce Pule hybrydowe to możliwości mieszania dysków różnych typów w ramach tej samej puli. FAST VP to technologia umożliwiająca zmianę położenia danych tak, aby dopasować potrzeby aplikacji na wydajność. Tylko jak dobrze dobrać te ilości dysków? EMC Engineering suggests a 5/20/75 split 5% FLASH, 20% FC, 75% SATA (by usable capacity) W Orange proponujemy inny model, ułatwiający definiowanie potrzeb i wycen dla projektów. Wprowadzamy współczynnik gęstości IO (IO density) definiowany jako: gęstość IO / TB czyli iloraz (GB)/IOPS IO density to model kosztowo wydajnościowy: pozwala na czytelne zobrazowanie projektom, jakiej wydajności (statystycznie) mogą się spodziewać z zakupionej przestrzeni. Domyślną wartością proponowaną projektom jest IO density = 400, co oznacza, że na każdy zakupiony 1 TB aplikacja może skorzystać z potencjału 400 IO/s. 11

12 Pule hybrydowe, FAST VP Orange setup Przykład konfiguracji macierzy CX4 euklides nazwa puli SSD [200 GB] FC [300 GB] SATA [2 TB] IO density [IOPS/TB] farmafraud VMWare midtier hightier Nie ma jedynie słusznej konfiguracji! znajomość aplikacji pomaga w dobraniu konfiguracji np.: farma fraud (profil IO znany, bo aplikacja napisana wewnętrznie). Virtual provisioning uzupełnia korzyści płynące z korzystania z pul hybrydowych oszczędność w rzeczywistej zajętości miejsca poprawia efektywność wykorzystania drogich dysków. 12

13 Pule hybrydowe, FAST VP Orange setup Dane aplikacji są automatycznie rozkładane na odpowiednie dyski w puli zgodnie z politykami, które ustawiamy dla każdego luna: Highest Available Tier nowe dane alokowane w możliwie najwyższej warstwie Lowest Available Tier nowe dane alokowane w możliwie najniższej warstwie Auto tier rozkłada według Algorytmu. Pytanie czy to najlepsze rozwiązanie? Za cenę idealnego dopasowania nie wykorzystuje potencjału konfiguracji. W Orange zdecydowaliśmy się na politykę HighestAvailableTier. Wykorzystuje ona maksymalnie potencjał konfiguracji, ale przyrost danych wpływa na wydajność aplikacji coraz więcej danych rywalizuje o najwyższą warstwę. Przy tej polityce wolne miejsce pozostaje przede wszystkich na dyskach SATA. 13

14 Pule hybrydowe - przykład implementacji 14

15 Pule hybrydowe, FAST VP - wnioski Wnioski z wykorzystania puli hybrydowych: Macierz automatycznie dopasowuje rozkład danych zgodnie z polityką high/low/auto. Wykorzystując lun migration można relokować dane między pulami dopasować profil IO. Rozbudowa puli hybrydowej o wyższą warstwę zwiększa wydajność puli dane zostaną rozłożone na nowe dyski. Pule hybrydowe dostarczają informacji o rzeczywistych potrzebach aplikacji na wydajność przy ustawionej polityce na Auto tier teoretycznie (!!!). EMC dysponuje narzędziami umożliwiającymi analizę aktualnego środowiska pod kątem doboru dysków dla pul hybrydowych TierAdvisor. SSD + SATA potencjalnie doskonała konfiguracja dla VMware oszczędność prądu i miejsca. Podobnie jak dla Virtual Provisioningu pule hybrydowe utrudniają rozliczanie aplikacji w Orange wprowadzono model IO density. Mechanizm przenoszenia danych może nie nadążać za złośliwą aplikacją. W ramach puli wszystkie warstwy muszą mieć ten sam poziom RAID (rekomendowany RAID6 dla dysków SATA). Podobno ma się to zmienić ; ) 15

16 Kolejny temat FAST cache 16

17 FAST cache FAST cache to możliwość rozciągnięcia pamięci DRAM na dyski SSD skonfigurowane w RAID1. Macierz klasy middrange może posiadać nawet 2TB pamięci cache na dane. Służy wyłącznie poprawie czasów odpowiedzi do aplikacji dla operacji odczyt/zapis Jak każdy cache wymaga rozgrzania. Jednostka alokacji 64 KB (pule hybrydowe 1 GB, DRAM typowo 8KB) Statystyki wykorzystania dostępne w Navisphere Analyzer, dostępne na poziomie puli zasobów, a nie pojedynczego lunu. Uruchomienie FAST może dać doskonałe rezultaty, albo żadne. Silnie zależny od korzystnego profilu IOPS. Trudny w modelowaniu, ale EMC dostarcza narzędzia (Unified Block Locality Analyze) dla analizy środowiska klienta. 17

18 FAST cache - przykład Fast cache w Orange wdrożony razem z VP i pulami hybrydowymi i traktowany jako uzupełnienie tych technologii. Uruchamiany przez skonfigurowanie dysków SSD i włączenie per każda pula. Wpływ Fast cache najlepiej badać wyłączając jego działanie na wybranej puli trudne do realizacji dla produkcyjnych aplikacji. Przykład aplikacji, która efektywnie korzysta z tego mechanizmu cały odczyt ponad 3500 IO z cache. 18

19 Podsumowanie Tak naprawdę wszystkie omawiane techniki się uzupełniają i ich komplet najlepszy efekt: W przypadku Orange oszczędności w $$ Poprawa wydajności aplikacji Możliwość reagowania na zwiększone/zmniejszone potrzeby Informacji o profilu IO aplikacji (często tak samo cenne jak $$) Zmniejszenie poboru mocy (efektywne korzystanie z dysków SATA) Samostrojenie się macierzy zmniejszenie obciążenia administratorów Dziękuję za uwagę: tomasz.sucharzewski@centertel.pl 19