Optymalizacja aplikacji na platformie midrange. Przykład zastosowania technologii FAST, FAST Cache, Virtual Provisioning w macierzach EMC VNX. Tomasz Sucharzewski EMC forum 2011
O czym będzie prezentacja Opis środowiska klienta Virtual Provisioning w praktyce ile rzeczywiście aplikacje zapisują danych Pule hybrydowe i FAST VP prezentacja rozkładu potrzeb aplikacji Wykorzystanie FAST cache do przyśpieszenia pracy aplikacji 2
Opis środowiska storage klienta PTK Centertel (operator mobilny Orange) wchodzi w raz z innymi spółkami np.: Wirtualna Polska w skład grupy TP. W TP&PTK aktualnie przetwarzamy około 4 PB danych, ponad 90% to macierze EMC. 5000 portów w sieci SAN. Kilka lokalizacji, FC routing, FCIP, replikacja do ośrodka DR. 3
Kolejny temat Virtual Provisioning 4
Virtual (Thin) Provisioning w praktyce Jak zacząć przygodę? Funkcjonalność dostępna już na macierzach serii Clariion CX4 wymagany Flare rodziny 30.x Uruchomienie VP przez wgranie enablera. Virtual Provisioning wymaga dysków zorganizowanych w pule brak wsparcia dla Raid Group. Dla pracujących konfiguracji skutkuje reorganizacją macierzy. Minimalna (realna) jednostka alokacji 1GB, mapa bitowa zmian zajmuje co najmniej 2GB unikać małych lunów. 5
Virtual Provisioning w praktyce Virtual Provisioning w Orange: pierwsza macierz Clariion CX4 uruchomiona z VP w 2010 roku. zasilenie danymi przez migracje z innych macierzy Clariion zyski z technologii space reclaimation (!!!) Dedykowane pule stworzono ze względu: chęć dopasowania konfiguracji do potrzeb aplikacji (pule hybrydowe) cykl życia sprzętu i rozbudowy fizyczne łatwość (?) rekonfiguracji 6
Virtual Provisioning w praktyce Wykorzystanie przestrzeni (suma dla wszystkich puli dyskowych ) [GB] [GB] 80000 70000 60000 50000 40000 30000 20000 10000 CX4 (euklides) - virtual provisioned pools 0 2010-11-17 2011-01-17 2011-03-17 2011-05-17 2011-07-17 2011-09-17 120000 100000 80000 60000 40000 CONFIGURED PROVISIONED CONSUMED CX4 - test env. Względnie stała różnica Względnie stała różnica CONFIGURED stworzone pule dyskowe PROVISIONED przestrzeń wystawiona do serwerów CONSUMED rzeczywiste zużycie przez aplikacje Ilość zaoszczędzonej przestrzeni względnie stała ~20 TB, ale podzielona na kilka pul. W ujęciu globalnym trend alokacji przestrzeni jest trwały i przewidywalny (ważne jeśli chcemy udostępniać > 100% przestrzeni), ale nie ma pewności, że każda aplikacja zachowuje się tak samo Od początku października udostępniamy więcej niż posiadamy (oversubscribing) 20000 0 2011-04-28 2011-05-28 2011-06-28 2011-07-28 2011-08-28 2011-09-28 2011-10-28 CONFIGURED PROVISIONED CONSUMED 7
Virtual Provisioning w praktyce Przykłady wpływu wykorzystania technologii VP dla wybranych aplikacjach w środowisku Orange. SUBSCRIBED [GB] USED [GB] % SAVED [GB] NAKWIN (AIX) 1413 1419 100,4% -6 VENUS (AIX) 609 609 100,0% 0 SAS HSM (AIX) 3538 3482 98,4% 56 Vmware DMZ 5073 2695 53,1% 2378 Vmware PROD 8277 4142 50,0% 4135 Cloud - MGMT 1500 248 16,5% 1252 Cloud - Farm 8500 74 0,9% 8426 8
Virtual Provisioning w praktyce Wnioski po roku eksploatacji macierzy EMC Clariion z uruchomionym VP: Możemy udostępniać aplikacjom ponad 100% posiadanej przestrzeni. O ile więcej? Bezpieczna granica inna dla każdej konfiguracji, wyznaczana na podstawie trendów. Dodatkowe zwiększenie zysków z VP w przypadku użycia klona lub replikacji (kopie thin aware ). Podobne oszczędności obserwujemy na każdej macierz, choć nie na każdej aplikacji. VP dostarcza informacji o rzeczywistych potrzebach aplikacji na przestrzeń. Duża pula zwiększa oszczędności (agregacja wolnej przestrzeni), ale zmniejsza elastyczność. Oversubscribing utrudnia rozliczenia za zużycie i komplikuje budżetowanie jak zagospodarować oszczędności? Dla niektórych aplikacji np.: przestrzeń na backup rekomendacja dla thick provisioning. Rozbudowa puli w dużym uproszczeniu skutkuje zwiększeniem pojemności, a nie wydajności (nie dotyczy niezaalokowanych przestrzeni w urządzeniach typu thin, oraz pul hybrydowych). Złośliwa aplikacja może wygenerować niewielką stratę przestrzeni, konieczność przechowywania mapy bloków na dyskach. Istnieje narzut wydajnościowy dla zapisów nowych bloków, pomijalny w większości przypadków 9
Kolejny temat Pule hybrydowe i FAST VP 10
Pule hybrydowe, FAST VP w praktyce Pule hybrydowe to możliwości mieszania dysków różnych typów w ramach tej samej puli. FAST VP to technologia umożliwiająca zmianę położenia danych tak, aby dopasować potrzeby aplikacji na wydajność. Tylko jak dobrze dobrać te ilości dysków? EMC Engineering suggests a 5/20/75 split 5% FLASH, 20% FC, 75% SATA (by usable capacity) W Orange proponujemy inny model, ułatwiający definiowanie potrzeb i wycen dla projektów. Wprowadzamy współczynnik gęstości IO (IO density) definiowany jako: gęstość IO / TB czyli iloraz (GB)/IOPS IO density to model kosztowo wydajnościowy: pozwala na czytelne zobrazowanie projektom, jakiej wydajności (statystycznie) mogą się spodziewać z zakupionej przestrzeni. Domyślną wartością proponowaną projektom jest IO density = 400, co oznacza, że na każdy zakupiony 1 TB aplikacja może skorzystać z potencjału 400 IO/s. 11
Pule hybrydowe, FAST VP Orange setup Przykład konfiguracji macierzy CX4 euklides nazwa puli SSD [200 GB] FC [300 GB] SATA [2 TB] IO density [IOPS/TB] farmafraud 0 25 10 214 VMWare 0 16 8 188 midtier 0 35 5 363 hightier 5 40 5 971 Nie ma jedynie słusznej konfiguracji! znajomość aplikacji pomaga w dobraniu konfiguracji np.: farma fraud (profil IO znany, bo aplikacja napisana wewnętrznie). Virtual provisioning uzupełnia korzyści płynące z korzystania z pul hybrydowych oszczędność w rzeczywistej zajętości miejsca poprawia efektywność wykorzystania drogich dysków. 12
Pule hybrydowe, FAST VP Orange setup Dane aplikacji są automatycznie rozkładane na odpowiednie dyski w puli zgodnie z politykami, które ustawiamy dla każdego luna: Highest Available Tier nowe dane alokowane w możliwie najwyższej warstwie Lowest Available Tier nowe dane alokowane w możliwie najniższej warstwie Auto tier rozkłada według Algorytmu. Pytanie czy to najlepsze rozwiązanie? Za cenę idealnego dopasowania nie wykorzystuje potencjału konfiguracji. W Orange zdecydowaliśmy się na politykę HighestAvailableTier. Wykorzystuje ona maksymalnie potencjał konfiguracji, ale przyrost danych wpływa na wydajność aplikacji coraz więcej danych rywalizuje o najwyższą warstwę. Przy tej polityce wolne miejsce pozostaje przede wszystkich na dyskach SATA. 13
Pule hybrydowe - przykład implementacji 14
Pule hybrydowe, FAST VP - wnioski Wnioski z wykorzystania puli hybrydowych: Macierz automatycznie dopasowuje rozkład danych zgodnie z polityką high/low/auto. Wykorzystując lun migration można relokować dane między pulami dopasować profil IO. Rozbudowa puli hybrydowej o wyższą warstwę zwiększa wydajność puli dane zostaną rozłożone na nowe dyski. Pule hybrydowe dostarczają informacji o rzeczywistych potrzebach aplikacji na wydajność przy ustawionej polityce na Auto tier teoretycznie (!!!). EMC dysponuje narzędziami umożliwiającymi analizę aktualnego środowiska pod kątem doboru dysków dla pul hybrydowych TierAdvisor. SSD + SATA potencjalnie doskonała konfiguracja dla VMware oszczędność prądu i miejsca. Podobnie jak dla Virtual Provisioningu pule hybrydowe utrudniają rozliczanie aplikacji w Orange wprowadzono model IO density. Mechanizm przenoszenia danych może nie nadążać za złośliwą aplikacją. W ramach puli wszystkie warstwy muszą mieć ten sam poziom RAID (rekomendowany RAID6 dla dysków SATA). Podobno ma się to zmienić ; ) 15
Kolejny temat FAST cache 16
FAST cache FAST cache to możliwość rozciągnięcia pamięci DRAM na dyski SSD skonfigurowane w RAID1. Macierz klasy middrange może posiadać nawet 2TB pamięci cache na dane. Służy wyłącznie poprawie czasów odpowiedzi do aplikacji dla operacji odczyt/zapis Jak każdy cache wymaga rozgrzania. Jednostka alokacji 64 KB (pule hybrydowe 1 GB, DRAM typowo 8KB) Statystyki wykorzystania dostępne w Navisphere Analyzer, dostępne na poziomie puli zasobów, a nie pojedynczego lunu. Uruchomienie FAST może dać doskonałe rezultaty, albo żadne. Silnie zależny od korzystnego profilu IOPS. Trudny w modelowaniu, ale EMC dostarcza narzędzia (Unified Block Locality Analyze) dla analizy środowiska klienta. 17
FAST cache - przykład Fast cache w Orange wdrożony razem z VP i pulami hybrydowymi i traktowany jako uzupełnienie tych technologii. Uruchamiany przez skonfigurowanie dysków SSD i włączenie per każda pula. Wpływ Fast cache najlepiej badać wyłączając jego działanie na wybranej puli trudne do realizacji dla produkcyjnych aplikacji. Przykład aplikacji, która efektywnie korzysta z tego mechanizmu cały odczyt ponad 3500 IO z cache. 18
Podsumowanie Tak naprawdę wszystkie omawiane techniki się uzupełniają i ich komplet najlepszy efekt: W przypadku Orange oszczędności w $$ Poprawa wydajności aplikacji Możliwość reagowania na zwiększone/zmniejszone potrzeby Informacji o profilu IO aplikacji (często tak samo cenne jak $$) Zmniejszenie poboru mocy (efektywne korzystanie z dysków SATA) Samostrojenie się macierzy zmniejszenie obciążenia administratorów Dziękuję za uwagę: Email: tomasz.sucharzewski@centertel.pl 19