Strategie wdrażania serwerów typu blade w istniejących centrach danych Neil Rasmussen White Paper 125
Streszczenie Serwery typu blade pracują przy gęstościach mocy, które przekraczają wydajność zasilania i chłodzenia praktycznie wszystkich centrów danych. Instalacja serwerów typu blade w istniejącym centrum danych stawia zaskakująco liczne wyzwania i generuje wiele opcji. W tym artykule wyjaśniono, w jaki sposób ocenić te opcje i dokonać wyboru najlepszego rozwiązania w zakresie zasilania i chłodzenia zapewniającego udane i przewidywalne wdrożenie serwerów typu blade. 2
Wstęp Instalacja serwerów typu blade w istniejącym centrum danych z pewnością zwiększy obciążenie aktualnych systemów zasilania i chłodzenia. Serwery typu blade zużywają nawet dwudziestokrotnie więcej energii elektrycznej na szafę i wytwarzają dwudziestokrotnie więcej ciepła na szafę w porównaniu z założeniami konstrukcyjnymi przeciętnego centrum danych. Aby móc korzystać z serwerów typu blade infrastruktura zasilania i chłodzenia w centrum danych musi zostać zmodernizowana lub obciążenia związane z serwerami typu blade muszą zostać rozmieszczone między wieloma szafami. Problem pogłębia fakt, że działającego centrum danych zazwyczaj nie można wyłączyć w celu przeprowadzenia instalacji i modernizacji. Istnieje wiele strategii, które można zastosować przy wdrażaniu serwerów typu blade. W tym dokumencie przedstawiono wskazówki dotyczące ustalania właściwej strategii zasilania i chłodzenia w oparciu o wymagania i ograniczenia konkretnej instalacji. Zasadniczy problem W przypadku większości istniejących centrów danych zasadniczy problem związany z instalacją serwerów typu blade dotyczy dystrybucji zasilania i chłodzenia. Większość centrów danych dysponuje odpowiednią pierwotną mocą chłodzenia i zasilania, lecz nie jest wyposażona w infrastrukturę umożliwiającą dostarczanie tej mocy do obszaru o wysokiej gęstości. Niestety wielu użytkowników nie zdaje sobie nawet sprawy z tego problemu, aż do chwili podjęcia próby wdrożenia. Dzieje się tak, ponieważ niewiele centrów danych zawiera dokumentację lub wyposażenie udostępniające operatorom informacje dotyczące dopuszczalnej gęstości mocy centrum danych w określonym obszarze obiektu. Techniczne przyczyny tych problemów opisano szczegółowo w wyszczególnionych na końcu tego artykułu dokumentach White Paper i Application Note, a tutaj zostaną tylko podsumowane: Niewystarczający przepływ powietrza: Serwery typu blade wymagają przepływu chłodnego powietrza rzędu 56,6 l/s na kw mocy znamionowej. Większość centrów danych zapewnia jedynie przepływ powietrza rzędu 100 150 l/s na szafę, co stanowi dziesięciokrotnie mniejszą ilość powietrza niż wymagana przez w pełni skonfigurowane serwery typu blade i ogranicza średnią moc szafy do zakresu poniżej 2 kw. Serwer typu blade, który nie otrzyma odpowiedniej ilości chłodnego powietrza będzie w końcu zmuszony zasysać własne gorące powietrze wylotowe, co doprowadzi do jego przegrzania. To jest zdecydowanie największy problem przy wdrażaniu serwerów typu blade, który występuje niemal w każdym przypadku. 3
Niewystarczająca dystrybucja zasilania: Serwery typu blade pobierają moc znacznie przekraczającą założenia konstrukcyjne typowych systemów dystrybucji zasilania w centrum danych. Ten problem uwidacznia się w trzech aspektach: 1) w niedostatecznej liczbie i/lub niewłaściwym typie przewodów zasilających zainstalowanych pod podłogą lub w górze, 2) w niedostatecznej obciążalności pobliskiej listwy zasilającej (PDU) oraz 3) w niedostatecznej liczbie pozycji wyłączników. Każdy z tych problemów może uniemożliwić dostarczanie energii elektrycznej o wysokiej gęstości. Należy zauważyć, że z opisanych dwóch zasadniczych problemów kwestia dystrybucji chłodzenia stanowi główne ograniczenie. Z tego powodu główny nacisk w tym dokumencie jest położony na wybór architektury chłodzenia. Architektura zasilania będzie wynikać z wybranej architektury chłodzenia i zależy od konkretnej marki serwera typu blade. Szczegółowe informacje można znaleźć w dokumentach 2, 5, 6 i 7 wymienionych na końcu tego artykułu. 5 różnych metod wdrażania serwerów typu blade Istnieje 5 podstawowych podejść do chłodzenia serwerów typu blade. W przypadku każdego wybranego podejścia dostępnych jest wiele różnych produktów i technik, za pomocą których można zrealizować dane rozwiązanie. Te podejścia opisano bardziej szczegółowo w dokumencie White Paper 46 firmy APC, Cooling Strategies for Ultra-High Density Racks and Blade Servers i zebrano w tabeli 1. Tabela 1 Zastosowanie pięciu podejść do chłodzenia szaf o wysokiej gęstości Podejście Zalety Wady Zastosowanie 1 Rozkładanie obciążenia Rozmieszczenie urządzeń pomiędzy szafami tak, aby utrzymać niskie obciążenie szczytowe Można zastosować wszędzie, brak konieczności planowania Zasadniczo za darmo w wielu przypadkach Urządzenia o wysokiej gęstości należy oddalić od siebie jeszcze bardziej niż w podejściu 2 Zajmuje większą powierzchnię Może powodować problemy z kablami do transmisji danych Istniejące centra danych w przypadku, gdy urządzenia o wysokiej gęstości stanowią niewielki ułamek całkowitego obciążenia 2 Chłodzenie pożyczane" Zapewnienie przeciętnej wydajności chłodzenia z regułami umożliwiającymi pożyczanie niewykorzystanej mocy Nie są wymagane nowe urządzenia Zasadniczo za darmo w wielu przypadkach Ograniczenie do około dwukrotnej projektowanej gęstości mocy Zajmuje większą powierzchnię Wymaga wprowadzenia w życie skomplikowanych reguł Istniejące centra danych w przypadku, gdy urządzenia o wysokiej gęstości stanowią niewielki ułamek całkowitego obciążenia 4
Podejście Zalety Wady Zastosowanie 3 Dodatkowe chłodzenie Zapewnienie przeciętnej wydajności chłodzenia z możliwością zastosowania dodatkowych urządzeń chłodzących Wysoka gęstość tam, gdzie jest potrzeba i kiedy jest potrzeba Odłożone koszty inwestycyjne Wysoka wydajność Dobre wykorzystanie powierzchni Ograniczenie do około 10 kw na szafę Szafy i pomieszczenie muszą być zaprojektowane z wyprzedzeniem, aby umożliwiać zastosowanie tego podejścia Nowe konstrukcje lub modernizacje Środowisko mieszane Nieznana lokalizacja urządzeń o wysokiej gęstości 4 Obszar o wysokiej gęstości Utworzenie wewnątrz centrum danych specjalnego rzędu lub strefy o dużej gęstości Maksymalna gęstość Optymalne wykorzystanie powierzchni Urządzenia o wysokiej gęstości nie muszą być oddalone od siebie Wysoka wydajność Konieczność zaplanowania z wyprzedzeniem obszaru o wysokiej gęstości lub zarezerwowania dla niego miejsca Konieczność oddzielenia urządzeń o wysokiej gęstości od pozostałych Gęstość 10 25 kw na szafę Jeśli urządzenia o wysokiej gęstości mają być umieszczane razem Nowe konstrukcje lub modernizacje 5 Całe pomieszczenie Zapewnienie zdolności chłodzenia urządzeń o wysokiej gęstości dla każdej szafy Przygotowanie na wszystkie przyszłe scenariusze Najwyższe koszty inwestycyjne i operacyjne nawet 4 razy wyższe niż przy metodach alternatywnych Może prowadzić do skrajnego niewykorzystania kosztownej infrastruktury Rzadkie i wyjątkowe przypadki dużych farm urządzeń o wysokiej gęstości z bardzo ograniczoną przestrzenią fizyczną W celu wdrożenia serwerów typu blade należy wybrać jedną z tych metod. Wybór jest dokonywany w oparciu o ograniczenia bieżącej instalacji, a także potrzeby i preferencje użytkownika. 5
Proces wdrażania serwerów typu blade Procedura przygotowania środowiska fizycznego na potrzeby wdrożenia serwerów typu blade obejmuje następujące kluczowe elementy: Rozpoznanie ograniczeń istniejącego obiektu Ustalenie potrzeb i preferencji użytkowników Ustalenie właściwego podejścia do projektowania systemów zasilania i chłodzenia Projektowanie, a następnie realizacja projektu Schemat tego procesu pokazano na rysunku 1. Rysunek przedstawia schemat blokowy procesu ilustrujący różne etapy procesu i otrzymywane na każdym z nich dane. Proces ten składa z dwóch głównych pętli występujących na początku, w których w iteracyjny sposób ustalane są ograniczenia oraz potrzeby i preferencje użytkowników. Jest to konieczne, aby umożliwić dokonanie właściwych ustawień i osiągnięcie odpowiednich kompromisów. Zazwyczaj początkowe ograniczenia i preferencje ulegają zmianie po analizie sytuacji i związanych z nią koniecznych kompromisów. W najbardziej typowym przykładzie preferencja lub wymaganie gęstego zamontowania serwerów typu blade są często łagodzone po pełnym zrozumieniu konsekwencji tego podejścia. Ta analiza następuje w pętli 2 na schemacie procesu. Inną częstą sytuacją jest przypadek, gdy w wyniku oceny bieżącej instalacji rozpoznawane są problemy, które można łatwo rozwiązać, a tym samym zwiększyć zdolność centrum danych do spełnienia wymagań w zakresie zasilania i chłodzenia serwerów typu blade. Takie modyfikacje odbywają się w pętli 1 na schemacie procesu. W kolejnych punktach zostaną bardziej szczegółowo omówione różne procesy, które składają się na wybór rozwiązania konstrukcyjnego. 6
Rysunek 1 Schemat procesu ustalania właściwej metody wdrażania serwerów typu blade w istniejącym centrum danych Warunki centrum danych Zmiany Pętla 1 Wdrożenie Udoskonalenia Rozpoznanie możliwości ulepszeń Dane dotyczące oceny Ocena warunków Wady Ograniczenia po wprowadzeniu ulepszeń Określanie najlepszego rozwiązania Potrzeby po określeniu wad i zalet Wybrane podejście Planowanie i wdrażanie Wymagania biznesowe Określanie potrzeb i preferencji Pętla Pętla 2 Rozwiązania alternatywne Określenie rozwiązań alternatywnych Wstępne potrzeby i preferencje Ocena wad i zalet Wymagania przeciwstawne 7
Określanie ograniczeń istniejącego obiektu W istniejących centrach danych występują różne sztywne ograniczenia, których nie można zmienić. Te ograniczenia, które mogą wykluczać niektóre opcje wdrażania serwerów typu blade, są następujące: Dokładna moc znamionowa. Centrum danych może nie dysponować wystarczającym zapasem mocy zasilaczy UPS, aby zapewnić zasilanie proponowanej instalacji serwerów typu blade. Dokładna wydajność chłodzenia. Centrum danych może nie dysponować wystarczającym zapasem mocy chłodzenia precyzyjnego, aby zapewnić chłodzenie proponowanej instalacji serwerów typu blade. To ograniczenie odnosi się do bezpośredniej wydajności klimatyzatorów pomieszczenia komputerowego, a nie do systemu dystrybucji powietrza. Ograniczona powierzchnia. Ograniczona może być całkowita powierzchnia centrum danych lub jedynie powierzchnia dostępna pod wdrożenie serwerów typu blade. Jeśli te ograniczenia są dość poważne, mogą wymusić określone podejścia projektowe. Brak komory sufitowej. W pomieszczeniu może nie być wykorzystywana komora sufitowa powietrza powrotnego lub może ona w ogóle nie występować. Ograniczona może być wysokość pomieszczenia uniemożliwiająca budowę komory sufitowej. To ograniczenie może wyeliminować niektóre rozwiązania konstrukcyjne. Ograniczenia podłogi podniesionej. Istniejąca podłoga podniesiona, jeśli występuje, może mieć wysokość poniżej 60 cm i/lub być częściowo zapełniona przewodami lub instalacją rurową. Może to ograniczać możliwości dystrybucji powietrza pod podłogą podniesioną, a tym samym wykluczać niektóre rozwiązania konstrukcyjne. Ograniczenia ciężaru. Podłoga centrum danych może mieć ograniczone obciążenie maksymalne, szczególnie jeśli występuje podłoga podniesiona. Może to wykluczać niektóre rozwiązania konstrukcyjne. Ograniczenia w istniejącym centrum danych często nie są udokumentowane i nie są oczywiste, a tym samym należy dokonać oceny warunków. Ocena istniejących warunków Ocena istniejących warunków w centrum danych jest niezbędna w przygotowaniach do wdrożenia serwerów typu blade. Ta ocena może być powierzchowna, jeśli liczba serwerów typu blade nie przekracza jednej szafy serwerów. Jednak w przypadku większych instalacji ocena musi być bardziej dokładna i szczegółowa. 8
Podczas oceny gromadzone są różne dane dotyczące mocy systemów zasilania i chłodzenia, w tym moc znamionowa oraz, co ważniejsze, zaimplementowana moc rzeczywista. Ponadto należy ocenić istniejące warunki obciążenia w celu ustalenia wielkości i fizycznego rozkładu obciążeń. Przede wszystkim należy zbadać zdolność systemów dystrybucji zasilania i chłodzenia do dostarczania zasilania i chłodzenia do urządzeń o wysokiej gęstości. W niektórych przypadkach o wysokim stopniu komplikacji procesu wdrożenia konieczne jest przeprowadzenie symulacji centrum danych z wykorzystaniem modeli komputerowych w celu określenia zastanych warunków oraz, co ważniejsze, do weryfikacji proponowanego rozwiązania. Przykładowe dane z takiego modelu przedstawiono na rysunku 2. Rysunek 2 Trójwymiarowy model centrum danych oparty na komputerowej dynamice płynów (CFD) przedstawiający ścieżki przepływu powietrza i temperatury (dostarczony przez dział Usług specjalistycznych firmy APC) Wskazane jest, żeby wszyscy operatorzy centrów danych dysponowali podstawową wiedzą z zakresu dokonywania oceny centrów danych. W przypadku instalacji, które są skomplikowane, bardzo kosztowne lub obarczone wysokim ryzykiem, zaleca się, aby ocen tych dokonywali specjaliści. Firma APC i inni producenci oferują specjalistyczne usługi z zakresu oceny centrum danych. 9
Rozpoznanie możliwości ulepszeń podstawowa higiena" centrum danych W istniejącym środowisku centrum danych występuje często wiele słabych punktów, które należy rozpoznać i skorygować przed podjęciem dalszych kroków, ponieważ mogą one mieć wpływ na dane, które stanowią podstawę dla wdrażania serwerów typu blade. Te problemy mogą być następujące: Brak paneli maskujących Nieszczelności w podłodze podniesionej lub systemie doprowadzania powietrza Nieprawidłowa konfiguracja otworów powrotnych powietrza Nieprawidłowa konfiguracja podłogowych płytek wentylacyjnych Nieużywane przewody pod podłogą, które można usunąć Nieprawidłowe nastawy klimatyzatorów Bardziej szczegółowe wyjaśnienie tych problemów zamieszczono w dokumentach White Paper 42, Ten Steps to Solving Cooling Problems Caused by High Density Server Deployment i 49 firmy APC, Avoidable Mistakes that Compromise Cooling Performance in Data Centers and Network Rooms. Określanie potrzeb i preferencji użytkowników Poza twardymi ograniczeniami fizycznymi obiektu klienci stawiają często ograniczenia miękkie lub mają własne preferencje. Te ograniczenia mogą być bezwzględne lub mogą zostać złagodzone, jeśli koszt ich spełnienia jest za wysoki. Te wymagania lub preferencje mogą wykluczać niektóre opcje wdrażania serwerów typu blade i sugerować inne. Te wymagania są następujące: Nieprzerwana praca. Najważniejszym wymaganiem może być to, aby instalacja była jak najmniej uciążliwa dla pracy istniejącego centrum danych i stwarzała jak najmniejsze ryzyko dla działających urządzeń IT. Na przykład niemożliwe może się okazać zorganizowanie zaplanowanego przestoju. Wysoka dostępność końcowego systemu. Najważniejszym wymaganiem może być to, aby końcowy system charakteryzował się najwyższą możliwą dostępnością. Wymagałoby to nadmiarowości systemów zasilania i chłodzenia oraz przetestowania całego systemu celem zapewnienia nadmiarowości. Kolokacja serwerów (gęsto zamontowanych). Może występować bardzo silna chęć lub konieczność montowania serwerów typu blade z maksymalną możliwą gęstością. Oto niektóre z powodów dążenia do takiego rozwiązania: System jest systemem pokazowym/demonstracyjnym Chęć zaoszczędzenia powierzchni Wymagania prawne nakładające konieczność umieszczenia wszystkim serwerów w jednym niewielkim pomieszczeniu 10
Uproszczenie okablowania do transmisji danych Chęć logicznego zgrupowania urządzeń IT (np. kolokacji wszystkich serwerów internetowych) Różni właściciele różnych obszarów centrum danych Uproszczenie administrowania urządzeniami (np. modernizacje) Wrażenie (zazwyczaj mylne), że w ten sposób zaoszczędzi się pieniądze Należy zaznaczyć, że montowanie z pełną gęstością może być bardzo kosztowne i wymagać niepożądanej przebudowy i modyfikacji istniejącego centrum danych. Przed podjęciem decyzji o gęstym montowaniu serwerów typu blade zdecydowanie zaleca się rozważenie rozwiązań alternatywnych polegających na rozkładaniu obciążenia. Przygotowanie do kolejnych wdrożeń. To może być pierwsze z serii wdrożeń serwerów typu blade, co oznacza, że powinno stanowić bazę dla przyszłych wdrożeń i nie może ich wykluczać ani z nimi kolidować. Czas. Może być wymagane bardzo szybkie wdrożenie serwerów typu blade. W takim przypadku planowanie, zawieranie umów i budowanie mogą być niepożądane. Koszt. Najważniejszym wymogiem może być minimalny koszt wdrożenia serwerów typu blade. To wyznacza jasny kierunek. Wybór metody wdrożenia Po pełnym zrozumieniu ograniczeń istniejącego obiektu i znalezieniu odpowiednich kompromisów związanych z różnymi potrzebami i preferencjami użytkowników można spośród 5 podstawowych metod dokonać wyboru właściwej metody wdrożenia. Metodę wdrożenia wybiera się w oparciu o aspekty związane z chłodzeniem, ponieważ stanowią one podstawowe ograniczenie praktycznych systemów. Po ustaleniu metody wdrożenia rozwiązuje się problemy zasilania. Podstawową zmienną, która wpływa na metodę wdrożenia, jest gęstość wdrożenia. Wielu klientów zakłada lub preferuje wdrażanie serwerów typu blade z maksymalną gęstością. Często takie założenie nie jest odpowiednie w przypadku instalowania serwerów typu blade w istniejącym środowisku. W rzeczywistości większość serwerów typu blade charakteryzuje się budową modułową i może być wdrażana z gęstością niższą niż maksymalna gęstość w szafie. Na przykład system BladeCenter firmy IBM składa się z niezależnej obudowy, którą można wdrażać stopniowo w liczbie od 1 do 6 na szafę. Chociaż może się wydawać, że rozłożenie serwerów typu blade między szafami może zmniejszyć korzyści wynikające z ich wdrożenia, to w rzeczywistości koszt, dostępność systemu i szybkość wdrożenia mogą w ten sposób zyskać, szczególnie w przypadku instalacji serwerów typu blade w istniejącym środowisku. 11
Wiele istniejących środowisk zaprojektowano pod kątem gęstości mocy co najwyżej 2 kw na szafę. Wdrożenie w takim środowisku serwerów typu blade z gęstością 10 30 kw na szafę wiąże się z nieproporcjonalnym korzystaniem z infrastruktury zasilania i chłodzenia przez szafy z serwerami typu blade i ostatecznie prowadzi do powstania w centrum danych dodatkowego miejsca, które nie może zostać zagospodarowane z powodu wykorzystania wszystkich źródeł zasilania i chłodzenia. Z tego powodu w przypadku większości istniejących centrów danych oszczędzanie miejsca przy wdrażaniu serwerów typu blade nie daje żadnych realnych korzyści. To właśnie dlatego rozkładanie serwerów typu blade między szafami w istniejących centrach danych jest praktyczne i ekonomiczne. Wdrażanie serwerów typu blade z pełną gęstością jest zazwyczaj ekonomiczne tylko w nowych obiektach zaprojektowanych specjalnie pod kątem wysokiej gęstości, w przypadku dużej skali wdrożenia serwerów typu blade lub w przypadku bardzo poważnego ograniczenia dostępnej przestrzeni. Z tego względu kluczowa decyzja przy wdrażaniu serwerów typu blade dotyczy stopnia rozłożenia obudów typu blade pomiędzy szafami tj. liczby obudów typu blade zainstalowanych w szafie. Marka i model wybranego serwera typu blade mogą ograniczać praktyczną możliwość rozkładania serwerów typu blade między szafami np. niektóre serwery typu blade używają niezależnej obudowy, i tym samym są łatwe do rozmieszczania, a inne korzystają z systemu płyty montażowej, co sprawia, że nie nadają się do rozkładania pomiędzy szafami, poza określonymi przyrostami wdrożenia. Pełne omówienie tych zagadnień można znaleźć w dokumentach Application Note firmy APC dotyczących określonych marek serwerów typu blade. W wyniku przyporządkowania różnych gęstości wdrożenia obudów typu blade do pięciu opisanych wcześniej kluczowych metod wdrażania serwerów typu blade powstała tabela 2. Tabela 2 Zestawienie przedstawiające kryteria wdrażania serwerów typu blade dla różnych kombinacji gęstości obudów typu blade i metody wdrożenia serwerów typu blade ze wskazaniem kombinacji preferowanych # Obudowy na szafę 1 Rozkładanie obciążenia możliwe w większości centrów danych Chłodzenie pożyczane możliwe we wszystkich centrach danych Dodatkowe chłodzenie możliwe we wszystkich centrach danych. Dozwolone sąsiedztwo szaf z serwerami typu blade Obszar o wysokiej gęstości nieekonomiczne w porównaniu z alternatywami Całe pomieszczenie nieekonomiczne w porównaniu z alternatywami 2 Tylko jeśli centrum danych dysponuje nietypowo wysoką wydajnością dystrybucji chłodzenia możliwe w większości centrów danych, stosowanie sąsiadujących szaf może być ograniczone możliwe we wszystkich centrach danych. Dozwolone sąsiedztwo szaf z serwerami typu blade nieekonomiczne w porównaniu z alternatywami. W przypadku nowych stref lub rzędów powinna być ustalona wyższa docelowa gęstość. nieekonomiczne w porównaniu z alternatywami. Dla całego pomieszczenia powinna być ustalona wyższa docelowa gęstość. 12
# Obudowy na szafę 3 Rozkładanie obciążenia niepraktyczne: gęstość mocy przekracza możliwości typowego centrum danych Chłodzenie pożyczane możliwe w większości centrów danych, lecz stosowanie sąsiadujących szaf jest w większości przypadków niepraktyczne Dodatkowe chłodzenie Wymaga komory lub przewodów powrotnych gorącego powietrza. Dozwolone sąsiedztwo szaf z serwerami typu blade Obszar o wysokiej gęstości Granica możliwości dobrze zaprojektowanych systemów chłodzenia z podłogą podniesioną Całe pomieszczenie nieekonomiczne w porównaniu z alternatywami. Dla całego pomieszczenia powinna być ustalona wyższa docelowa gęstość. 4 niepraktyczne: gęstość mocy przekracza możliwości typowego centrum danych Centrum danych musi dysponować nietypowo wysoką wydajnością dystrybucji chłodzenia, reguły są sztywne Zależy od określonej kombinacji serwera typu blade i systemu dodatkowego chłodzenia Konieczne są systemy wydmuchiwania gorącego powietrza Konieczne są systemy wydmuchiwania gorącego powietrza. Wymagana całkowita przebudowa pomieszczenia. 5 niepraktyczne: gęstość mocy przekracza możliwości typowego centrum danych niepraktyczne: gęstość mocy przekracza możliwości typowego centrum danych niepraktyczne: gęstość mocy przekracza możliwości znanych urządzeń dodatkowego chłodzenia Konieczne są systemy wydmuchiwania gorącego powietrza Konieczne są systemy wydmuchiwania gorącego powietrza. Wymagana całkowita przebudowa pomieszczenia. 6 niepraktyczne: gęstość mocy przekracza możliwości typowego centrum danych niepraktyczne: gęstość mocy przekracza możliwości typowego centrum danych niepraktyczne: gęstość mocy przekracza możliwości znanych urządzeń dodatkowego chłodzenia Tylko, jeśli występuje poważne ograniczenie miejsca. Koszt osiągnięcia takiej gęstości na ciągłym obszarze może być bardzo wysoki. Może wymagać reguł. Koszt osiągnięcia takiej gęstości może być bardzo wysoki. Wymagana całkowita przebudowa pomieszczenia. Konieczne są systemy wydmuchiwania gorącego powietrza. Minimalny koszt Minimalny koszt 1 2 tys. USD na szafę 10 20 tys. USD na szafę Wzrost kosztów 20 60 tys. USD na szafę Łatwo Wymagane procedury Instalacja nieinwazyjna Poważna instalacja, instalowanie rur i przewodów Całkowite wyłączenie i przebudowa pomieszczenia Wzrost złożoności wdrożenia 13
Z tabeli 2 wynika, że na 30 możliwych kombinacji sześciu poziomów gęstości rozłożenia i 5 metod wdrożenia, występuje około 11 kombinacji preferowanych i kolejne 7 kombinacji o mniejszym znaczeniu, które składają się na całkowitą liczbę 18 praktycznych kombinacji wdrożeniowych. Aby wybrana została najlepsza alternatywa konieczne jest, aby tysiące kombinacji preferencji użytkownika, ograniczeń praktycznych i istniejących informacji o warunkach zostało przyporządkowanych tym 18 kombinacjom wdrożeń. To przyporządkowywanie wymaga szczegółowej analizy oraz reguł i można je zrealizować w postaci algorytmu programowego, lecz jego pełny opis wykracza poza ramy tego dokumentu. Przy opracowaniu narzędzi do przeprowadzania tej analizy firma APC dokonała kilku kluczowych obserwacji: Jeśli udział wdrażanych szaf z serwerami typu blade przekracza 25% wszystkich miejsc na szafy w pomieszczeniu, możliwe jest, że istniejące pomieszczenie będzie wymagało całkowitej przebudowy systemów zasilania i chłodzenia. To sugeruje, żeby w przypadku każdego wdrożenia tej skali wybudować nowe pomieszczenie, chyba że istnieje możliwość wyłączenia centrum danych na pewien okres. W przypadku istniejących centrów danych, w których planuje się wdrożenie od 1 do 5 szaf z serwerami typu blade, korzystne jest rozłożenie serwerów typu blade pomiędzy szafami z zachowaniem od 25% do 50% pełnej gęstości (tj. mniej niż 3 obudowy na szafę) w celu minimalizacji wpływu wdrożenia na działanie centrum danych i obniżenie jego kosztu. W przypadku większości centrów danych koszt uzyskania bardzo wysokiej gęstości mocy jest znacznie wyższy od kosztu miejsca związanego z kilkoma dodatkowymi miejscami na szafy. W przypadku typowego istniejącego centrum danych, w którym występuje chłodzenie i zasilanie masowe, zastosowanie dodatkowego chłodzenia spowoduje zwiększenie gęstości wdrożenia niskim kosztem przy zapewnieniu przewidywalnego efektu. Niezalecane podejścia Poniższa lista zawiera kilka podejść i działań podejmowanych notorycznie przez operatorów centrów danych, a które są chybione. Te rozwiązania pomagają niewiele, a często jeszcze bardziej szkodzą. Obniżanie temperatury powietrza. Jednym z najprostszych, a jednocześnie najgorszych działań, jakie może podjąć użytkownik, jest obniżenie temperatury zadanej klimatyzatorów pomieszczeń komputerowych w ramach próby rozwiązania problemu występowania miejsc o podwyższonej temperaturze w centrum danych. Podjęcie tego działania spowoduje obniżenie wydajności klimatyzatorów, znaczny wzrost zużycia wody przez nawilżacze i znaczne obniżenie sprawności eksploatacyjnej centrum danych (a tym samym znaczny wzrost rachunków za energię elektryczną). Wszystkie te zjawiska będą miały miejsce, a problem i tak NIE zostanie rozwiązany, ponieważ jest to problem przepływu powietrza, a NIE temperatury powietrza. 14
Kratki podłogowe. Innym pozornie logicznym działaniem jest zastąpienie płytek wentylacyjnych w podłodze podniesionej płytką o mniejszym oporze powietrza. Takie płytki wyglądają często jak kratki, a nie typowe płytki perforowane. Takie podejście może pomóc w przypadku pojedynczej szafy, lecz powoduje poważne skutki uboczne, szczególnie jeśli zostanie zastosowane na większą skalę. Zastosowanie takich płytek w typowym centrum danych spowoduje zmniejszenie przepływu powietrza w innych obszarach, lecz co ważniejsze takie płytki powodują znaczne i nieprzewidywalne wahania w przepływie powietrza pomiędzy płytkami. Problem ten opisano bardziej szczegółowo w dokumencie White Paper 46 firmy APC, Cooling Strategies for Ultra-High Density Racks and Blade Servers. Wentylatory w górnej pokrywie szaf. Stosowanie paneli wentylatorów instalowanych w górnej pokrywie szaf jest bardzo popularne, pomimo że w prawidłowo skonstruowanej szafie IT takie wentylatory nie zapewniają żadnych korzyści. Problem przegrzewania się serwerów NIE jest powodowany obecnością gorącego powietrza wewnątrz szafy. Jest on powodowany obecnością gorącego powietrza przy wlotach powietrza do serwerów, które są umieszczone z przodu. Te wentylatory wytwarzają jedynie większą ilość ciepła, a w dobrze skonstruowanym centrum danych mogą nawet spowodować obniżenie wydajności chłodzenia. Wielu klientów dobiera panele wentylatorów na podstawie przestarzałych specyfikacji bez zrozumienia ich przeznaczenia. Istnieją pewne pomocnicze urządzenia wentylatorowe, które mocuje się do szafy; a które bardziej szczegółowo opisano w dokumencie White Paper 42 firmy APC, Ten Steps to Solving Cooling Problems Caused by High Density Server Deployment. Wydzielenie szaf. Wydzielenie szaf z rzędów do obszaru otwartego ze wszystkich stron jest często stosowane w ramach próby obniżenia gęstości w pewnym obszarze i umożliwienia przydzielenia szafie większej liczby podłogowych płytek wentylacyjnych. To podejście pozwala jednak na powrót gorącego powietrza wylotowego wokół bocznych ścianek szafy do wlotu serwera. W efekcie ogólnym nie ma żadnych korzyści. Znacznie lepszym rozwiązaniem jest ustawienie szaf w układzie przejść gorącego i chłodnego powietrza oraz umieszczenie niewypełnionych szaf z panelami zaślepiającymi pomiędzy szafami serwerów typu blade, zastosowanie szerszych przejść chłodnego powietrza, dodatkowych urządzeń chłodzących i/lub systemów bezpieczeństwa z przejściami gorącego powietrza w celu zwiększenia wydajności. 15
Wniosek Wdrażanie serwerów typu blade w istniejących centrach danych stawia systemom zasilania i chłodzenia centrów danych wyzwania, których nie można pominąć. Istnieją różne podejścia do zasilania i chłodzenia serwerów typu blade. Najlepsze rozwiązanie dla określonej instalacji będzie zależeć od ograniczeń istniejącej konstrukcji oraz potrzeb i preferencji operatora centrum danych. W tym dokumencie przedstawiono w zarysie problemy i dostępne możliwości przy wdrażaniu serwerów typu blade. Opisano proces wyboru metody wdrożenia na podstawie ograniczeń i wymagań. Większość użytkowników nie zdaje sobie sprawy z konsekwencji gęsto zamontowanych serwerów typu blade. Jeśli wziąć pod uwagę dostępne możliwości i ich zalety, wdrożenia polegające na rozłożeniu serwerów typu blade między szafami mogą być atrakcyjne w przypadku wielu istniejących obiektów, ponieważ zapewniają oszczędność kosztów i czasu, a także ograniczają zakłócanie pracy centrum danych. 16
Materiały referencyjne 1) Dokument White Paper 46 firmy APC, Cooling Strategies for Ultra-High Density Racks and Blade Servers 2) Dokument White Paper 29 firmy APC, Rack Powering Options for High Density 3) Dokument White Paper 49 firmy APC, Avoidable Mistakes that Compromise Cooling Performance in Data Centers and Network Rooms 4) Dokument White Paper 42 firmy APC, Ten Steps to Solving Cooling Problems Caused by High Density Server Deployment 5) Dokument Application Note 76 firmy APC, Configuring Data Centers to Support IBM BladeCenter Servers 6) Dokument Application Note 75 firmy APC, Configuring Data Centers to Support HP BladeSystem p-class Servers 7) Dokument Application Note 74 firmy APC, Configuration of InfraStruXure for Data Centers to Support Dell PowerEdge 1855 Blade Servers O autorze: Neil Rasmussen jest założycielem i głównym specjalistą ds. technicznych firmy American Power Conversion (APC). W firmie APC Neil zarządza największym na świecie budżetem badawczo-rozwojowym przeznaczonym na infrastrukturę zasilania, chłodzenia i szaf w sieciach o kluczowym znaczeniu. Główne centra rozwojowe produktów znajdują się w Massachusetts, Missouri, Danii, na Rhode Island, na Tajwanie oraz w Irlandii. Obecnie Neil zarządza prowadzonymi w firmie APC pracami nad modularnymi, skalowalnymi rozwiązaniami dla centrów obliczeniowych. Przed założeniem firmy APC w 1981 r. Neil Rasmussen uzyskał tytuł inżyniera i magistra o specjalności elektrotechnika w Massachusetts Institute of Technology (MIT), gdzie napisał pracę analizującą źródło zasilania o mocy 200 MW dla reaktora Tokamak Fusion. W latach 1979-1981 pracował w laboratoriach MIT Lincoln Laboratories nad systemami przechowywania energii opartymi na zastosowaniu kół zamachowych oraz nad systemami baterii słonecznych. 17