Wskazówki dotyczące określania gęstości mocy w centrum danych

Wskazówki dotyczące określania gęstości mocy w centrum danych White Paper 120 Wersja 1 by Neil Rasmussen > Streszczenie Konwencjonalne metody określania gęstości w centrum danych są niejednoznaczne i wprowadzają w błąd. Opisywanie gęstości w centrum danych przy użyciu W/m2 nie jest wystarczające, aby określić zgodność zasilania lub chłodzenia z urządzeniami obliczeniowymi o wysokiej gęstości, takimi jak serwery kasetowe, czyli blade. Praktycznie nigdy nie istniała przejrzysta, standardowa metoda określania parametrów centrów danych zapewniających ich przewidywalne zachowanie z urządzeniami o wysokiej gęstości. Właściwa specyfikacja gęstości w centrum danych powinna zapewniać przejrzyste instrukcje dotyczące projektowania i instalacji urządzeń zasilających i chłodzących, zapobiegać nadmiernej wielkości instalacji, a także maksymalizować sprawność energetyczną. W tym artykule przedstawiono podstawy teoretyczne i zastosowanie praktyczne ulepszonej metody określania specyfikacji infrastruktury zasilania i chłodzenia dla centrów danych. Treści Kliknij sekcję, aby ją wyświetlić Wstęp 2 Różne metody określania gęstości Strategia wdrażania 8 Model 13 Wniosek 20 Zasoby 21 Dodatek 22 2

Wstęp Specyfikacja gęstości mocy roboczej dla centrów danych i serwerowni stanowi rosnące wyzwanie dla specjalistów z branży IT. Zaplanowanie dla centrum danych tradycyjnej gęstości 430 861 W/m2 uniemożliwi niezawodną instalację najnowszej generacji urządzeń komputerowych. Z kolei zaplanowanie gęstości mocy roboczej rzędu 6458 10764 W/m2 odpowiadającej najnowszej generacji sprzętu IT o wysokiej gęstości spowoduje osiągnięcie ograniczeń technologicznych systemów zasilania i chłodzenia w centrum danych, czego skutkami będą nadzwyczajne koszty inwestycyjne oraz niska robocza sprawność energetyczna. Problem planowania gęstości staje się jeszcze poważniejszy ze względu na konieczność zaprojektowania centrum danych w taki sposób, aby mogło ono działać przez wiele cykli odnawiania zasobów informatycznych, choć nie jest znany charakter sprzętu IT instalowanego w przyszłości. Tradycyjna metoda określania gęstości dla centrum danych w W/m2 jest niezbyt pomocna przy próbie uzyskania odpowiedzi na kluczowe pytania, przed którymi stają obecnie operatorzy centrów danych. Przede wszystkim ta tradycyjna metoda nie daje odpowiedzi na bardzo istotne pytanie: Co się stanie w przypadku zainstalowania szafy przekraczającej dopuszczalną gęstość? Jest to bardzo praktyczne pytanie, ponieważ typowe centrum danych dysponuje obecnie gęstością wynoszącą 1,5 kw na szafę, podczas gdy najnowszy sprzęt komputerowy charakteryzuje się wyższą gęstością mocy rzędu od 3 do 20 kw na szafę. Potrzebna jest nowa, bardziej szczegółowa metoda określania gęstości mocy dla centrum danych. Pozwoli ona spełnić następujące wymagania: zapewnienie zgodności z urządzeniami komputerowymi o wysokiej gęstości; zapobieganie marnotrawieniu elektryczności, powierzchni lub nakładów inwestycyjnych; zapewnienie sposobu weryfikacji planów wdrażania sprzętu IT w zakresie możliwości chłodzenia i zasilania. Zasoby APC White Paper 46 Cooling Strategies for Ultra- High Density Racks and Blade Servers W tym artykule skupimy się na ulepszonej metodzie określania gęstości mocy. Budowanie centrów danych z wdrożeniem zasilania, chłodzenia, szaf i zarządzania odpowiadających zastosowaniom o wysokiej gęstości stanowi temat innych dokumentów White Paper firmy APC, między innymi dokumentu White Paper 46, Cooling Strategies for Ultra-High Density Racks and Blade Servers. Różne metody określania gęstości Spotykane w literaturze definicje gęstości mocy są niespójne, czego wynikiem jest poważne zamieszanie w społecznościach użytkowników. Aby lepiej zrozumieć te definicje, rozważmy następujące hipotetyczne centrum danych o mocy 500 kw: APC by Schneider Electric White Paper 120 Wersja 2

Parametry centrum danych o mocy 500 kw Całkowita moc pobierana przez sprzęt IT System angielski System metryczny 500 000 W Całkowita powierzchnia zajmowana przez sprzęt IT 2800 stóp 2 260 m 2 Powierzchnia zaplecza przeznaczona na agregat chłodzący, rozdzielnice itp. 1400 stóp 2 130 m 2 Całkowita powierzchnia pomieszczenia centrum danych 4200 stóp 2 390 m 2 Powierzchnia przypadająca na obudowę szafy IT 6,7 stóp 2 0,622 m 2 Liczba obudów szaf 19'' 100 Table 1 Tabela 1 przedstawia pięć różnych, często stosowanych definicji gęstości mocy oraz wartości będące wynikiem zastosowania tych definicji do powyższego centrum danych. Różne definicje gęstości mocy powodują uzyskanie odmiennych wartości przy zastosowaniu do tego samego centrum danych Definicja gęstości Wyliczenie Gęstość Wyjaśnienie Moc pobierana przez sprzęt IT dzielona przez powierzchnię zajmowaną przez wszystkie obudowy szaf IT 500 000 W/(6,7 stóp 2 x 100 szaf) 500 000 W/(0,622 m 2 x 100 szaf) 746 W/stopę 2 8039 W/m 2 Ta metoda uwzględnia tylko powierzchnię zajmowaną przez szafy i nie obejmuje obszarów podłogi dostępowej wokół szaf, ani przestrzeni zajmowanej przez inne elementy fizycznej infrastruktury sieciowej o znaczeniu krytycznym. Ta metoda daje znacznie wyższe wartości gęstości niż pozostałe metody. Jest ona powszechnie stosowana przez producentów sprzętu. Moc pobierana przez sprzęt IT dzielona przez powierzchnię zajmowaną przez wszystkie obudowy szaf IT i odstępy między nimi 500 000 W/2800 stóp 2 500 000 W/260 m 2 179 W/stopę 2 1923 W/m 2 Jest to najczęściej stosowana definicja w literaturze. Przyjmowana jest zwykle powierzchnia 2,6 m 2 (28 stóp 2 ) na szafę. Jest to efektywna metoda określania wymagań dotyczących zasilania i chłodzenia. Powszechnie stosowana przez personel działu IT. Moc pobierana przez sprzęt IT dzielona przez całkowitą powierzchnię pomieszczenia centrum danych 500 000 W/4200 stóp 2 500 000 W/390 m 2 119 W/stopę 2 1282 W/m 2 Całkowita powierzchnia pomieszczenia centrum danych obejmuje powierzchnię zajmowaną przez sprzęt IT, a także powierzchnię zaplecza technicznego zasilania i chłodzenia. Metoda ta jest przydatna podczas planowania powierzchni, ponieważ uwzględnia powierzchnię zaplecza, która zajmuje dużo miejsca w instalacjach o wysokiej gęstości. Powszechnie stosowana przez architektów. Moc pobierana przez sprzęt IT oraz urządzenia zasilające i chłodzące dzielona przez całkowitą powierzchnię pomieszczenia centrum danych (500 000 W + 295 000 W)/4200 stóp 2 (500 000 W + 295 000 W)/390 m 2 189 W/stopę 2 2038 W/m 2 Ta definicja jest powszechnie stosowana podczas planowania obiektu i sieci elektrycznej, ponieważ uwzględnia całkowitą powierzchnię pomieszczenia centrum danych i całkowity pobór mocy. Przyjmuje się, że urządzenia chłodzące pobierają 265 kw mocy (włącznie z energią traconą), do czego dochodzi 30 kw energii traconej w systemie zasilania. Moc pobierana przez szafę 500 000 W/100 szaf 5 kw na szafę Ta wartość jest obliczana dla pojedynczej szafy, co w znacznym stopniu eliminuje wahania przy definiowaniu gęstości mocy. APC by Schneider Electric White Paper 120 Wersja 3

Wszystkie definicje gęstości z tabeli 1 są stosowane w opublikowanej literaturze i specyfikacjach. Cztery definicje, które korzystają z wartości wyrażonych w W/stopę2 lub W/m2 są niejednoznaczne, jeśli nie dołączy się do nich jednoznacznego wyjaśnienia, jakie elementy składają się na powierzchnię, a jakie na moc. Informacje te są jednak notorycznie pomijane w publikowanych wartościach gęstości. Przyczyniło się to do powstania ogromnego zamieszania w branży oraz wielu nieporozumień między personelem działu IT a projektantami i planistami obiektów. Dane znajdujące się w tabeli 1 jednoznacznie pokazują, że specyfikacje gęstości dla tego samego obiektu mogą różnić się ośmiokrotnie zależnie od przyjętej definicji gęstości. Najbardziej jednoznacznym określeniem gęstości jest pobór mocy na szafę. Jest to jednoznaczna wskazówka co do wymagań dotyczących zasilania i chłodzenia szafy (w przypadku sprzętu IT wyrażony w watach pobór mocy elektrycznej danej szafy jest równy wymaganej mocy chłodzenia w watach). Artykuł ten wykaże, że określanie gęstości mocy dla centrum danych w postaci poboru mocy na szafę posiada jeszcze jedną zaletę jest to najskuteczniejszy sposób wyrażania wahań gęstości w centrum danych. W rzeczywistych centrach danych rozkład gęstości mocy nie jest równomierny. Niektóre szafy pobierają więcej mocy, w związku z czym generują więcej ciepła niż inne. Szafy z patch panelami mogą wcale nie pobierać żadnej mocy. Z kolei szafy z serwerami kasetowymi mogą pobierać moc rzędu 20 kw, a nawet więcej. Problem ten komplikuje dodatkowo fakt, że sprzęt IT podlega stałemu odświeżaniu, co oznacza, że pobór mocy przez określone szafy zmienia się z biegiem czasu. Konwencjonalne metody określania gęstości nie w pełni uwzględniają te wahania mocy, przez co ich wyniki wraz z upływem czasu stają się coraz mniej przydatne. Ograniczenia konwencjonalnych metod określania gęstości Poniższe dwa przykłady stanowią ilustrację poważnych ograniczeń konwencjonalnych metod specyfikacji gęstości: W pierwszym przykładzie rozważymy przypadek centrum danych przewidzianego na gęstość mocy równą 538 W/m2 (50 W/stopę2). Przy zastosowaniu definicji gęstości o postaci całkowita moc pobierana przez sprzęt IT/powierzchnia szaf IT wraz z odstępami" odpowiada to wartości 1400 W na szafę (538 W/m2 x 2,60 m2/szafę). Wymaganie to spełnia centrum danych skonstruowane tak, aby dla każdej szafy zapewniać maksymalną moc zasilania 1400 W oraz maksymalną moc chłodzenia 1400 W. Istnieje jednak wiele typów urządzeń IT, takich jak serwery kasetowe, których pobór mocy przekracza poziom 1400 W na obudowę. Żadnego z tych typów urządzeń nie będzie można zainstalować w centrum danych o ścisłym ograniczeniu mocy do 1400 W na szafę. Oznacza to, że takie centrum danych będzie niezgodne z urządzeniami komputerowymi wielu typów. Co więcej, jeżeli w szafie zostaną umieszczone urządzenia o niskim poborze mocy (na przykład patch panele), niewykorzystana moc nie stanie się dostępna w innych szafach, ponieważ dla wszystkich szaf obowiązuje ograniczenie do 1400 W mocy zasilania i chłodzenia. Wynikiem tego jest nieefektywne centrum danych, które jest niezgodne z wieloma typami urządzeń IT, a ponadto nie umożliwia ekonomicznego wykorzystania dostępnego miejsca w szafach i dostępnej mocy zasilania lub chłodzenia. W drugim przykładzie gęstość centrum danych jest określana oddzielnie dla poszczególnych szaf. Dla każdej lokalizacji szafy dokładnie określono wartości mocy zasilania i chłodzenia. Dzięki temu istnieje możliwość realizacji projektu spełniającego tę specyfikację, a centrum danych zostaje całkowicie scharakteryzowane z wyprzedzeniem. Jest to idealna sytuacja, lecz niestety w prawie żadnym centrum danych nie można określić z wyprzedzeniem dokładnych specyfikacji zasilania na poziomie szafy. W rzeczywistych centrach danych nie można przewidzieć obciążenia szaf w całym okresie eksploatacji instalacji. Rozbieżność APC by Schneider Electric White Paper 120 Wersja 4

pomiędzy rzeczywistą gęstością wdrożonego sprzętu IT a pierwotną specyfikacją na poziomie szaf rodzi poważne konsekwencje. Dotyczy to na przykład wdrożenia urządzeń IT, których pobór mocy znajduje się poniżej poziomu określonego w specyfikacji zasilania szafy. W takim przypadku niewykorzystana moc nie będzie dostępna w innych szafach, ponieważ dla każdej szafy określono ograniczenie mocy zasilania i chłodzenia. Wynikiem tego jest nieefektywne centrum danych, które wymaga informacji dotyczących przyszłych instalacji sprzętu IT, aczkolwiek informacje tego typu nie są zwykle dostępne. Obydwa przedstawione tu przykłady stanowią ilustrację powszechnie stosowanych metod określania gęstości w centrach danych. Zarówno ogólna specyfikacja na poziomie pomieszczenia, jak i dokładna specyfikacja dla poszczególnych szaf, wykazują poważne ograniczenia praktyczne, czego wynikiem są instalacje niespełniające oczekiwań klienta. Ulepszone podejście do kwestii specyfikacji powinno zachować elastyczność i zgodność w zakresie sprzętu IT, maksymalizując jednocześnie sprawność energetyczną oraz wykorzystanie mocy zasilania i chłodzenia, a także dostępnego miejsca. Wymagania dotyczące specyfikacji gęstości We wcześniejszych rozważaniach podano kilka sugestii dotyczących wymagań wobec ulepszonej metody określania gęstości. Są to następujące wymagania: Przewidywalność: Specyfikacja gęstości musi zapewniać możliwość ustalenia dostępnej mocy zasilania i chłodzenia we wszystkich lokalizacjach szaf dla każdej planowanej lub istniejącej instalacji sprzętu IT. Dopuszczenie częściowo określonych przyszłych wymagań: Specyfikacja gęstości nie może wymagać znajomości z wyprzedzeniem dokładnej mocy dla każdej lokalizacji szafy. W rzeczywistości dane urządzenia komputerowe są wykorzystywane tylko przez pewien ułamek okresu eksploatacji centrum danych i podlegają zazwyczaj wymianie na nowy lub inny sprzęt. Możliwość pożyczania mocy zasilania i chłodzenia: Niewykorzystana przez określoną szafę moc zasilania i chłodzenia powinna być dostępna dla innych szaf. Minimalizacja strat: Należy zminimalizować marnotrawstwo energii na skutek niskiej sprawności elektrycznej. Konieczne jest wykorzystanie dostępnej mocy zasilania i chłodzenia oraz dostępnego miejsca. Koszty inwestycyjne i eksploatacyjne powinny zostać zminimalizowane. Możliwość wdrażania etapowego: Specyfikacja gęstości musi umożliwiać wdrażanie etapowe, włącznie z przypadkami, gdy poszczególne etapy cechują się różnymi wartościami gęstości, a także gdy dane dotyczące przyszłych etapów instalacji nie są znane w momencie wcześniejszych wdrożeń. Choć niektóre z powyższych wymagań są sprzeczne, mogą posłużyć za podstawę dla ulepszonej metody określania gęstości mocy. Praktyczne ograniczenia i opcje Każda praktyczna metoda określania gęstości mocy musi uwzględniać istniejące ograniczenia praktyczne i opcje występujące przy projektowaniu centrum danych. Poniżej opisano niektóre z tych ograniczeń i opcji wraz z ich wpływem na specyfikację gęstości: Przyrosty systemu dystrybucji zasilania: Koszt i złożoność systemu dystrybucji zasilania jest nieliniową funkcją mocy. Przykładowo koszt jednofazowego systemu zasilania o mocy 6 kw nie jest trzykrotnie niższy od kosztu trójfazowego systemu zasilania o mocy 18 kw. Istnieje kilka optymalnych wartości dostępnej mocy dla systemu zasilania prądem zmiennym, co wynika z dopasowania wyłączników i gniazd oraz koordynacji wyłączników w przypadku awarii. Te zagadnienia oraz optymalne APC by Schneider Electric White Paper 120 Wersja 5

Zasoby APC White Paper 29 Rack Powering Options for High Density obwody dystrybucji zasilania omówiono w dokumencie White Paper 29 firmy APC, Rack Powering Options for High Density. Specyfikacje dotyczące dystrybucji zasilania powinny być opracowywane z uwzględnieniem tych optymalnych wielkości obwodów, które zależą od położenia geograficznego. Ograniczenia dystrybucji powietrza: Dystrybucja powietrza w centrum danych to podstawowy czynnik ograniczający gęstość mocy szafy. Sprzęt IT wymaga przepływu powietrza o wielkości od 47,2 do 75,5 l/s na 1 kw. W wielu centrach danych istnieje już podłoga podniesiona lub występują ograniczenia co do wysokości sufitu, które powodują ograniczenie wysokości podłogi podniesionej. W przypadku, gdy podłoga podniesiona stanowi część systemu dystrybucji powietrza, występują praktyczne ograniczenia ilości powietrza, które może przepływać pod podłogą w sposób przewidywalny, co ogranicza możliwą do osiągnięcia przeciętną i szczytową gęstość mocy w szafach. Z tego powodu praktyczna przeciętna gęstość mocy w przypadku wielu już istniejących instalacji wynosi około 5 kw na szafę. Do przekroczenia tego poziomu konieczna jest instalacja uzupełniających urządzeń chłodzących oraz (lub) zasilających. Konsekwencją tego może być znaczny wzrost kosztów po przekroczeniu krytycznego poziomu gęstości mocy. Odpowiednia specyfikacja gęstości powinna uwzględniać tę kwestię i zapewniać jej rozwiązanie zanim stanie się problemem. Waga: W niektórych obiektach istnieją ograniczenia obciążenia podłogi. Dotyczy to przede wszystkim istniejących instalacji z podłogą podniesioną. Urządzenia komputerowe osiągające bardzo wysoką gęstość mocy zazwyczaj powodują także duży ciężar szafy. W niektórych przypadkach stanowi to bardzo poważną barierę, która uniemożliwia wdrożenie wysokiej gęstości. Wynika z tego, że specyfikacja gęstości nie powinna niepotrzebnie określać wartości gęstości mocy przekraczających ograniczenia obciążenia podłogi w danym obiekcie. Zarezerwowana powierzchnia: W wielu centrach danych istnieje powierzchnia zarezerwowana dla funkcji, które nie składają się na gęstość mocy. Do takich funkcji należy przechowywanie taśm, przestrzeń dla operatorów lub obszary specjalnego dostępu. Konsekwencją tego jest konieczność zarezerwowania tych obszarów w modelu specyfikacji gęstości, który nie może zakładać, że będą one spełniać jakąkolwiek funkcję związaną z wdrożeniem zasilania lub chłodzenia sprzętu o wysokiej gęstości.\ Możliwość rozłożenia obciążenia: Możliwość fizycznego rozmieszczenia sprzętu IT w centrum danych stanowi praktyczną opcję dla większości urządzeń dzięki powszechnemu stosowaniu okablowania światłowodowego. W wielu przypadkach nie jest konieczne, a nawet pożądane, instalowanie urządzeń z pełną możliwą gęstością. Przykładami takich urządzeń o wysokiej gęstości są serwery kasetowe i serwery 1U, które bezproblemowo można rozmieścić między szafami w celu obniżenia gęstości. Choć upakowanie serwerów kasetowych lub serwerów 1U wydaje się optymalizować wykorzystanie miejsca, w wielu przypadkach korzyści są pozorne, a koszty związane z zapewnieniem dla szafy zasilania i chłodzenia o wysokiej gęstości przekraczają zazwyczaj koszty użycia dodatkowych szaf. Oznacza to, że model gęstości nie powinien ślepo określać wartości gęstości na podstawie możliwości sprzętu, lecz powinien uwzględniać możliwość rozłożenia obciążenia w celu optymalizacji kosztów i dostępności całego systemu. Istniejące ograniczenia przestrzeni w konkretnym obiekcie: Istniejące ograniczenia przestrzeni fizycznej w konkretnym obiekcie w dużym stopniu wpływają na proponowaną ogólną wartość specyfikacji o wysokiej gęstości. W przypadku wielu istniejących obiektów, które zostały zaprojektowane dla niskiej gęstości, wdrożenie rozwiązania o wysokiej gęstości oznacza powiększenie dostępnego miejsca. Jednakże korzyści wynikające ze zmniejszenia rozmiarów przestrzeni zajmowanej przez urządzenia IT nie są duże. Z drugiej strony, niektóre obiekty cechują się bardzo poważnymi ograniczeniami przestrzeni fizycznej, w przypadku których powierzchnia jest bardzo droga lub trudna do uzyskania. Oznacza to, że metodologia określania gęstości musi uwzględniać wartość przestrzeni oraz inne ograniczenia dotyczące dostępnego miejsca. APC by Schneider Electric White Paper 120 Wersja 6

Utrata miejsca na rzecz infrastruktury zasilania i chłodzenia Infrastruktura zasilania i chłodzenia zajmuje miejsce, które w przeciwnym razie można by wykorzystać na sprzęt IT. Niekiedy urządzenia zasilające i chłodzące przenosi się poza obszar przeznaczony na sprzęt IT i umieszcza w pobliskim pomieszczeniu. Jednak mimo wszystko pewna przestrzeń jest zajmowana i należy ją uwzględniać jako rzeczywistą stratę przy wyznaczaniu możliwej do osiągnięcia gęstości. Przestrzeń zajmowaną przez infrastrukturę zasilania i chłodzenia można wyrazić w postaci równoważnej liczby szaf. Przestrzeń ta zwiększa się wraz ze wzrostem zapotrzebowania na zapewnianą moc zasilania i chłodzenia. Efekt ten przedstawiono na rysunku 1. Rysunek 1 Wpływ specyfikacji średniej gęstości szaf na procent dostępnego miejsca na szafy IT % dostępnego miejsca na sprzęt IT 100% 80% Konfiguracja nienadmiarowa 60% 40% Zasilanie 2N; Chłodzenie N+1 20% 0% 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Określony średni pobór mocy na szafę kw Uwaga: Krzywe na tym rysunku wynikają z wzorów przedstawionych w dodatku. Z powyższego wykresu jednoznacznie wynika, że przestrzeń dostępna do wykorzystania przez sprzęt IT zmniejsza się wraz ze wzrostem określonej przeciętnej mocy na szafę (gęstości mocy). Na osi poziomej przedstawiono określoną przeciętną moc na szafę w pomieszczeniu. Na osi pionowej przedstawiono ułamek dostępnej przestrzeni na szafy w pomieszczeniu, która zostaje utracona na rzecz infrastruktury zasilania i chłodzenia, która obejmuje zasilacze UPS, listwy zasilające i klimatyzatory do pomieszczeń komputerowych. Dolna krzywa na rysunku 1 odpowiada systemowi z podwójnymi torami zasilania (2N) i nadmiarowymi (N+1) klimatyzatorami do pomieszczeń komputerowych. Jest to typowa konstrukcja w przypadku zastosowań o wysokiej gęstości. Należy zaznaczyć, że w przypadku większości obecnie działających centrów danych zapewniających moc 1,5 kw na szafę utrata powierzchni jest rzędu 15%. Jednak wraz ze wzrostem specyfikacji gęstości znacznie wzrasta również tracone miejsce. Jeśli określona przeciętna moc na szafę przekracza 7 kw, ponad 50% przestrzeni zostaje zajęte przez urządzenia zasilające i chłodzące, a zatem nie jest dostępne dla szaf IT. Nie ma tu znaczenia, czy rzeczywista gęstość jest znacznie niższa niż określona wartość przestrzeń jest mimo to zajmowana przez urządzenia zasilające i chłodzące. Umożliwia to sprecyzowanie następującej zasady dla projektu wysokiej gęstości: Określenie wyższej gęstości dla centrum danych niż faktycznie wymagana spowoduje niepotrzebne ograniczenie dostępnego miejsca dla sprzętu IT. Jest to bardzo poważna strata, której towarzyszą zwiększone koszty oraz nakłady eksploatacyjne. Z tego powodu ważne jest, aby gęstość była planowana efektywnie, a jeżeli to możliwe, systemy zasilania i chłodzenia o wysokiej gęstości powinny być instalowane tylko w razie potrzeby. APC by Schneider Electric White Paper 120 Wersja 7

Podział powierzchni na obszary gęstości Przedstawione wcześniej wymagania jednoznacznie wskazują na potrzebę istnienia możliwości określenia różnych wartości gęstości mocy w różnych obszarach centrum danych. Jest to niezbędne, aby uzyskać możliwość wdrażania etapowego w sytuacji, gdy gęstość na kolejnych etapach może się różnić. Alternatywne rozwiązanie, jakim jest określenie maksymalnego obciążenia oczekiwanego w przyszłości dla całego centrum danych, jest całkowicie niepraktyczne, ponieważ spowoduje niepotrzebne zwiększenie kosztów inwestycyjnych i eksploatacyjnych o 3 do 8 razy oraz drastyczne obniżenie sprawności energetycznej. Nawet w przypadku wdrożenia jednoetapowego z podziałem centrum danych na obszary gęstości mogą się wiązać znaczne korzyści. Występuje na przykład znacząca różnica gęstości mocy pomiędzy serwerami kasetowymi a pamięcią masową. Centrum danych, w którym serwery i pamięć masowa zostaną rozdzielone, uzyska wiele korzyści dzięki zaprojektowaniu oddzielnych stref o różnej specyfikacji gęstości, nawet jeśli całkowita moc obciążenia centrum danych nie zmieni się. Jeżeli położenie szaf z serwerami i pamięcią masową jest przypadkowe i nieznane z wyprzedzeniem, systemy dystrybucji zasilania i chłodzenia muszą być tak dobrane, aby zapewniać maksymalną gęstość w każdym miejscu. Jeśli jednak strefa o niższej gęstości dla systemów pamięci masowej jest wyznaczona z wyprzedzeniem, istnieje możliwość obniżenia mocy systemów zasilania i chłodzenia dla tej strefy. Zaletą takiego rozwiązania będzie redukcja kosztów inwestycyjnych i eksploatacyjnych, a także zwiększenie sprawności elektrycznej. Obszary gęstości w centrum danych można zdefiniować na planie podłogi, rozmieszczając szafy w różnych strefach. Jednakże proponujemy rozwiązanie, w którym podział na obszary nie odbywa się w sposób dowolny, lecz zawsze polega na podziale rzędami, przy czym rząd jest grupą szaf dowolnej wielkości umieszczonych jedna przy drugiej. Wybór rzędu jako proponowanej jednostki definiowania obszarów gęstości jest związany z następującymi faktami: Wiele architektur dystrybucji zasilania dla szaf jest opartych na rzędach. Wiele architektur dystrybucji chłodzenia dla szaf jest opartych na rzędach. Oznacza to, że rząd będzie preferowanym i najbardziej ekonomicznym poziomem, na którym należy definiować wymagania dotyczące gęstości. Będzie to również preferowana jednostka przyrostu wdrożenia. Z tego powodu w pozostałej części tego artykułu skupimy się na rzędzie jako poziomie definiowania wahań gęstości dla stref. Strategia wdrażania Wymagania specyfikacji gęstości muszą uwzględniać urządzenia IT, które podlegają zmianom w czasie, a także uwzględniać wdrożenia etapowe. Konieczne jest przyjęcie pewnych założeń dotyczących tego, czy i jak infrastruktura zasilania i chłodzenia będzie się zmieniać w czasie. Nierozsądnym byłoby przyjęcie założenia, że istniejące urządzenia dystrybucji zasilania i powietrza będą zmieniały się w reakcji na zmianę urządzeń IT. Zmiany w tych systemach, takie jak prace na obwodach elektrycznych pod napięciem lub na instalacji rurowej, mogą wymagać lub stać się przyczyną ryzyka przestoju grup szaf, a nawet całego centrum danych. Dobrze udokumentowany jest fakt, że błąd ludzki jest główną przyczyną przestojów w centrach danych, a zmiany wprowadzane w pracujących urządzeniach stanowią główny czynnik powodujący przestoje. Z tego powodu najlepszym sposobem postępowania będzie instalacja urządzeń dystrybucji zasilania i chłodzenia dla rzędu lub strefy, a następnie niedokonywanie żadnych zmian ani rekonfiguracji tych urządzeń w trakcie okresu eksploatacji tego rzędu lub strefy. Praktyczną realizacją powyższego zalecenia jest strategia wdrożenia, którą można streścić w następujący sposób: APC by Schneider Electric White Paper 120 Wersja 8

Rzędy szaf lub obudów należy rozmieścić na planie podłogi z uwzględnieniem standardowych przejść. Należy określić projektową specyfikację gęstości dla rzędu, a następnie zbudować pełny rząd zgodnie z tą specyfikacją. Jeżeli sprzęt do zainstalowania spełnia parametry specyfikacji projektowej dla istniejącego rzędu, który nie został jeszcze zapełniony, można zainstalować urządzenia w tym rzędzie. Jeżeli urządzenia do zainstalowania cechują się znacząco różną gęstością od urządzeń w niezapełnionym rzędzie, nie należy modyfikować systemów zasilania lub chłodzenia w celu zainstalowania urządzeń w tym rzędzie, lecz utworzyć nowy rząd przeznaczony dla sprzętu o wyższej gęstości. W miarę upływu czasu rzędy, które zostały zapełnione w niewielkim stopniu, powinny zostać przeznaczone do całkowitego rozebrania, a następnie do odbudowy z inną specyfikacją gęstości, która będzie lepiej odpowiadała bieżącym potrzebom. Zalecane jest użycie tej strategii, ponieważ minimalizuje ona ryzyko błędu ludzkiego związanego modyfikacjami przeprowadzanymi na działających rzędach w centrum danych. Ta praktyczna i skuteczna strategia nakłada pewne ograniczenie na model specyfikacji gęstości, ponieważ systemy dystrybucji zasilania i chłodzenia dla systemu rzędów pozostają niezmienne po zakończeniu instalacji. Należy zaznaczyć, że na rynku są dostępne pewne urządzenia dystrybucji zasilania i chłodzenia, które umożliwiają rekonfigurację architektury zasilania i chłodzenia bez ryzyka przestoju. Na przykład system InfraStruXure firmy APC umożliwia: zmianę mocy wyjściowej zasilacza UPS poprzez dodanie modułów podłączanych podczas pracy; zmianę typu i mocy gniazd w szafie poprzez listwy zasilające wymienialne podczas pracy; zwiększenie wydajności systemu chłodzenia dla szafy poprzez dodatkowe urządzenia montowane w szafie. Urządzenia tego typu zapewniają dodatkową elastyczność po zakończeniu instalacji i są szczególnie przydatne w mniejszych instalacjach, w przypadku których etapowe wdrażanie rzędów jest niemożliwe. Gęstość szczytowa a przeciętna w rzędzie lub strefie Chociaż określenie gęstości zostałoby znacznie uproszczone, gdyby w każdej szafie znalazły się urządzenia o dokładnie takiej samej mocy, to jak wynika z wcześniejszych rozważań, jest to niepraktyczny cel o niewielkim związku z rzeczywistymi instalacjami. W rzeczywistości można oczekiwać, że gęstość w szafach będzie się wahać od zera (patch panele) do 30 kw (serwery kasetowe o wysokiej gęstości). Taka zmienność ma ogromny wpływ na charakter efektywnej specyfikacji gęstości. Przeciętny pobór mocy na szafę w określonym rzędzie lub strefie szaf, gdzie pobór mocy na szafę zmienia się, będzie mniejszy niż szczytowy pobór mocy na szafę. Istotny stosunek rzeczywistej mocy szczytowej do przeciętnej na szafę w rzędzie będzie więc zawsze większy lub równy 1. W celach instruktażowych warto rozważyć alternatywne metody określania gęstości mocy dla projektu rzędu, który będzie zawierał znany zbiór szaf o zróżnicowanym poborze mocy na szafę. Zaprojektowanie wszystkich szaf w rzędzie zgodnie z wartością szczytową. Jeden ze sposobów określania gęstości w rzędzie polega na założeniu, że wszystkie szafy w rzędzie APC by Schneider Electric White Paper 120 Wersja 9

cechują się gęstością zasilania i chłodzenia umożliwiającą osiągnięcie maksymalnego przewidywanego szczytowego poboru mocy. W tym przypadku całkowita moc zasilania i chłodzenia musi zostać dobrana z założeniem, że wszystkie szafy mogą pobierać maksymalną moc. Spowoduje to uzyskanie nadmiaru dostępnej mocy zasilania i chłodzenia, co doprowadzi do zwiększenia kosztów inwestycyjnych i eksploatacyjnych, a także obniżenia sprawności elektrycznej. Straty te będą zerowe, jeśli stosunek szczytowego do przeciętnego poboru mocy na szafę będzie równy 1, ale staną się poważne w przypadku wartości tego współczynnika równej lub większej od 1,5. Co więcej, specyfikacja dla maksymalnej mocy w najgorszym przypadku nie uwzględnia możliwości rozmieszczenia między szafami urządzeń powodujących maksymalny szczytowy pobór mocy na szafę, co mogłoby zredukować stosunek szczytowego do przeciętnego poboru mocy na szafę. Ogólnie rzecz biorąc, ogólna specyfikacja gęstości w rzędzie dla szczytowego poboru mocy na szafę w najgorszym przypadku będzie nieoptymalna, chyba że stosunek szczytowej do przeciętnej mocy na szafę będzie bliski 1, co w typowych instalacjach zdarza się jednak rzadko. Zaprojektowanie wszystkich szaf w rzędzie zgodnie z wartością przeciętną. Inne podejście polega na zaplanowaniu wszystkich szaf przy założeniu przeciętnej gęstości mocy. Podobnie jak przy poprzednim podejściu, również ta prosta metoda nie jest satysfakcjonująca, lecz z innych powodów. Wymaga ona, aby w przypadku przekroczenia przeciętnej wartości poboru mocy przez urządzenia w szafie usuwać urządzenia aż do momentu, kiedy wartość ta będzie równa lub mniejsza od przeciętnej. Co więcej, metoda ta cechuje się pewnym dodatkowym ograniczeniem szafy, których faktyczna gęstość jest mniejsza od gęstości określonej w projekcie, powodują zwiększenie niewykorzystanej mocy zasilania i chłodzenia, która nie może zostać użyta dla innych szaf. Jest to spowodowane tym, że rząd został zaprojektowany do zasilania i chłodzenia każdej szafy jedynie do poziomu wartości przeciętnej. Rozpatrzmy następujący scenariusz: Operator IT chce zainstalować obudowę kasetową 4 kw w rzędzie zaprojektowanym pod kątem mocy 2 kw na szafę. Można by stwierdzić, że możliwe jest przekierowanie przewodu zasilającego 2 kw z nieużywanej szafy (jeśli jest dostępna) do obudowy kasetowej. Jednakże chłodzenie obciążenia o mocy 4 kw stanie się problematyczne ze względu na to, że system chłodzenia nie został zaprojektowany do chłodzenia szaf o mocy powyżej 2 kw. Co więcej, w wyniku takiego rozwiązania pozostanie bezużyteczna szafa, ponieważ jej zasilanie wykorzystano w innej szafie. Porównanie powyższych scenariuszy alternatywnych z wymaganiami sugeruje, że kluczowym elementem efektywnej specyfikacji gęstości powinna być następująca reguła: konieczne jest określenie stosunku mocy szczytowej do przeciętnej na szafę w rzędzie, którego wartość powinna być większa od 1. Wybór odpowiedniego stosunku mocy szczytowej do przeciętnej na szafę będzie zależny od oczekiwanych odchyleń w rzeczywistych szafach. Ta zależność została przedstawiona na Rysunku 2 dla ograniczeń i założeń projektowych typowego centrum danych. APC by Schneider Electric White Paper 120 Wersja 10

200% Wysokie wahania rzeczywistej gęstości Rysunek 2 Wpływ specyfikacji stosunku gęstości szczytowej do przeciętnej na szafę na całkowity koszt posiadania systemu zasilania i chłodzenia dla różnych poziomów wahań rzeczywistej gęstości w szafach 100% Typowe wahania rzeczywistej gęstości Bez w ahań rzeczywistej gęstości 0% 1 2 3 4 Określony współczynnik maksymalnej gęstości Rysunek 2 przedstawia, jak specyfikacja stosunku gęstości szczytowej do przeciętnej na szafę wpływa na znormalizowany całkowity koszt posiadania (TCO) 1 związany z infrastrukturą zasilania i chłodzenia, na 1 kw zainstalowanego sprzętu w trzech różnych scenariuszach rzeczywistego odchylenia poboru mocy na szafę. Z danych wynika, że w przypadku, gdy wszystkie szafy mają ten sam pobór mocy, całkowity koszt posiadania jest optymalny (najniższy), kiedy stosunek gęstości szczytowej do przeciętnej na szafę wynosi 1. Można to wyjaśnić tym, że określenie dodatkowej wartości szczytowej gęstości mocy powoduje zwiększenie kosztów dystrybucji zasilania i chłodzenia, ale nie dodaje żadnej wartości, kiedy wszystkie szafy mają ten sam pobór mocy. Jednak w miarę wzrostu różnic w poborze mocy pomiędzy zainstalowanymi szafami mogą powstać znaczące koszty, jeśli nie zostanie zwiększona specyfikacja mocy szczytowej do przeciętnej. Jest to związane z niewykorzystaną dostępną mocą zasilania i chłodzenia oraz koniecznością zwiększenia powierzchni dla danego sprzętu IT. Oznacza to, że stosunek gęstości szczytowej do przeciętnej na szafę o wartości większej od 1 powoduje optymalizację całkowitego kosztu posiadania w przypadku rzeczywistych instalacji. Prowadzi to do kolejnego kluczowego elementu efektywnej specyfikacji gęstości dla centrum danych: W przypadku typowego projektu stosunek szczytowej do przeciętnej gęstości mocy na szafę w rzędzie powinien wynosić około 2. Jeśli oczekiwane wahania rzeczywistej wartości tego stosunku w rzędzie są większe od 2, zaleca się rozmieszczenie sprzętu IT o najwyższej gęstości pomiędzy szafami w taki sposób, aby zmniejszyć wartość tego współczynnika, bądź przeniesienie skrajnych urządzeń do innych rzędów. Specyfikacje gęstości oparte na regułach Po określeniu przeciętnej i szczytowej gęstości zasilania na szafę w rzędzie lub strefie możliwe jest utworzenie projektu pozwalającego na przewidywalne wdrożenie tej specyfikacji. Wdrożenie jest bardzo proste w przypadku, gdy szczytowy pobór mocy na szafę jest zbliżony 1 Całkowity koszt posiadania obejmuje koszt inwestycyjny urządzeń zasilających i chłodzących oraz 10 lat jego serwisu, a także koszty przestrzeni i energii elektrycznej. Koszty te wynoszą od 50 do 90 tysięcy USD na szafę zależnie od projektu i częściowego wykorzystania. Należy pamiętać, że stosunek mocy szczytowej do przeciętnej nie ma wpływu na koszty zasilacza UPS i agregatu chłodzącego. Wahania całkowitego kosztu posiadania są zależne od kosztów systemów dystrybucji zasilania i chłodzenia. APC by Schneider Electric White Paper 120 Wersja 11

do wartości przeciętnej. Jeśli jednak współczynnik maksymalnej gęstości mocy na szafę w rzędzie osiąga wartość 1,5 lub większą, zwiększają się wyzwania i koszty implementacji projektu. Kwestia zapewnienia działania szaf z maksymalnym poborem mocy tak długo, jak wartość przeciętnego poboru mocy nie zostanie przekroczona, może stanowić poważne ograniczenie w przypadku instalacji wykorzystujących systemy doprowadzające powietrze z podłogą podniesioną. Możliwe jest zwiększenie ogólnych, możliwych do osiągnięcia gęstości mocy szczytowej i przeciętnej, jeśli w specyfikacji dozwolone jest wdrożenie gęstości oparte na regułach. Aby zrozumieć problem rozwiązany przez specyfikacje oparte na regułach, wyobraźmy sobie sytuację, w której rząd szaf musi zostać zainstalowany w istniejącym systemie chłodzenia z podłogą podniesioną, którego współczynnik maksymalnej gęstości zasilania na szafę wynosi 2. Z perspektywy systemu zasilania dla każdej szafy należy dostarczyć zasilanie z zachowaniem maksymalnej gęstości mocy. Energia musi być jednak dostarczana przez listwę zasilającą lub zasilacz UPS o mocy znamionowej równej przeciętnej gęstości mocy na szafę pomnożonej przez liczbę szaf IT. Takie rozwiązanie jest łatwe do wdrożenia. Patrząc jednak z perspektywy systemu chłodzenia, poszczególne szafy nie mają dobrze zdefiniowanego systemu dystrybucji powietrza o mocy przekraczającej dwukrotnie przeciętną gęstość na szafę. Szafy działające z gęstością przekraczającą przeciętną wartość muszą pożyczać niewykorzystaną moc z sąsiadujących szaf, które działają z gęstością mniejszą od przeciętnej gęstości na szafę. W przypadku podłogi podniesionej o ograniczonej wydajności przepływu powietrza oznacza to, że oddzielenie od siebie szaf o wysokiej gęstości w rzędzie znacznie zredukuje lokalne przeciążenie systemu dystrybucji powietrza. Jeżeli specyfikacja obejmuje możliwość ustanowienia reguł dotyczących lokalizacji szaf o wysokiej gęstości w rzędzie, możliwe będzie osiągnięcie wyższej gęstości szczytowej i przeciętnej w ramach ograniczeń systemu. Przykładem prostej reguły jest reguła mówiąca, że szafa może przekroczyć przeciętny pobór mocy o wartość odpowiadającą średniemu poborowi mocy w sąsiadujących szafach, jeśli jest ona mniejsza od przeciętnej. Możliwe jest użycie bardziej zaawansowanych reguł w celu zmaksymalizowania przewidywalnej gęstości mocy, którą można osiągnąć w danej instalacji. Reguły te można zastosować w systemie zarządzania zasilaniem i chłodzeniem. 2 Określanie opcji gęstości dla dalszego wzrostu Wiele centrów danych nie jest budowanych całkowicie w jednym etapie; rozwijają się one i rosną w miarę upływu czasu. W takich przypadkach nie zawsze będzie pożądane lub praktyczne określenie z wyprzedzeniem gęstości dla rzędów lub stref, które nie zostały jeszcze zaplanowane. Każda praktyczna metoda określania gęstości w centrum danych musi uwzględniać przyszłe wymagania, w przypadku których trudno przewidzieć gęstość. Konieczne jest również zachowanie możliwości zastosowania opcji gęstości w przyszłości. W warunkach idealnych wydatki i zobowiązania związane z wdrożeniem infrastruktury zasilania i chłodzenia powinny zostać poniesione możliwie jak najpóźniej. Co więcej, dalsza rozbudowa centrum danych nie powoduje obniżenia dostępności już działającego sprzętu IT. Często stosowaną opcją jest zbudowanie z wyprzedzeniem całej infrastruktury zasilania i chłodzenia, aby zapewnić obsługę wstępnie zdefiniowanej gęstości mocy. Zaletą wcześniejszej instalacji tych urządzeń jest to, że podczas przyszłych wdrożeń sprzętu IT nie będzie konieczne wykonywanie żadnych poważnych prac nad infrastrukturą działającego centrum danych. Jednakże to podejście ma wiele poważnych wad, które przedstawiono poniżej: Przyszła gęstość sprzętu IT przekracza gęstość infrastruktury zasilana i chłodzenia, przez co nie można go efektywnie wdrożyć. 2 Implementacja reguł gęstości chłodzenia w systemie zarządzania podlega patentom należącym do firmy APC Corporation. APC by Schneider Electric White Paper 120 Wersja 12

Przyszła gęstość sprzętu IT jest mniejsza niż gęstość infrastruktury zasilana i chłodzenia, przez co znaczne inwestycje w infrastrukturę zostaną zmarnowane. Obiekt nigdy się nie rozwija lub rozwój jest wymuszony w innej lokalizacji ze względu na przepisy lub inne czynniki biznesowe, przez co znaczne inwestycje w infrastrukturę zostaną zmarnowane. Obciążenie centrum danych w najbliższej przyszłości jest znacznie niższe niż moc znamionowa infrastruktury zasilania i chłodzenia, co prowadzi do znacznego obniżenia sprawności elektrycznej, a także poważnych i niepotrzebnych kosztów energii elektrycznej. Instalacja z wyprzedzeniem aktualnie niepotrzebnej infrastruktury zasilana i chłodzenia jest przyczyną niepotrzebnych kosztów inwestycyjnych i kosztów umów serwisowych. Efektywny model określania gęstości mógłby umożliwić uniknięcie tych problemów przez zastosowanie podejścia projektowego i wdrożeniowego modułowej oraz skalowanej infrastruktury zasilania i chłodzenia. Taka architektura byłaby oparta na początkowej instalacji głównych źródeł zasilania, takich jak źródła zasilania i chłodzenia na poziomie rzędu lub strefy, w połączeniu z odroczoną instalacją drogiej infrastruktury zasilania i chłodzenia, takiej jak systemy UPS, listwy zasilające, szafy, dystrybucja zasilania w rzędzie, klimatyzatory i urządzenia rozdzielcze powietrza. Decyzja dotycząca określenia gęstości w danej strefie lub rzędzie mogłaby zostać odłożona aż do momentu instalacji, a infrastruktura zasilania i chłodzenia byłaby wdrażana w kolejnych rzędach. Praktycznym przykładem takiej architektury jest system InfraStruXure firmy APC. To omówienie prowadzi do kolejnego kluczowego elementu proponowanej metody określania gęstości: Rzędy lub strefy w centrum danych, które mają zostać zainstalowane w przyszłości, powinny być zaplanowane dla najgorszego przypadku wysokiej gęstości. Główna instalacja zasilania i rurowa powinny zostać zainstalowane z wyprzedzeniem, aby zapewnić obsługę tej gęstości. Jednakże sam wybór urządzeń zasilania i chłodzenia dla rzędów powinien zostać odłożony do momentu zdefiniowania gęstości instalacji i planu. W ten sposób główne czynniki kosztów infrastruktury zasilania i chłodzenia zostają dopasowane do rzeczywistego zastosowania oraz wdrożone w miejscu i czasie, gdy jest to niezbędne. Powoduje to znaczne zmniejszenie kosztów inwestycyjnych oraz operacyjnych i powoduje, że centrum danych jest znacznie bardziej efektywne pod względem wykorzystania energii. Model Teraz możliwe jest utworzenie modelu specyfikacji gęstości mocy, który spełni określone wcześniej wymagania i uwzględni różnego rodzaju ograniczenia praktyczne. Model ten obejmuje następujące elementy kluczowe: Tworzony jest fizyczny układ centrum danych, który oparty jest na rzędach szaf lub obudów. Dla każdego rzędu wymagane są dane z tabeli 2. APC by Schneider Electric White Paper 120 Wersja 13

Tabela 2 Data required at the row level Dane Jednostki Opis Główne zastosowanie Liczba lokalizacji szaf Liczba Liczba lokalizacji szaf w rzędzie. Obejmuje wszystkie lokalizacje, z których część może być zajęta przez urządzenia zasilające lub chłodzące, co jest zależne od architektury. Określenie całkowitych wymagań dotyczących zasilania i chłodzenia dla rzędu Przeciętna wartość na szafę w rzędzie kw/szafę Przeciętna gęstość mocy na szafę dla poszczególnych szaf w określonym rzędzie. Wartość tę należy określić dla każdego rzędu w pomieszczeniu. Określenie ogólnych wymagań dotyczących dystrybucji zasilania i chłodzenia dla rzędu Szczytowa wartość na szafę w rzędzie kw/szafę Szczytowa gęstość mocy na szafę dla każdej szafy w określonym rzędzie. Wartość tę należy określić dla każdego rzędu w pomieszczeniu. Określenie projektu systemu dystrybucji zasilania i chłodzenia na poziomie szafy Tabela 3 Obliczone dane gęstości Dla rzędów wdrażanych w przyszłości należy przyjąć maksymalne, realistyczne wartości średniej i szczytowej mocy na szafę, pamiętając jednak, że wartości te można obniżyć przed wdrożeniem przy niewielkim koszcie wynikającym z nadmiarowości głównej instalacji zasilania i instalacji rurowej. Na podstawie powyższych informacji można obliczyć dane w tabeli 3. Dane Jednostki Opis Główne zastosowanie Całkowita liczba dostępnych szaf IT Liczba Liczba szaf dostępnych w projekcie po odjęciu lokalizacji szaf przydzielonych dla infrastruktury zasilania lub chłodzenia Określenie całkowitej przestrzeni dostępnej dla szaf IT do celów planowania Całkowite wstępne wymagania mocy kw Wymagania dotyczące zasilania i chłodzenia dla pomieszczenia IT bez uwzględnienia przyszłych instalacji Określenie inwestycji w infrastrukturę zasilania i chłodzenia, które są wymagane natychmiast Całkowite końcowe wymagania mocy kw Wymagania dotyczące zasilania i chłodzenia w pomieszczeniu dla najgorszego przypadku Określenie wielkości infrastruktury kluczowej instalacji, włącznie z rozdzielnicami zasilania, przewodami i instalacją rurową chłodzenia Szczytowa gęstość mocy kw/szafę Najwyższa gęstość mocy w dowolnym rzędzie Określenie architektury dystrybucji chłodzenia Przeciętna gęstość mocy w centrum danych kw/szafę Zbiorczy atrybut gęstości dla centrum danych Umożliwienie konwersji na inne popularne jednostki, takie jak W/stopę 2 lub W/m 2. Taka konwersja wymaga wybrania definicji z tabeli 1. Najbardziej złożonym problemem podczas definiowania gęstości z użyciem tej metody jest określenie lokalizacji szaf wymaganych dla infrastruktury zasilania i chłodzenia, a przez to niedostępnych dla sprzętu IT. Podczas szacowania gęstości można przyjąć, że na każde 15 APC by Schneider Electric White Paper 120 Wersja 14

kw mocy sprzętu IT przypada jedna lokalizacja szafy zajmowana przez infrastrukturę zasilania i chłodzenia. Założenie to oparto na przeciętnych wymaganiach wobec zasilania i chłodzenia (z uwzględnieniem odstępów), które występują w istniejących instalacjach 1N i 2N centrum danych. Dokładna wartość zależna będzie od wybranej architektury zasilania i chłodzenia, ograniczeń pomieszczenia oraz zaleceń określonych przez dostawcę systemu. Na przykład w przypadku centrum danych z systemem APC InfraStruXure firma APC zapewnia narzędzia do projektowania wspomaganego komputerowo, które wykonują obliczenia dla każdego projektu pomieszczenia. Praktyczne wskazówki dotyczące zastosowania Zastosowanie opisanego modelu określania gęstości nie zapewnia uzyskania optymalnego projektu pomieszczenia. Na powodzenie całej instalacji wpływają również decyzje podjęte przez użytkownika dotyczące układu pomieszczenia i wyboru samego pomieszczenia, a także oszacowanie wymagań wobec gęstości. Jednakże zastosowanie tego modelu zapewnia wiele korzyści, które przedstawiono poniżej: Model zapewnia pełniejszy i dokładniejszy opis gęstości w centrum danych niż inne często stosowane metody specyfikacji. Centra danych zbudowane zgodnie ze specyfikacją będą cechowały się bardziej przewidywalną wydajnością. Model jest na tyle precyzyjnie określony, że możliwe jest szybkie oszacowanie kosztów (włącznie z kosztami inwestycyjnymi i operacyjnymi), przyspieszenie cyklu projektowania oraz wykonanie analiz alternatywnych scenariuszy. Model obsługuje system modułowej i skalowanej instalacji centrum danych, co może znacznie zredukować całkowity koszt posiadania i zwiększyć sprawność elektryczną. Praktyczne zastosowania przedstawionej metody określania gęstości obejmują: Porównanie całkowitego kosztu posiadania powiązanego z alternatywnymi lokalizacjami centrum danych lub pomieszczeniami. Szacowanie kosztów związanych ze zwiększeniem gęstości w planowanym lub istniejącym centrum danych. Zapewnienie specyfikacji, która jednoznacznie określa wymagania wobec gęstości w postaci czytelnej dla użytkowników urządzeń IT, dzięki czemu użytkownicy urządzeń IT, operatorzy centrum danych i dostawcy systemów dla centrum danych mogą określić te same oczekiwania. Zastosowanie tej metody określania gęstości w narzędziach do wspomaganego komputerowo projektowania centrum danych może ułatwić i zautomatyzować proces tworzenia specyfikacji i projektowania. Przykład specyfikacji centrum danych Poniższy przykład przedstawia sposób użycia modelu do określenia rzeczywistego centrum danych. W tym przypadku zapewniono pomieszczenie dla projektu konsolidacji serwerów. Wszystkie zasilacze UPS, listwy zasilające i systemy chłodzenia nie istnieją i muszą zostać umieszczone w tym pomieszczeniu. Ze względu na kubaturę pomieszczenia nie istnieje podłoga podniesiona; nie jest także możliwe jej zamontowanie. Wdrożona zostanie kombinacja urządzeń sieciowych, włącznie z serwerami kasetowymi, serwerami montowanymi w szafach, pamięcią masową i urządzeniami sieciowymi. Serwery kasetowe muszą być umieszczone wspólnie i nie można ich rozmieścić w różnych szafach. Po oszacowaniu aktualnych wymagań stwierdzono, że zostanie zapełniona tylko połowa pomieszczenia. APC by Schneider Electric White Paper 120 Wersja 15

Pozostała część pomieszczenia zostanie zarezerwowana dla gęstości większej o 20% niż aktualna gęstość. W przyszłości znajdą się w niej co najmniej trzy szafy z serwerami kasetowymi, których pobór mocy oszacowano na 25 kw na szafę. W wymaganiach dostępności określono system zasilania i chłodzenia bez nadmiarowości. Zarys pomieszczenia przedstawiono na rysunku 3 wraz z proponowanym układem szaf. Łączna liczba lokalizacji szaf w pomieszczeniu wynosi 41. Zdecydowano, że rzędy 1, 2 i 3 zostaną zainstalowane natychmiast, a rzędy 4, 5, 6 i 7 będą wdrażane w późniejszym czasie. Przegląd aktualnego planu instalacji umożliwia przypisanie do rzędów niektórych urządzeń o podobnym poborze mocy, co pozwala zredukować współczynnik maksymalnej gęstości mocy w rzędach. Zgodnie z wymaganiami, serwery kasetowe zostaną umieszczone wspólnie w rzędzie 2. Specyfikacja na poziomie rzędów dla rzędów 1, 2 i 3 została wprowadzona do tabeli 4. APC by Schneider Electric White Paper 120 Wersja 16

Rysunek 3 Plan podłogi dla proponowanego centrum danych wraz z zalecanym układem szaf obraz pochodzi z narzędzia projektowania (BOT) systemu InfraStruXure firmy APC) APC by Schneider Electric White Paper 120 Wersja 17

Tabela 5 Dane gęstości w rzędach dla proponowanego centrum danych Dane Jednostki Rząd 1 Rząd 2 Rząd 3 Rząd 4 Rząd 5 Rząd 6 Rząd 7 Liczba lokalizacji szaf Liczba 7 7 7 5 5 5 5 41 Suma Przeciętna wartość na szafę w rzędzie Szczytowa wartość na szafę w rzędzie kw/szafę 2 5 3 4 4 4 4 3,7 kw/szafę 4 15 6 15 15 15 15 15 Na podstawie tych informacji można obliczyć, że przeciętna gęstość pierwszej instalacji wynosi (2*7+ 5*7+ 3*7)/21 = 3,3 kw na szafę. Jeżeli zostaną zaplanowane dodatkowe rzędy z gęstością wyższą o 20% (jednak jeszcze bez określania ich szczegółów), ogólna przeciętna gęstość w centrum danych wyniesie (2*7+ 5*7+ 3*7+ 4*5+ 4*5 + 4*5+ 4*5)/41 = 3,7 kw na szafę. Określenie wysokiej gęstości szczytowej dla przyszłych, niezdefiniowanych jeszcze rzędów, zapewnia sporą elastyczność w zakresie dokonywania zmian w projekcie tych rzędów. Tabela 4 przedstawia te przyszłe specyfikacje dla rzędów 4, 5, 6 i 8. Jedyną konsekwencją określenia wysokiej wartości szczytowej dla rzędów instalowanych w przyszłości jest ostrożne określenie rozmiaru głównych systemów zasilania i chłodzenia. Na podstawie rysunku 1 można oszacować, że całkowita przestrzeń zajmowana przez urządzenia zasilające i chłodzące wyniesie 30% przy przeciętnej gęstości mocy 3,7 kw na szafę, co odpowiada 13 szafom (30% x 41 szaf). Na podstawie tej wartości i specyfikacji gęstości można stwierdzić, że całkowita liczba dostępnych szaf IT wyniesie 70%, czyli 28 szaf. Specyfikacja gęstości dla proponowanego projektu konsolidacji serwerów składa się z danych w tabeli 4 oraz z obliczonych wartości podanych w tabeli 5. APC by Schneider Electric White Paper 120 Wersja 18

Tabela 5 Obliczone dane na poziomie pomieszczenia dla proponowanego centrum danych Dane Wartość Jednostki Komentarz Całkowita liczba dostępnych szaf IT 28 Liczba Całkowite wstępne wymagania mocy 47 kw Całkowite końcowe wymagania mocy 104 kw Szczytowa gęstość mocy 15 kw/szafę Część przestrzeni w centrum danych zostanie zajęta przez urządzenia zasilające i chłodzące. Początkowo należy zainstalować urządzenia zasilające i chłodzące o mocy co najmniej 47 kw. Na podstawie rysunku 1 oraz gęstości rzędów 1, 2 i 3 można stwierdzić, że liczba dostępnych lokalizacji szaf IT wynosi odpowiednio 6, 4 i 5 (6 x 2 kw/szafę + 4 x 5 kw/szafę + 5 x 3 kw/szafę = 47 kw). Instalacja pozostałej części urządzeń zasilających i chłodzących (maksymalnie do 60 kw) zostaje odłożona do momentu określenia specyfikacji pozostałych rzędów (28 szaf IT x 3,7 kw/szafę = 104 kw). Chłodzenie przy tak wysokiej gęstości ogranicza dostępne opcje i zwiększa koszty. Przed zatwierdzeniem projektu z tą gęstością należy wykonać próbę dalszego rozprzestrzenienia tych obciążeń szczytowych. Przeciętna gęstość mocy w centrum danych 3,7 kw/szafę Gęstość w tym centrum danych, zgodnie ze specyfikacją, jest ponad dwa razy większa niż gęstość w przeciętnym istniejącym centrum danych. Taką wartość gęstości osiąga obecnie mniej niż 2% centrów danych. W tym momencie możliwe jest utworzenie projektu. Kolejnym krokiem będzie określenie rzeczywistego położenia urządzeń zasilających i chłodzących na podstawie charakterystyki tego sprzętu i projektu systemu. Ten proces jest oparty na złożonych modelach matematycznych określonego sprzętu oraz na regułach optymalizacji i preferencjach klienta. Jest on unikalny dla różnych dostawców urządzeń zasilających oraz chłodzących i nie zostanie omówiony w tym artykule. W idealnej sytuacji projekt będzie wymagał tylko tych urządzeń zasilających i chłodzących, które były wymagane w czasie wstępnej instalacji; ułatwi również przewidywanie i instalację takiego sprzętu w przyszłości w celu wykonania częściowo określonego planu przyszłego wdrożenia. Na przykład w czasie pierwszej fazy wdrożenia należy zapewnić wstępną instalację głównych przewodów zasilania i instalacji rurowej chłodzenia dla szaf istniejących w przyszłości. Należy pamiętać, że dla rzędów instalowanych w przyszłości określono przeciętne i szczytowe wartości gęstości mocy na szafę, ale wartości te mogą zmienić się w dowolnym momencie przed wykonaniem instalacji, pod warunkiem, że całkowita moc pomieszczenia nie przekroczy aktualnie zaplanowanej wartości. APC by Schneider Electric White Paper 120 Wersja 19

Wniosek Konwencjonalne metody opisywania gęstości w centrum danych są niepełne i niejasne. Te tradycyjne metody uniemożliwiają uzyskanie potrzebnych informacji podczas planowania w celu uzyskania przewidywalnej wydajności infrastruktury zasilania i chłodzenia w centrum danych z najnowszą generacją sprzętu IT o wysokiej gęstości mocy. W tym artykule omówiono wymagania dotyczące określania gęstości i przedstawiono nową metodę specyfikacji. Metoda ta zapewnia gotowe do użycia specyfikacje, które umożliwiają wymianę wymagań między pracownikami działu IT i projektantami obiektu, a także pozwalają na tworzenie centrów danych, które są przewidywalne, ekonomiczne i cechują się wysoką sprawnością elektryczną. O autorze: Neil Rasmussen jest założycielem i głównym specjalistą ds. technicznych firmy American Power Conversion (APC). W firmie APC Neil zarządza największym na świecie budżetem badawczo-rozwojowym przeznaczonym na infrastrukturę zasilania, chłodzenia i szaf w sieciach o kluczowym znaczeniu, przy czym główne centra rozwojowe produktów znajdują się w Massachusetts, Missouri, Danii, na Rhode Island, na Tajwanie oraz w Irlandii. Obecnie Neil kieruje w firmie APC pracami, które mają na celu utworzenie modularnych, skalowalnych rozwiązań dla centrów danych. Przed założeniem firmy APC w 1981 r. Neil Rasmussen uzyskał tytuł licencjata i magistra o specjalności elektrotechnika w Massachusetts Institute of Technology (MIT), gdzie napisał pracę analizującą źródło zasilania o mocy 200 MW dla reaktora Tokamak Fusion. W latach 1979 1981 pracował w MIT Lincoln Laboratories nad systemami magazynowania energii koła zamachowego oraz systemami wytwarzania energii słonecznej. APC by Schneider Electric White Paper 120 Wersja 20