Jak obliczać chłodzenie wymagane w centrach danych Neil Rasmussen White Paper 25 Wersja 1
Streszczenie W niniejszym dokumencie opisano metodę obliczania ciepła wydzielanego przez sprzęt komputerowy oraz inne urządzenia w centrach danych, takie jak zasilacze UPS w celu doboru systemów chłodzenia odpowiedniej wielkości. W dokumencie zawarto także kilka najczęściej używanych współczynników służących do przeliczania jednostek ciepła oraz wskazówki dotyczące wartości stosowanych przy projektowaniu systemów chłodzenia. 2
Wstęp Każde urządzenie elektryczne wytwarza ciepło, które należy odprowadzić, aby wzrost temperatury urządzenia nie przekroczył dopuszczalnego poziomu. Większość sprzętu komputerowego i innego sprzętu znajdującego się w centrach danych lub w pomieszczeniach z urządzeniami sieciowymi jest chłodzona powietrzem. Dobór systemu chłodzenia odpowiedniej wielkości wymaga wyznaczenia ilości ciepła wytwarzanej przez sprzęt znajdujący się w zamkniętym pomieszczeniu oraz ilości ciepła wytwarzanej przez inne typowe źródła ciepła. Pomiar wydzielanego ciepła Ciepło jest rodzajem energii i dlatego jest zazwyczaj mierzone w dżulach, jednostkach BTU, tonach lub kaloriach. Wydzielane ciepło mierzy się zazwyczaj w jednostkach BTU na godzinę, tonach na dzień i dżulach na sekundę (jeden dżul na sekundę jest równy jednemu watowi). Nie istnieje żaden poważny powód, który by wyjaśniał, dlaczego te różne jednostki miary stosuje się w celu wyrażenia tych samych cech, jednakże moc lub chłodzenie danego urządzenia można określać za pomocą każdej z tych jednostek. Stosowanie tak wielu jednostek miary powoduje olbrzymie, niepotrzebne zamieszanie wśród użytkowników i osób odpowiedzialnych za specyfikacje sprzętu. Na szczęście zgodnie z obecną światową tendencją wśród organizacji normalizacyjnych wszystkie jednostki mocy i chłodzenia są zastępowane przez jednostkę wat, która jest znormalizowaną jednostką mocy. Tak archaiczne jednostki miary jak BTU i tony zostaną stopniowo wycofane z użytku 1. Z tego powodu w tym dokumencie wielkości dotyczące mocy i chłodzenia będą podawane w watach. Stosowanie wata jako powszechnej znormalizowanej jednostki jest nieprzypadkowe, ponieważ, jak można będzie zobaczyć w dalszej części dokumentu, ułatwia to prace związane z projektowaniem centrów danych. W Ameryce Północnej specyfikacje dotyczące mocy i chłodzenia są często podawane w starszych jednostkach, tj. w BTU i tonach. Dlatego też poniżej zamieszczono współczynniki mogące być przydatne podczas przeliczania wspomnianych jednostek: Jednostka wejściowa Mnożnik BTU na godzinę 0,293 wat Jednostka wyjściowa wat 3,41 BTU na godzinę tona 3,530 wat wat 0,000283 tona 1 Pojęcie tona odnosi się do zdolności chłodzenia lodu i jest pozostałością z lat 1870 1930, kiedy to urządzenia chłodzące i wentylacyjne działały w oparciu o codzienne dostawy bloków lodu. 3
Rząd mocy, którą sprzęt komputerowy i inny sprzęt informatyczny przekazują przez kable transmisji danych, jest pomijalny. Z tego powodu moc pobierana z gniazda zasilania jest zasadniczo w całości zamieniana na ciepło. Dzięki temu wartość ciepła wydzielanego przez urządzenia IT w watach jest równa wartości poboru mocy w watach. Stosowanie jednostek BTU na godzinę, podawanych czasami w arkuszach danych do określania ciepła wydzielanego przez sprzęt, nie jest konieczne. Wydzielane ciepło jest po prostu równe poborowi mocy 2. Obliczanie ciepła wydzielanego przez cały system Całkowite ciepło wydzielane przez system jest sumą ciepła wydzielanego przez wszystkie jego elementy. Cały system składa się ze sprzętu informatycznego oraz innych elementów, takich jak zasilacze UPS, urządzenia dystrybucji zasilania, urządzenia chłodzące, oświetlenie oraz personel. Na szczęście ciepło wydzielane przez te elementy można łatwo obliczyć przy pomocy prostych i znormalizowanych zasad. Ciepło wydzielane przez systemy dystrybucji zasilania i zasilaczy UPS składa się ze stałej straty oraz straty proporcjonalnej do mocy roboczej. Te straty są stosunkowo niezależne od marki i modelu sprzętu, tak więc można je w przybliżeniu obliczyć bez popełnienia poważnego błędu. Stosując znormalizowane wartości można też łatwo określić ilość ciepła wydzielanego przez oświetlenie i personel. Aby określić wymagania dotyczące chłodzenia dla danego systemu potrzebnych jest jedynie kilka łatwo dostępnych danych, takich jak powierzchnia pomieszczenia w stopach kwadratowych oraz znamionowa moc zasilania systemu. Urządzenia chłodzące wydzielają znaczącą ilość ciepła z wentylatorów i kompresorów. Ciepło to jest usuwane na zewnątrz i nie wytwarza obciążenia cieplnego wewnątrz centrum danych. Z drugiej strony, ciepło to zmniejsza wydajność systemu chłodzenia i jest zazwyczaj uwzględniane podczas obliczania wielkości klimatyzatora. Możliwa jest szczegółowa analiza termiczna przy zastosowaniu danych dotyczących ciepła wydzielanego przez każdy element w centrum danych, lecz szybka szacunkowa ocena przeprowadzona na podstawie prostych zasad daje wynik, który mieści się w granicach błędu bardziej szczegółowej analizy. Szybka szacunkowa ocena ma także tą zaletę, że może ją wykonać osoba bez specjalistycznej wiedzy lub wyszkolenia. Tabela 1 zawiera arkusz kalkulacyjny, który umożliwia szybkie wyliczenia obciążenia cieplnego. Stosując ten arkusz, można szybko i rzetelnie określić całkowitą wartość ciepła wydzielanego przez centrum danych. Sposób korzystania z arkusza kalkulacyjnego został opisany w procedurze znajdującej się poniżej Tabeli 1. 2 Uwaga: jedynym wyjątkiem od tej zasady są routery Voice Over IP (VOIP); w przypadku tych urządzeń do 30% poboru mocy może być przesyłane do zdalnych terminali, a w wyniku tego wartość ciepła wydzielanego przez takie routery może być niższa od wartości poboru mocy. W niniejszym artykule przyjęto założenie, że całkowita wartość pobieranego zasilania zostaje rozproszona na miejscu, w efekcie czego podawane w tej pracy ciepło wydzielane przez routery VOIP będzie wyższe niż w rzeczywistości, co w większości przypadków stanowi nieistotny błąd. 4
Tabela 1 Arkusz obliczania ciepła wydzielanego przez centrum danych lub pomieszczenie z urządzeniami sieciowymi Element Wymagane dane Obliczenie wydzielanego ciepła Sprzęt IT Zasilacz UPS z akumulatorem Dystrybucja zasilania Oświetlenie Ludzie Całkowita moc obciążenia sprzętu IT w watach Moc znamionowa systemu zasilania w watach Moc znamionowa systemu zasilania w watach Powierzchnia pomieszczenia w stopach kwadratowych lub Powierzchnia pomieszczenia w metrach kwadratowych Maksymalna liczba personelu w centrum danych Równa całkowitej mocy obciążenia sprzętu IT w watach (0,04 x znamionowa moc systemu) + (0,06 x całkowita moc obciążenia sprzętu IT) (0,02 x znamionowa moc systemu) + (0,02 x całkowita moc obciążenia sprzętu IT) 2,0 x powierzchnia pomieszczenia (stopy kwadratowe) lub 21,53 x powierzchnia pomieszczenia (metry kwadratowe) 100 x maksymalna liczba personelu Suma Powyższe sumy częściowe Suma sum częściowych wydzielanego ciepła Suma częściowa wydzielanego ciepła Procedura Uzyskaj informacje, które są potrzebne do uzupełnienia kolumny Wymagane dane. W przypadku jakichkolwiek pytań zapoznaj się z definicjami danych znajdującymi się poniżej. Oblicz wartości ciepła wydzielanego przez elementy i wpisz wyniki w kolumnę sumy częściowej. Dodaj do siebie sumy częściowe, aby otrzymać całkowite wydzielane ciepło. Definicje danych Całkowita moc obciążenie sprzętu IT w watach suma mocy wejściowej wszystkich urządzeń IT. Moc znamionowa systemu zasilania w watach moc znamionowa systemu zasilaczy UPS. Jeśli stosowany jest system nadmiarowy, nie należy uwzględniać mocy znamionowej nadmiarowego zasilacza UPS. 5
Przykładowy system Poniżej określono wartość ciepła wydzielanego przez typowe centrum danych. Jako przykład wykorzystano centrum danych o powierzchni 5 000 stóp 2 (465 m 2 ) i mocy znamionowej 250 kw z 150 szafami i maksymalnie 20 osobami personelu. W przykładzie przyjęto założenie, że centrum danych jest obciążone w 30% mocy, co stanowi typową wartość. Omówienie typowego wykorzystania znajduje się w dokumencie White Paper 37 firmy APC Jak uniknąć kosztów związanych z nadmierną wielkością instalacji w centrum przetwarzania danych. Całkowite obciążenie centrum danych wyniosłoby w tym przypadku 30% z 250 kw, czyli 75 kw. W tych warunkach całkowite ciepło wydzielane przez centrum danych wynosi 108 kw, to jest około 50% więcej niż obciążenie sprzętu IT. Rysunek 1 przedstawia względny udział różnych typów elementów centrum danych w całkowitej wartości wydzielanego ciepła dla przykładowego centrum danych. Rysunek 1 Względne udziały w całkowitej wartości wydzielanego ciepła dla typowego centrum danych Dystrybucja zasilania 6% Oświetlenie 9% Personel 2% Zasilacze UPS 13% Moc sprzętu IT 70% Należy pamiętać, że względny udział ciepła wydzielanego przez zasilacze UPS i jednostki dystrybucji zasilania jest tak duży, gdyż system działa, wykorzystując jedynie 30% mocy. Gdyby system działał, wykorzystując 100% mocy, to wydajność systemów zasilania zwiększyłaby się, zaś ich względny udział w ilości ciepła wydzielanego przez system byłby mniejszy. Znacząca utrata wydajności to rzeczywisty koszt nadmiernej wielkości systemu. 6
Inne źródła ciepła Powyższa analiza nie bierze pod uwagę źródeł ciepła pochodzących z otoczenia, takich jak światło słoneczne przenikające przez okna i ciepło przewodzone z zewnętrznych ścian. Wiele małych centrów danych oraz pomieszczeń z urządzeniami sieciowymi nie posiada zewnętrznych ścian lub okien, więc w tych przypadkach przyjęte założenie nie powoduje powstania błędu. Jednakże w przypadku dużych centrów danych mających ściany lub dach wystawione na działanie czynników zewnętrznych, system chłodzenia musi odprowadzić dodatkowe ciepło, które przenika do takiego centrum. Jeśli pomieszczenie przetwarzania danych znajduje się wewnątrz obiektu wyposażonego w system chłodzenia, inne źródła ciepła można pominąć. Jeśli ściany lub dach danego centrum danych są w znaczącym stopniu wystawione na działanie czynników zewnętrznych, to konsultant do spraw ogrzewania, wentylacji i klimatyzacji będzie musiał oszacować maksymalne obciążenie cieplne, które należy dodać do wymagań cieplnych całego systemu wyznaczonych w poprzedniej części tego artykułu. Nawilżanie System klimatyzatora centrum danych ma za zadanie nie tylko odprowadzać ciepło, lecz także kontrolować wilgotność powietrza. W warunkach idealnych po uzyskaniu odpowiedniej wilgotności system mógłby działać przy stałej zawartości wody w powietrzu, co z kolei nie wymagałoby nawilżania powietrza. Niestety w większości systemów chłodzenia funkcja chłodzenia powietrza powoduje powstanie znaczącej kondensacji pary wodnej, a w konsekwencji utratę wilgotności. Z tego powodu wymagane jest nawilżanie uzupełniające w celu utrzymania pożądanego poziomu wilgotności powietrza. Nawilżanie uzupełniające wytwarza dodatkowe obciążenie cieplne na urządzeniu CRAC, efektywnie zmniejszając chłodzenie jednostki, co z kolei wymaga jej nadmiernej wielkości. W przypadku małych pomieszczeń przetwarzania danych lub dużych pomieszczeń okablowania system chłodzenia, który oddziela objętość odprowadzanego powietrza od objętości powietrza pobieranego przez zastosowanie przewodów, może spowodować, że będzie występować zjawisko kondensacji, co z kolei wyeliminuje konieczność stosowania nawilżania uzupełniającego. Dzięki temu można wykorzystać 100% znamionowej mocy chłodzącej, co umożliwia uzyskanie maksymalnej wydajności. W przypadku dużych centrów danych, gdzie mieszają się duże ilości powietrza, urządzenie CRAC musi dostarczać powietrza o niskiej temperaturze, tak aby uniknąć efektu recyrkulacji odprowadzanego z urządzeń powietrza o wyższej temperaturze. To z kolei powoduje znaczące obniżenie wilgotności powietrza i konieczność stosowania nawilżania uzupełniającego. W efekcie wydajność systemu wentylacji ulega znacznemu zmniejszeniu. Aby temu zapobiec, urządzenie CRAC musi być większy nawet o 30%. 7
Wymagana nadwymiarowość urządzenia CRAC zawiera się więc w przedziale od 0% dla małych systemów z przewodowym odprowadzaniem powietrza do 30% dla systemów o dużym poziomie wymieszania powietrza w pomieszczeniu. Więcej informacji o nawilżaniu znajduje się w dokumencie White Paper 58 firmy APC Humidification Strategies for Data Centers and Network Rooms (dostępny tylko w języku angielskim). Dobieranie chłodzenia odpowiedniej wielkości Po określeniu wymagań dotyczących chłodzenia można określić wielkość potrzebnego systemu chłodzenia. Należy wziąć pod uwagę następujące czynniki, wcześniej opisane w tym artykule: Wielkość obciążenia chłodzenia sprzętu (w tym urządzenia zasilające) Wielkość obciążenia chłodzenia budynku Nadmierna wielkość mająca uwzględnić efekt nawilżania Nadmierna wielkość mająca zapewnić nadmiarowość Nadmierna wielkość w celu zaspokojenia przyszłych wymagań Wartości obciążeń tych wszystkich czynników podane w watach należy zsumować, aby otrzymać wartość całkowitego obciążenia cieplnego. Wnioski Obliczanie wymagań dotyczących chłodzenia systemów IT można ograniczyć do prostego procesu, który może przeprowadzić osoba bez specjalistycznego wyszkolenia. Podawanie wszystkich wartości mocy i chłodzenia w watach upraszcza obliczenia. Ogólna zasada mówi, że wydajność znamionowa urządzenia CRAC musi być 1,3 raza większa od przewidywanego znamionowego obciążenia sprzętu IT; należy także uwzględnić dodatkową wydajność dla zapewnienia nadmiarowości. Takie podejście przynosi znakomity efekt w przypadku pomieszczeń z urządzeniami sieciowymi o powierzchni poniżej 4000 stóp 2 (372 m 2 ). W przypadku większych centrów danych same wymagania dotyczące chłodzenia nie są zazwyczaj wystarczającą podstawą dla wybrania odpowiedniego klimatyzatora. Zazwyczaj duże znaczenie ma wpływ innych źródeł ciepła, takich jak ściany i dach; wpływ tych źródeł ciepła i recyrkulacji na daną instalację należy zbadać i ocenić. Konstrukcja sieci przewodów powietrza oraz podłogi podniesionej ma znaczący wpływ na całkowitą wydajność systemu, a także w dużym stopniu wpływa na jednorodność temperatury w centrum danych. Zastosowanie prostej, znormalizowanej, modularnej architektury systemów dystrybucji powietrza w połączeniu z opisaną prostą metodą szacunkowej oceny obciążenia cieplnego mogłoby znacząco ograniczyć wymagania konstrukcyjne przy projektowaniu centrów danych. 8
Informacje o autorze: Neil Rasmussen jest założycielem i głównym dyrektorem technicznym firmy American Power Conversion. W firmie APC zarządza on największym na świecie budżetem przeznaczonym na badania i rozwój w zakresie infrastruktury zasilania, chłodzenia i szaf dla sieci o znaczeniu krytycznym; główne centra tworzenia produktów znajdują się w Massachusetts, Missouri, Rhode Island, na Tajwanie, w Danii oraz Irlandii. Obecnie Neil kieruje w firmie APC pracami, które mają na celu utworzenie modularnych, skalowalnych rozwiązań dla centrów danych. Przed założeniem firmy APC w 1981 r. Neil Rasmussen uzyskał tytuł licencjata i magistra o specjalności elektrotechnika w Massachusetts Institute of Technology (MIT), gdzie napisał pracę analizującą źródło zasilania o mocy 200 MW dla reaktora Tokamak Fusion. W latach 1979 1981 pracował w MIT Lincoln Laboratories nad systemami magazynowania energii koła zamachowego oraz nad systemami energii słonecznej. 9