Audyt umożliwiający wykrycie potencjalnych problemów w systemach chłodzenia centrów obliczeniowych

Audyt umożliwiający wykrycie potencjalnych problemów w systemach chłodzenia centrów obliczeniowych Autor: Kevin Dunlap Raport nr 40 Wersja 1

Streszczenie Coraz mniejsze rozmiary fizyczne urządzeń komputerowych oraz wzrost poboru mocy przez procesory stawiają menedżerów centrów obliczeniowych w obliczu nowych wyzwań związanych z odpowiednim rozprowadzeniem chłodnego powietrza, odprowadzeniem gorącego powietrza i zapewnieniem wystarczającej wydajności chłodniczej. W niniejszym artykule zamieszczono listę kontrolną umożliwiającą zidentyfikowanie i ocenę potencjalnych problemów, które mogą negatywnie wpłynąć na chłodzenie centrum obliczeniowego. 2

Wstęp Zmniejszenie wymiarów fizycznych urządzeń przy jednoczesnym wzroście mocy procesorów stwarza nowe problemy związane z budową i utrzymaniem środowisk o newralgicznym znaczeniu. Mimo zapewnienia wystarczającej mocy zasilania centrum obliczeniowego i wydajności sytemu jego chłodzenia dystrybucja chłodnego powietrza do odpowiednich miejsc może nie być optymalna. W sytuacji, gdy w pojedynczej szafie montowanych jest coraz więcej urządzeń o niewielkich rozmiarach, a menedżerowie wielu ośrodków obliczeniowych rozważają budowę dużych instalacji z wieloma szafami zawierającymi ultrakompaktowe serwery blade, większy pobór mocy i ilość rozpraszanego ciepła stają się przedmiotem uważnych analiz. Takie nowe systemy (zob. Rysunek 1) zajmują znacznie mniej miejsca niż tradycyjne serwery montowane w szafach, jednak charakteryzują się radykalnie większą gęstością cieplną. Zainstalowanie w centrum obliczeniowym wielu szaf o dużej gęstości może być przyczyną rozmaitych problemów, od natychmiastowych awarii po niewyjaśnione spowolnienie działania i skróconą żywotność urządzeń. Rysunek 1 Przykłady redukcji rozmiarów fizycznych Opracowując projekt systemu chłodzenia centrum obliczeniowego należy dążyć do utworzenia drogi swobodnego przepływu od źródła chłodzonego powietrza do wlotów w obudowach serwerów. Konieczne jest również utworzenie drogi swobodnego przepływu od tylnych wylotów powietrza z obudów serwerów do kanału powrotnego powietrza, prowadzącego do klimatyzatora. Istnieje jednak szereg czynników, które mogą negatywnie wpłynąć na realizację tych założeń. 3

Aby stwierdzić, czy istnieje (rzeczywisty lub potencjalny) problem dotyczący infrastruktury chłodzenia centrum obliczeniowego, należy przeprowadzić pewne czynności kontrolne i pomiary. Taki audyt pozwoli określić stan centrum obliczeniowego i uniknąć awarii urządzeń elektronicznych spowodowanych niewłaściwą temperaturą. Audyt może także posłużyć do określenia, czy dostępna wydajność chłodnicza będzie wystarczająca w przyszłości. Wyniki opisywanych pomiarów kontrolnych należy rejestrować i analizować przy użyciu szablonu zamieszczonego w Załączniku. Należy ocenić aktualny stan i zdefiniować warunki wyjściowe; w ten sposób będzie można stwierdzić, czy podejmowane działania przynoszą poprawę sytuacji. W niniejszym dokumencie opisano sposoby identyfikacji potencjalnych problemów z chłodzeniem wpływających na całkowitą wydajność chłodniczą, na maksymalną dopuszczalną gęstość oraz na sprawność centrum obliczeniowego. Rozwiązania tych problemów opisano w raporcie White Paper firmy APC nr 42 pt. Ten Steps to Solving Cooling Problems Caused by High Density Server Deployment (Dziesięć kroków do rozwiązania problemów z chłodzeniem spowodowanych instalacją serwerów o dużej gęstości). 4

1. Kontrola wydajności Pierwszym krokiem do zapewnienia odpowiedniego chłodzenia jest sprawdzenie, czy wydajność układu chłodzącego odpowiada aktualnej i planowanej mocy urządzeń; należy przy tym pamiętać, że na każdy wat pobierany przez urządzenia komputerowe musi przypadać 1 wat wydajności chłodniczej. Typowy system chłodzenia składa się z klimatyzatora CRAC (ang. Computer Room Air Conditioning) dostarczającego schłodzone powietrze do pomieszczenia oraz zamontowanego na zewnątrz urządzenia oddającego ciepło do atmosfery. Więcej informacji na temat działania klimatyzatorów oraz różnych typów klimatyzatorów można znaleźć w raporcie White Paper firmy APC nr 57 pt. Fundamental Principles of Air Conditioners for Information Technology (Zasady działania klimatyzatorów stosowanych do chłodzenia urządzeń komputerowych) oraz nr 59, The Different Types of Air Conditioning Equipment for IT Environments (Rodzaje klimatyzatorów stosowanych w środowiskach komputerowych). Na rynku pojawiają się obecnie nowe typy klimatyzatorów CRAC, które można umieścić bliżej (a nawet wewnątrz) szaf w bardzo gęstych konfiguracjach. W niektórych przypadkach system chłodzenia może być od początku przewymiarowany z myślą o przyszłych obciążeniach cieplnych. Przewymiarowanie systemu chłodzenia powoduje niepotrzebne zużycie energii, którego można uniknąć. Więcej informacji na temat problemów spowodowanych niewłaściwym zwymiarowaniem systemu można znaleźć w raporcie White Paper firmy APC nr 25 pt. Calculating Total Cooling Requirements for Data Centers (Obliczanie wymaganej wydajności chłodzenia centrów obliczeniowych). Wydajność systemu chłodzenia podana jest na lub wewnątrz każdego klimatyzatora CRAC. Wartości wydajności można znaleźć w danych technicznych udostępnianych przez producenta. Producenci klimatyzatorów CRAC podają wydajność systemu przy założonej temperaturze powietrza na wlocie oraz wilgotności. Sterownik klimatyzatora wyświetla temperaturę powietrza na wlocie i wilgotność względną. Na podstawie danych technicznych należy określić wydajność jawną poszczególnych klimatyzatorów CRAC. Z kolei wydajność urządzeń zewnętrznych, oddających ciepło do otoczenia, powinna być co najmniej równa sumie wydajności wszystkich klimatyzatorów CRAC w pomieszczeniu. W przypadku mniejszych, gotowych systemów urządzenia wewnętrzne i zewnętrzne pochodzą często od tego samego producenta. W większych systemach urządzenie zewnętrzne może być zakupione osobno i pochodzić od innego producenta. W obu przypadkach urządzenia są najprawdopodobniej prawidłowo dobrane; dodatkową weryfikację doboru można zlecić zewnętrznej firmie. Jeśli wydajności klimatyzatorów CRAC i urządzeń zewnętrznych różnią się, należy w dalszej analizie używać mniejszej z tych dwóch wydajności. (Jeśli podczas pomiarów pojawią się wątpliwości, należy zwrócić się do producenta lub dostawcy.) W ten sposób określić można teoretyczną maksymalną wydajność chłodzenia centrum obliczeniowego. W dalszej części artykułu wykażemy, że istnieje szereg czynników, które mogą znacznie zmniejszyć rzeczywistą maksymalną wydajność. 5

Obliczoną wydajność maksymalną należy następnie porównać z obciążeniem cieplnym centrum obliczeniowego. W Tabeli 1 zamieszczono arkusz umożliwiający szybkie obliczenie obciążenia cieplnego. Posługując się tym arkuszem, można szybko i niezawodnie określić łączną moc cieplną centrum obliczeniowego. Sposób użycia arkusza opisano w procedurze pod Tabelą 1. Więcej informacji zawiera raport White Paper firmy APC nr 25 pt. Calculating Total Cooling Requirements for Data Centers (Obliczanie całkowitej wymaganej wydajności chłodzenia centrów obliczeniowych). Wymagane obciążenie cieplne uzyskane w wyniku poniższych obliczeń powinno być zawsze niższe od teoretycznej maksymalnej wydajności chłodniczej. Raport White Paper firmy APC nr 42, Ten Steps to Solving Cooling Problems Caused by High Density Server Deployment (Dziesięć kroków do rozwiązania problemów z chłodzeniem spowodowanych instalacją serwerów o dużej gęstości) zawiera opisy wybranych rozwiązań, które można zastosować w razie niespełnienia tego warunku. Tabela 1 Arkusz do obliczania obciążenia cieplnego centrum obliczeniowego lub serwerowni Element Wymagane dane Sposób obliczania obciążenia cieplnego Sprzęt komputerowy Łączna moc pobierana przez urządzenia komputerowe, w watach UPS z akumulatorem Dystrybucja zasilania Oświetlenie Ludzie Znamionowa moc systemu zasilania w watach Znamionowa moc systemu zasilania w watach Powierzchnia podłogi w stopach kwadratowych lub Powierzchnia podłogi w metrach kwadratowych Maks. liczba osób w centrum obliczeniowym Równa łącznej mocy pobieranej przez urządzenia, w watach (0,04 x znamionowa moc systemu zasilania) + (0,06 x łączna moc pobierana przez urządzenia komputerowe) (0,02 x znamionowa moc systemu zasilania) + (0,02 x łączna moc pobierana przez urządzenia komputerowe) 2,0 x powierzchnia podłogi (st. kw.) lub 21,53 x powierzchnia podłogi (m kw.) 100 x maks. liczba osób Razem Powyższe sumy częściowe Suma sum częściowych Suma częściowa obciążenia cieplnego W W W W W W 6

Procedura Należy uzyskać informacje wymienione w kolumnie Wymagane dane. W razie wątpliwości należy skorzystać z zamieszczonych poniżej definicji danych. Następnie należy obliczyć moc cieplną każdego elementu i wpisać wynik w kolumnie sum częściowych. Po dodaniu wszystkich sum częściowych uzyskamy całkowitą moc cieplną. Definicje danych Łączna moc pobierana przez urządzenia komputerowe, w watach suma mocy pobieranych przez wszystkie urządzenia komputerowe. Znamionowa moc systemu zasilania moc znamionowa systemu UPS. Jeśli używany jest system nadmiarowy, nie należy uwzględniać mocy nadmiarowego zasilacza UPS. 2. Kontrola klimatyzatorów CRAC Klimatyzatory CRAC w centrum obliczeniowym działające w sposób nieskoordynowany najprawdopodobniej nie zapewnią wymaganej wydajności i będą przyczyną podwyższonych kosztów eksploatacji. Klimatyzatory CRAC pracują zwykle w czterech trybach: chłodzenia, ogrzewania, nawilżania i osuszania. Wszystkie systemy w określonym obszarze (4-5 sąsiednich urządzeń) powinny zawsze działać w tym samym trybie, przy czym należy pamiętać, że dwa tryby (tj. chłodzenie i osuszanie) mogą być aktywne jednocześnie. Nieskoordynowane działanie klimatyzatorów w trybach wzajemnie znoszących się (np. osuszanie i nawilżanie) prowadzi do nieuzasadnionego wzrostu kosztów eksploatacyjnych oraz zmniejszenia wydajności chłodniczej. Klimatyzatory CRAC powinny być testowane w celu potwierdzenia zgodności zmierzonych temperatur (na wlocie i powrocie) oraz wilgotności z wartościami obliczeniowymi. Wzajemnie znoszące się działanie klimatyzatorów może mieć skrajnie negatywny wpływ na wydajność systemu CRAC. Jeśli problem ten nie zostanie rozwiązany, może doprowadzić do spadku wydajności o 20-30 %, co w najlepszym przypadku będzie przyczyną wzrostu kosztów eksploatacji, a w najgorszym przestojów spowodowanych niedostateczną wydajnością chłodniczą. Ze względu na wydajność i oszczędności należy rozważyć eksploatację systemu w pobliżu dolnej granicy przedziału wilgotności względnej. Niewielka zmiana nastawy w kierunku dolnego końca przedziału może radykalnie poprawić zdolność systemu do odprowadzania ciepła i skrócić czas pracy nawilżacza. Jak wynika z Tabeli 2, zmiana nastawy wilgotności względnej z 50 na 45 przyczyni się do znacznych oszczędności eksploatacyjnych. 7

Tabela 2 Przykład oszczędności uzyskanych dzięki obniżeniu nastawy wilgotności Temperatura 22,2 C (72 F) Nastawa wilgotności względnej 50% 45% Wydajności chłodnicze kw (Btu/godzinę) Całkowita wydajność chłodnicza 48,6 (166 000) 49,9 (170 000) Całkowita wydajność jawna (zmiana temperatury) 45,3 (155 000) 49,9 (170 000) Wymagane nawilżanie Całkowita wydajność utajona (zużyta na osuszanie) 3,3 (11 000) 0,0 (0 000) Wymagane nawilżanie w funtach/godzinę (kw/0,3158; Btu/1074) 10,24 0 Czas pracy nawilżacza 100,0% 0,0% Moc (kw) wymagana do nawilżenia 3,2 0 Roczny koszt nawilżania (koszt kw x 8760 x wymagana moc w kw) 2242,56 USD 0,00 USD Uwaga: Założenia i specyfikacje użyte w przykładzie podano w załączniku. Kontrola nastaw Nastawy temperatury i wilgotności we wszystkich klimatyzatorach CRAC w centrum obliczeniowym powinny być spójne. Różne nastawy spowodują działanie wzajemnie znoszące się i fluktuacje warunków w pomieszczeniu. Obciążenia cieplne i wilgotność w poszczególnych obszarach są stałe, dlatego tryb pracy klimatyzatorów należy ustawiać grupami, blokując możliwość włączenia konkurencyjnych trybów w systemie zarządzania budynkiem (BMS) lub w przewodach komunikacyjnych między klimatyzatorami w tej samej grupie. Praca dwóch urządzeń w konkurencyjnych trybach przez jakikolwiek niepomijalnie długi czas jest niedopuszczalna, chyba że urządzenia te należą do różnych grup. Urządzenia w jednej grupie będą wspólnie obsługiwały wyodrębnioną strefę. Nastawy powinny mieścić się w następujących przedziałach: Temperatura 20-25 C (68-77 F) Wilgotność względna 40-55% Przetestowanie wydajności systemu wymaga zmierzenia temperatury na powrocie i dopływie. Należy wybrać trzy rozmieszczone w środku geometrycznym punkty monitorowania na dopływie i powrocie, tak jak pokazano to na Rysunku 2. 8

Rysunek 2 Punkty monitorowania temperatury na dopływie i powrocie W warunkach idealnych zadana temperatura powietrza dopływającego powinna być równa temperaturze wymaganej na wlocie w obudowie serwera. Temperaturę tę określimy później, dokonując pomiarów przy wlocie do obudowy. Zmierzona temperatura powietrza powracającego powinna być większa lub równa zmierzonej w kroku 4. Temperatura na powrocie niższa od zmierzonej w kroku 4 wskazuje na słabą wydajność wynikającą ze zbyt krótkiej drogi obiegu. Ma to miejsce, gdy schłodzone powietrze z klimatyzatora omija urządzenia komputerowe i wpływa bezpośrednio do kanału powrotnego klimatyzatora. Informacje na temat zapobiegania takim sytuacjom zawiera raport White Paper firmy APC nr 49 pt. Możliwe do uniknięcia błędy wpływające negatywnie na wydajność chłodzenia centrów obliczeniowych i serwerowni. Niewłaściwa droga przepływu chłodnego powietrza jest najważniejszą przyczyną przegrzewania się urządzeń. Źródłem tej nieprawidłowości może być szereg czynników. Opisano je w sekcjach 6-10 niniejszego artykułu. Należy także zweryfikować czystość filtrów. Utrudniony przepływ powietrza przez klimatyzator spowoduje wyłączenie systemu i zgłoszenie alarmu braku przepływu powietrza. W ramach konserwacji profilaktycznej filtry należy wymieniać raz na kwartał. 9

3. Kontrola i testowanie głównych obwodów chłodzenia Wykonanie czynności opisywanych w tej sekcji wymaga zrozumienia podstawowych zasad działania urządzeń klimatyzacyjnych. Więcej informacji na ten temat zawiera raport White Paper firmy APC nr 59 pt. The Different Types of Air Conditioning Equipment for IT Environments (Rodzaje klimatyzatorów stosowanych w środowiskach komputerowych). Należy zlecić firmie odpowiedzialnej za konserwację sprzętu lub niezależnemu konsultantowi ds. instalacji grzewczych/wentylacyjnych/klimatyzacyjnych sprawdzenie stanu wytwornic wody lodowej (jeśli są stosowane), układów pomp i głównych obiegów chłodzenia. Należy również sprawdzić, czy wszystkie zawory działają prawidłowo. Obieg wody lodowej Stan obiegu wody lodowej doprowadzanej do klimatyzatorów CRAC ma bezpośredni wpływ na zdolność klimatyzatorów do dostarczania powietrza o odpowiednich parametrach do pomieszczenia lub przestrzeni pod podłogą. O sprawdzenie temperatury wody należy zwrócić się do firmy odpowiedzialnej za konserwację sprzętu lub niezależnego konsultanta ds. instalacji grzewczych/wentylacyjnych/klimatyzacyjnych. W charakterze uproszczonego wskaźnika można wykorzystać temperaturę rur doprowadzających wodę do klimatyzatora. Za pomocą termometru laserowego należy zmierzyć temperaturę na powierzchni rury. W niektórych przypadkach na rurociągu mogą być zainstalowane wskaźniki temperatury wody. Rury z wodą lodową są odizolowane od strumienia powietrza, co zapobiegnie skraplaniu się wilgoci na powierzchni rur. Aby dokładność pomiarów była jak największa, należy ściągnąć fragment izolacji i dokonać pomiaru bezpośrednio na powierzchni rury. Jeśli nie jest to możliwe, prawdopodobnie niewielki odcinek rury jest odsłonięty wewnątrz klimatyzatora, przy wlocie do wężownicy po jej lewej lub prawej stronie. Obwód wody skraplacza (urządzenia chłodzone wodą i glikolem) W urządzeniach chłodzonych wodą i glikolem ciepło z klimatyzatora oddawane jest do obiegu wodnego w skraplaczu, wewnątrz klimatyzatora. Rury obiegu wodnego skraplacza prawdopodobnie nie będą zaizolowane z uwagi na wyższe temperatury wody zasilającej. Należy zmierzyć temperaturę na powierzchni rury na wlocie do klimatyzatora. Systemy z bezpośrednim odparowaniem należy sprawdzić pod kątem prawidłowego napełnienia czynnikiem chłodniczym. Rury czynnika chłodniczego w urządzeniach chłodzonych powietrzem Podobnie jak w przypadku klimatyzatorów CRAC chłodzonych wodą i glikolem, konieczne jest sprawdzenie napełnienia czynnikiem chłodniczym. Należy zlecić firmie odpowiedzialnej za konserwację lub niezależnemu konsultantowi ds. instalacji grzewczych/wentylacyjnych/klimatyzacyjnych sprawdzenie stanu rur czynnika chłodniczego, zewnętrznych wymienników ciepła i napełnienia czynnikiem chłodniczym. Zmierzone temperatury należy porównać z podanymi w Tabeli 3. Jeśli temperatury przekraczają zalecane poziomy, może to wskazywać na problem w obiegu wody/glikolu. 10

Woda lodowa Tabela 3 Dopuszczalne temperatury w obiegu wody/glikolu Woda w skraplaczu (chłodzenie wodą) Woda w skraplaczu (chłodzenie glikolem) 45 F (+/- 2-3 F) Maks. 90 F Maks. 110 F 7,2 C (+/- 1,1-1,7 C) Maks. 32,2 C Maks. 43,3 C 4. Zarejestrowanie temperatur w przejściach W wyniku zarejestrowania temperatur w różnych miejscach między rzędami szaf uzyskuje się profil temperatury ułatwiający diagnozowanie ewentualnych problemów z chłodzeniem i stwierdzenie, czy do newralgicznych rejonów doprowadzane jest schłodzone powietrze. Jeśli rzędy szaf nie będą prawidłowo rozmieszczone, w różnych punktach powstać mogą gorące miejsca będące przyczyną wielu awarii urządzeń. W sekcji 9 poniżej opisano i przedstawiono na ilustracjach zalecane sposoby rozmieszczenia szaf. Należy zmierzyć temperatury w strategicznych miejscach przejść w centrum obliczeniowym 1. Punkty pomiarowe powinny z reguły się znajdować centralnie między rzędami urządzeń, mniej więcej co czwartą szafę, tak jak pokazano to na Rysunku 3. Rysunek 3 Punkty pomiaru w przejściach gorących/zimnych wg ASHRAE TC9.9 Przedruk za zgodą ASHRAE 2004. (c) American Society of Heating, Refrigerating and Air-Conditioning Engineers, Inc., www.ashrae.org. 1 Norma ASHRAE TC9.9 zawiera bardziej szczegółowe wytyczne dotyczące rozmieszczenia czujników zapewniającego optymalne warunki testowania oraz zalecane temperatury na wlotach powietrza. ASHRAE (American Society of Heating, Refrigeration and Air-Conditioning Engineers Amerykańskie Stowarzyszenie Inżynierów Ogrzewnictwa, Chłodnictwa i Klimatyzacji, www.ashrae.org) 11

Temperaturę przejść należy mierzyć na wysokości 1,5 metra nad podłogą. Gdy nie są dostępne bardziej zaawansowane metody pomiaru temperatury w przejściach, należy przyjąć, że jest to minimalny wymagany zakres pomiarów. Zmierzone temperatury należy zapisać i porównać z temperaturami zalecanymi przez producenta urządzeń komputerowych. Jeśli nie są znane zalecane temperatury na wlotach do obudowy urządzeń komputerowych należy przyjąć temperaturę 20-25 C (68-75 F), zgodnie z normą ASHRAE. Temperatury wykraczające poza ten zakres mogą być przyczyną pogorszenia wydajności systemu, skrócenia żywotności urządzeń i niespodziewanych przestojów. Uwaga: Wszystkie powyższe czynności kontrolne należy wykonywać co kwartał. Pomiary temperatury należy za każdym razem prowadzić w okresie 48 godzin, aby zarejestrować poziom maksymalny i minimalny. 5. Rejestracja temperatury szaf Niewłaściwa dystrybucja powietrza z przodu szafy może doprowadzić do sytuacji, w której gorące powietrze wydmuchiwane z urządzeń będzie wracać do wlotów. W rezultacie niektóre urządzenia, zwykle te zamontowane w górnej części szafy, będą się przegrzewać i wyłączać lub ulegać awarii. Niniejszy krok ma na celu sprawdzenie, czy temperatury na wlotach powietrza do szafy są odpowiednie dla zainstalowanych urządzeń. Należy zmierzyć i zarejestrować temperatury w geometrycznym środku szafy o dołu, pośrodku i u góry, tak jak przedstawiono to na Rysunku 4. Gdy szafa nie jest całkowicie zapełniona urządzeniami, należy zmierzyć temperatury w geometrycznym środku każdego urządzenia. Dopuszczalne temperatury powietrza na wlotach podano w kroku 2. Temperatury wykraczające poza zalecany przedział świadczą o występowaniu problemu z chłodzeniem w danym punkcie monitorowania. Punkty monitorowania powinny znajdować się w odległości 50 mm od czoła urządzeń zamontowanych w szafie. Monitorowanie można zrealizować za pomocą termopar podłączonych do urządzenia służącego do akwizycji danych. W wariancie minimalnym temperatury w punktach monitorowania można także zmierzyć za pomocą termometru laserowego celem szybkiej weryfikacji. 12

Rysunek 4 Punkty monitorowania temperatury na wlotach urządzeń, wg ASHRAE Punkty monitorowania Przedruk za zgodą ASHRAE 2004. (c) American Society of Heating, Refrigerating and Air-Conditioning Engineers, Inc., www.ashrae.org. 6. Kontrola prędkości wydmuchu powietrza z nawiewników podłogowych Należy pamiętać, że wydajność chłodzenia szafki jest bezpośrednio uzależniona od natężenia przepływu powietrza (w dalszych obliczeniach będziemy tę wielkość wyrażać w stopach sześciennych na minutę CFM; 1 CFM = 0,0283 m sześc./minutę). Urządzenia komputerowe są skonstruowane w taki sposób, że podczas pracy zwiększają temperaturę dopływającego do nich powietrza o 11-17 C (20-30 F). Z równania na odprowadzanie ciepła można szybko obliczyć przepływ powietrza wymagany przy danym wzroście temperatury. CFM = natężenie przepływu powietrza wymagane do odprowadzenia ciepła wytwarzanego przez urządzenia komputerowe Q = ciepło do odprowadzenia, wyrażone w kw F = różnica między temperaturą powietrza na wylocie z urządzenia a temperaturą powietrza na wlocie CFM 3412 Q = 1,085 F 13

Aby wyliczyć natężenie przepływu potrzebne do chłodzenia serwera o mocy 1 kw powodującego wzrost temperatury o 20 F: CFM 3412 1kW = = 157,23 1,085 20 F A zatem dla każdego 1 kw odprowadzanego ciepła wymaganego przy obliczeniowej wartości DeltaT (wzrost temperatury w urządzeniu) wynoszącej 11 C (20 F) przez urządzenie musi przepływać około 75,5 litra/s (160 stóp sześciennych na minutę) powietrza o odpowiednich parametrach. Obliczając wymagane natężenie przepływu przypadające na jedną szafę, można użyć tego wyniku jako przybliżonej wartości obliczeniowej. Konieczne jest jednak spełnienie wymagań podanych na tabliczkach znamionowych przez producentów urządzeń. CFM / kw =157,23 Jeśli przyjąć wartość obliczeniową i typowe maksymalne natężenie przepływu przez nawiewnik w płytce podłogowej, co pokazano na Rysunku 5 poniżej, uzyskujemy maksymalną gęstość mocy wynoszącą od 1,25 do 2,5 kw na szafę. Dotyczy to instalacji, w których na jedną płytkę z nawiewnikiem przypada jedna szafa. Jeśli liczba szaf przypadających na jedną płytkę jest większa niż 1, dostępną wydajność chłodniczą należy podzielić między szafy w rzędzie. Testowanie przepływu powietrza przez nawiewnik w płytce podłogowej Test skuteczności chłodzenia zapewnianego przez daną płytkę podłogową z nawiewnikiem można przeprowadzić w bardzo prosty sposób, kładąc na nawiewniku mały kawałek papieru. Wsysanie papieru do nawiewnika oznacza, że powietrze wraca pod podwyższoną podłogę, co świadczy o niewłaściwym rozmieszczeniu szaf i klimatyzatorów. Jeśli papier nie porusza się, to prawdopodobnie do danego nawiewnika nie dociera powietrze. Unoszenie papieru nad podłogę świadczy o wydmuchiwaniu powietrza z nawiewnika. Jednak w zależności od gęstości mocy chłodzonych urządzeń natężenie przepływu powietrza może być zbyt małe. W takim wypadku wymagane może być zainstalowanie większej kratki lub urządzenia rozprowadzającego powietrze, które zapewni większe natężenie przepływu powietrza z przodu szaf. 14

Rysunek 5 Dostępna wydajność chłodnicza przypadająca na płytkę podłogową w funkcji natężenia przepływu przez nawiewnik w płytce Wydajność chłodnicza / płytkę (kw) 7 6 5 4 3 2 1 0 Typowa wydajność Z trudem Skrajne Niecelowe 0 100 200 300 400 500 600 700 800 900 1000 Przepływ powietrza przez płytkę (CFM) 7. Wzrokowa kontrola szaf Niewykorzystane miejsca wewnątrz szaf powodują, że gorące powietrze wydmuchiwane z urządzeń na skróty wraca do ich wlotów. Nieograniczone krążenie gorącego powietrza powoduje niepotrzebne nagrzewanie się urządzeń, które może doprowadzić do ich uszkodzenia lub przestojów. Efekt ten można eliminować, stosując panele maskujące, co bardziej szczegółowo opisano w raporcie White Paper firmy APC nr 44 pt. Improving Rack Cooling Performance Using Blanking Panels (Poprawa skuteczności chłodzenia szaf przy użyciu paneli maskujących). Należy wzrokowo skontrolować każdą szafę. Czy szafach występują niezapełnione pozycje? Czy używane są monitory kineskopowe? Czy w tych szafach zamontowane są panele maskujące? Czy nadmiar kabli utrudnia przepływ powietrza? Jeśli występują widoczne luki w zapełnieniu szaf, panele maskujące nie są zamontowane lub z tyłu szafy znajduje się zbyt dużo kabli, przepływ powietrza wewnątrz szafy nie będzie optymalny, co przedstawiono na Rysunku 6 poniżej. 15

Rysunek 6 Schematy przepływu powietrza w szafach ilustrujące wpływ paneli maskujących 6A: Bez paneli maskujących 6B: Z panelami maskującymi Bok Bok Panel maskujacy 8. Kontrola drogi przepływu powietrza pod podłogą Należy sprawdzić, czy w przestrzeni podpodłogowej nie ma zanieczyszczeń lub przeszkód. Kurz i pył spod podwyższonej podłogi będzie wydmuchiwany przez nawiewniki i wciągany do urządzeń komputerowych. Przeszkody pod podłogą, takie jak kable sieciowe i zasilające, będą utrudniały przepływ powietrza i negatywnie wpływały na chłodzenie szaf. Dodawanie kolejnych szaf i serwerów skutkuje instalowaniem coraz większej ilości kabli zasilających i sieciowych. Często po wymontowaniu lub przeniesieniu serwerów i szaf pod podłogą zostaje niepotrzebne okablowanie. Jeśli powietrze jest rozprowadzane pod podłogą, należy przeprowadzić wzrokową kontrolę powierzchni podłogi. Luki, pustki i braki w płytkach radykalnie obniżają ciśnienie statyczne w przestrzeni podpodłogowej. Nieszczelności w podwyższonej podłodze sprawią, że niemożliwe będzie utrzymanie natężeń przepływu powietrza przez nawiewniki w płytkach podłogowych. Braki w płytkach podłogowych należy uzupełniać. Wszystkie sekcje podłogi powinny składać się z litych lub perforowanych płytek podłogowych. Otwory w płytkach służące do uzyskiwania dostępu do kabli, powinny być uszczelnione za pomocą taśm z włosiem lub innych przeznaczonych do tego celu produktów. Przeprowadzone pomiary wykazały, że 50-80% chłodnego powietrza ucieka przedwcześnie przez nieszczelne otwory dostępowe. 16

9. Kontrola rozmieszczenia przejść i płytek podłogowych Poza kilkoma wyjątkami, większość serwerów montowanych w szafach zasysa powietrze przodem i wydmuchuje z tyłu. Gdy wszystkie szafy w rzędzie zwrócone są w tę samą stronę, gorące powietrze z pierwszego rzędu będzie wydmuchiwane do przejścia, w którym zmiesza się z powietrzem doprowadzanym do pomieszczenia, a następnie zostanie zassane do przednich wlotów w drugim rzędzie szaf. Takie rozmieszczenie przedstawiono na Rysunku 7. W kolejnych rzędach powietrze zasysane przez urządzenia jest coraz cieplejsze. Jeśli we wszystkich rzędach szaf wloty serwerów będą zwrócone w tę samą stronę, problemy z działaniem urządzeń staną się nieuniknione. Rysunek 7 Układ szaf bez podziału na przejścia gorące i zimne Ustawienie szaf w konfiguracji z przejściami gorącymi / zimnymi pozwoli oddzielić powietrze wydmuchiwane od wlotów serwerów. W ten sposób zimne powietrze wydmuchiwane z nawiewników w podłodze będzie w mniejszym stopniu mieszało się z gorącym, co ilustruje Rysunek 8. Więcej informacji na temat architektur rozprowadzania powietrza w centrach obliczeniowych zawiera raport White Paper firmy APC nr 55, pt. Air Distribution Architecture for Mission Critical Facilities (Architektura rozprowadzania powietrza w instalacjach o znaczeniu newralgicznym). Rysunek 8 Rozmieszczenie z przejściami gorącymi/zimnymi Nieprawidłowe rozmieszczenie nawiewników może spowodować, że powietrze z klimatyzatorów będzie mieszało się z powietrzem gorącym, zanim dotrze do chłodzonych urządzeń, co z kolei będzie źródłem wielu problemów z wydajnością i kosztów opisanych wcześniej. Nieoptymalne rozmieszczenie nawiewników i otworów powrotnych jest często spotykanym problemem, który może niemal całkowicie zniweczyć korzyści z zastosowania konfiguracji z gorącymi/zimnymi przejściami. 17

10. Kontrola rozmieszczenia klimatyzatorów Rozmieszczenie klimatyzatorów CRAC względem przejść ma istotny wpływ na rozprowadzanie powietrza. W zależności od architektury rozprowadzania powietrza klimatyzatory CRAC powinny być rozmieszczone prostopadle do przejścia zimnego albo gorącego, co przedstawiono na Rysunku 9. Gdy powietrze jest rozprowadzane pod podwyższoną podłogą, klimatyzatory powinny znajdować się na końcach przejść gorących. Gorące powietrze wraca do klimatyzatora bezpośrednio wzdłuż przejścia; nie występuje efekt zasysania powietrza znad przejść, który zwiększałby ryzyko powrotu gorącego powietrza do urządzeń. Ograniczenie mieszania się powietrza gorącego z zimnym w pomieszczeniu pozwoli zwiększyć wydajność klimatyzatorów dzięki podwyższeniu temperatury powietrza powrotnego. Potencjalnie może to pozwolić na zmniejszenie liczby klimatyzatorów w pomieszczeniu. Rysunek 9 Rozmieszczenie klimatyzatorów CRAC względem gorących przejść CRAC Klimatyzator CRAC CRAC Klimatyzator CRAC Zimne przejście COLD AISLE Gorące przejście HOT AISLE Zimne przejście COLD AISLE Gorące przejście HOT AISLE Zimne COLD przejście AISLE Klimatyzator CRAC CRAC Klimatyzator CRAC CRAC Jeśli podłoga ma postać litego stropu, klimatyzator powinien być umieszczony na końcu zimnego przejścia. W ten sposób zimne powietrze będzie rozprowadzane z przodu szaf. W takiej konfiguracji nieuniknione będzie częściowe mieszanie się powietrza gorącego z zimnym, dlatego należy ją stosować tylko z szafami o mniejszej gęstości mocy. 18

Wnioski Rutynowe kontrole systemu chłodzenia pozwalają na wczesne wykrycie potencjalnych problemów z chłodzeniem i zapobiegają przestojom. Zmiany w poborze mocy, modernizacje i rozbudowa sprzętu komputerowego mogą wpłynąć na ilość ciepła wydzielanego w centrum obliczeniowym. Regularne kontrole stanu systemu chłodzenia pozwolą wykryć wpływ tych zmian zanim stanie się on przyczyną poważniejszych problemów. Eliminując problemy wykryte podczas kontroli opisanych w niniejszym raporcie, można stworzyć optymalne środowisko przy danej gęstości mocy. Więcej informacji na temat systemów chłodzenia w konfiguracjach o dużej gęstości mocy zawiera raport White Paper firmy APC nr 42 pt. Ten Steps to Solving Cooling Problems Caused by High Density Server Deployment (Dziesięć kroków do rozwiązania problemów z chłodzeniem spowodowanych zainstalowaniem serwerów o dużej gęstości). O Autorze: Kevin Dunlap pracuje w firmie American Power Conversion (APC) na stanowisku menedżera ds. marketingu produktów i odpowiedzialny jest za rozwiązania z zakresu chłodzenia. Kevin pracuje w branży od 1994 roku początkowo w firmie zajmującej się produkcją oprogramowania i sprzętu do zarządzania zasilaniem, a następnie w firmie APC jako menedżer produktu. Kevin uczestniczy w wielu branżowych panelach, konsorcjach i komisjach ASHRAE zajmujących się zarządzaniem energią cieplną i optymalizacją wykorzystania energii. 19

Załącznik Założenia i specyfikacje do Tabeli 2 W obu scenariuszach przykładowe oszczędności na nawilżaniu podane w Tabeli 2 opierają się na poniższych założeniach: Urządzenia komputerowe pobierają moc 50 kw, czemu odpowiada w przybliżeniu rozpraszanie ciepła na poziomie 50 kw Temperatura powietrza powracającego do klimatyzatora (na wlocie) wynosi 22,2 C (72 F) Zakłada się pracę ciągłą (całodobowo) przez 1 rok, co odpowiada 8760 godzinom Przepływ przez klimatyzator wynosi 4245 l/s (9000 CFM) Wymagana jest wentylacja, jednak dla uproszczenia przyjęto, że centrum obliczeniowe jest idealnie szczelne bez wentylacji/wnikania powietrza Przyjęto koszt kwh równy 0,08 USD Specyfikacje klimatyzatora CRAC na przykładzie APC FM50: - Standardowy z nadmuchem w dół - Urządzenie chłodzone glikolem (bez ekonomizera, nie w wersji multi-cool) - Nawilżacz z elektrodową wytwornicą pary (z plastikowym zbiornikiem i automatyczną regulacją poziomu wody na bazie konduktywności) - Wydajność nawilżacza: 4,5 kg/godzinę (10 funtów/godzinę) - Pobór mocy przez nawilżacz: 3,2 kw - Napięcie 208 V 20

Lista kontrolna audytu chłodzenia Kontrola wydajności Klimatyzator Model Całkowita wydajność Wydajność jawna Ilość Urządzenie 1 Urządzenie 2 Urządzenie 3 Urządzenie 4 Urządzenie 5 Urządzenie 6 Urządzenie 7 Urządzenie 8 Urządzenie 9 Urządzenie 10 Całkowita wydajność użyteczna = SUM (Wydajność jawna x Ilość) Obciążenie cieplne Sprzęt komputerowy UPS z akumulatorem Dystrybucja zasilania Oświetlenie Łączna moc pobierana przez urządzenia, w watach Znamionowa moc systemu zasilania w watach Znamionowa moc systemu zasilania w watach Powierzchnia podłogi w stopach lub metrach kwadratowych Równa łącznej mocy pobieranej przez urządzenia, w watach (0.04 x znamionowa moc systemu zasilania) + (0.06 x łączna moc pobierana przez urządzenia komputerowe) (0,02 x znamionowa moc systemu zasilania) + (0,02 x łączna moc pobierana przez urządzenia komputerowe) 2,0 x powierzchnia (st. kw.) albo 21,53 x powierzchnia (m kw.) Ludzie Maks. liczba osób w centrum obliczeniowym 100 x maks. liczba osób Razem Powyższe sumy częściowe Suma sum częściowych Wydajność równa lub większa od obciążenia cieplnego? Tak Nie Punkty monitorowania na klimatyzatorach Dopływ (średnia z trzech punktów monitorowania na każdym) Klimatyzator 1 Klimatyzator 6 Klimatyzator 2 Klimatyzator 7 Dopuszczalne średnie: Mieści się w tolerancji (zaznaczyć jedno pole) Klimatyzator 3 Klimatyzator 8 Temp. 20-25 C Wszystkie w granicach tolerancji Klimatyzator 4 Klimatyzator 9 (68-75 F), wilgotność 1-2 poza granicami tolerancji Klimatyzator 5 Klimatyzator 10 wzgl. 40-55% >2 poza granicami tolerancji Powrót (średnio z trzech punktów monitorowania na każdym) Klimatyzator 1 Klimatyzator 6 Klimatyzator 2 Klimatyzator 7 Dopuszczalne średnie: Mieści się w tolerancji (zaznaczyć jedno pole) Klimatyzator 3 Klimatyzator 8 Temp. 14-18 C Wszystkie w granicach tolerancji Klimatyzator 4 Klimatyzator 9 (58-65 F) 1-2 poza granicami tolerancji Klimatyzator 5 Klimatyzator 10 >2 poza granicami tolerancji Obwody chłodzenia Woda lodowa Woda w skraplaczu - chłodzenie wodą Woda w skraplaczu - chłodzenie glikolem Chłodzenie powietrzem 45 F (+/- 2-3 F), 7,2 C (+/- 1,1-1,7 C) Mieści się w tolerancji Maks 32,2 C (90 F) (zaznaczyć jedno pole) Maks 43,3 C (110 F) Wymagana kontrola przez wykwalifikowanego specjalistę zewnętrznego Tak Tak Tak Nie Nie Nie Temperatury w przejściach Punkty pomiarowe na wys. 1,5 metra nad podłogą przy co 4. szafie (średnia z całego przejścia) Przejście 1 Przejście 6 Przejście 2 Przejście 7 Dopuszczalne średnie: Mieści się w tolerancji (zaznaczyć jedno pole) Przejście 3 Przejście 8 Temp. 20-25 C Wszystkie w granicach tolerancji Przejście 4 Przejście 9 (68-75 F) 1-2 poza granicami tolerancji Przejście 5 Przejście 10 >2 poza granicami tolerancji 21

Temperatury szaf Punkty pomiarowe na wys. 1,5 metra nad podłogą przy co 4. szafie (średnia z całego przejścia) S1 S2 S3 S46 S47 S48 S4 S5 S6 S49 S50 S51 Mieści się w tolerancji (zaznaczyć jedno pole) S7 S8 S9 S52 S53 S54 S10 S11 S12 S55 S56 S57 S13 S14 S15 S58 S59 S60 Dopuszczalne średnie: Wszystkie w granicach S16 S17 S18 S61 S62 S63 Temp. 20-25 C tolerancji S19 S20 S21 S64 S65 S66 (68-75 F), temperatury S22 S23 S24 S67 S68 S69 między dołem a górą S25 S26 S27 S70 S71 S72 każdej szafy nie powinny 1-2 poza granicami tolerancji S28 S29 S30 S73 S74 S75 różnić się o więcej niż S31 S32 S33 S76 S77 S78 3,5 C S34 S35 S36 S79 S80 S81 S37 S38 S39 S82 S83 S84 S40 S41 S42 S85 S86 S87 >2 poza granicami tolerancji S43 S44 S45 S88 S89 S90 Prędkość przepływu powietrza Sprawdzić wszystkie płytki perforowane (jeśli występują), porównać z tolerancjami Perforowane płytki podłogowe Pomiar przepływu powietrza (kontrola dodatniego strumienia powietrza), testy objętości powinien przeprowadzić wykwalifikowany specjalista zewnętrzny Dopuszczalne średnie: => 4,531 m sześc. na minutę na kw Mieści się w tolerancji (zaznaczyć jedno pole) Wszystkie w granicach tolerancji 1-2 poza granicami tolerancji >2 poza granicami tolerancji Przegląd szafy Panele maskujące Czy we wszystkich przedziałach szafy niezawierających urządzeń są zamontowane panele maskujące? Mieści się w tolerancji (zaznaczyć jedno pole) Tak Nie Droga przepływu powietrza pod podłogą (tam, gdzie dotyczy) Widoczne przeszkody Brakujące płytki, przerwy i pustki Czy we wszystkich przedziałach szafy niezawierających urządzeń są zamontowane panele maskujące? Czy wszystkie płytki podłogowe są na swoich miejscach? Czy otwory dostępu do kabli są prawidłowo uszczelnione? Mieści się w tolerancji (zaznaczyć jedno pole) Tak Tak Nie Nie Rozmieszczenie przejść i płytek podłogowych Czy we wszystkich przedziałach szafy niezawierających urządzeń są Położenia płytek podłogowych zamontowane panele maskujące? Rozmieszczenie klimatyzatorów Czy klimatyzatory znajdują się w linii z gorącymi przejściami? Rozmieszczenie przejść zimnych i gorących Czy istnieje rozdział między gorącymi a zimnymi przejściami (szafy nie są zwrócone w tym samym kierunku)? Mieści się w tolerancji (zaznaczyć jedno pole) Tak Tak Tak Nie Nie Nie 22