Aspekty, które należy uwzględnić w projekcie układu chłodzenia w Data Center pod kątem klasyfikacji TIER przykłady rozwiązań Andrzej Różycki, Prokurent SAR PW Sp. z o.o. Sp. k., certyfikat ATS Uptime Institute nr 922 Paweł Wróbel, certyfikat ATS Uptime Institute nr 736 1
SŁOWNIK POJĘĆ TO GWARANCJA ZROZUMIENIA OCZEKIWAŃ INWESTORA, JAKOŚCI PROJEKTU, RZETELNEJ I ODPOWIEDZIALNEJ REALIZACJI, EKSPLOATACJI NA POZIOMIE BEZPIECZEŃSTWA FUNKCJONALNOŚCI Funkcjonalność - zespół optymalnych/ustalonych/użytkowych/technologicznych parametrów środowiska wewnętrznego serwerowni, które muszą być zapewnione przez pracę urządzeń, instalacji i systemów oraz przez pracę personelu serwisu odpowiedzialnego za utrzymanie ruchu; Funkcjonalność Infrastruktury Technicznej ciągła i bezawaryjna praca urządzeń i systemów zapewniająca zespół wymaganych w miernikach funkcjonalności optymalnych parametrów technicznych środowiska wewnętrznego serwerowni, tj. parametry powietrza i mediów zasilających; Infrastruktura krytyczna lub techniczna infrastruktura krytyczna ta część Infrastruktury technicznej, której działanie jest niezbędne do utrzymania ciągłości działania serwerowni. Infrastruktura sanitarna infrastruktura techniczna, w skład której wchodzą systemy klimatyzacji precyzyjnej (HPAC), systemy chłodnicze, systemy automatyki dedykowane tym systemom i pozostałe systemy sanitarne, tj. ciepła technologicznego, wodnokanalizacyjne. Zespół urządzeń i instalacji połączonych technologicznie w określonej konfiguracji w jedną funkcjonalną całość i przeznaczony do zapewnienia wymaganych parametrów klimatyzacyjnych środowiska wewnętrznego o zdefiniowanych wartościach, tj. temperatura, wilgotność, nadciśnienie, ilość wymian, objętości, prędkości przepływu powietrza i jego czystość, poziomu głośności; 2
SŁOWNIK POJĘĆ TO GWARANCJA ZROZUMIENIA OCZEKIWAŃ INWESTORA, JAKOŚCI PROJEKTU, RZETELNEJ I ODPOWIEDZIALNEJ REALIZACJI, EKSPLOATACJI NA POZIOMIE BEZPIECZEŃSTWA FUNKCJONALNOŚCI Klasyfikacja TIER wytyczne Uptime Institute w stosunku do projektowania, stosowania i serwisowania rozwiązań technicznych dla infrastruktury krytycznej i infrastruktury w odniesieniu do poziomu niezawodności. Mierniki funkcjonalności - zespół parametrów środowiska wewnętrznego serwerowni, określonych wartościami granicznymi niekrytycznymi (minimalne i maksymalne) oraz wartościami krytycznymi (minimalne i maksymalne); SLA (Service Level Agreement) parametry określające wymagany poziom realizacji Usługi utrzymania ciągłości działania serwerowni w ramach świadczenia usługi utrzymaniowej, na poziomie bezpieczeństwa funkcjonalności; Specjalistyczna usługa serwisowa Specjalistyczny przegląd okresowy lub specjalistyczna naprawa awaryjna elementu Infrastruktury świadczona przez firmę serwisową lub podwykonawcę serwisowego posiadającego wymagane świadectwa kwalifikacji i wymagane prawem certyfikaty wydane przez producentów danych urządzeń bądź ich autoryzowanych przedstawicieli lub dystrybutorów w Polsce; 3
CO TO JEST UTRATA FUNKCJONALNOŚCI? Zatrzymanie dostępu do usług danego obiektu (np. szpitala, serwerowni, lotniska, itp) w wyniku zdarzeń generujących zakłócenia w pracy Infrastruktury technicznej, do których należy zaliczyć: przekroczenie wartości parametrów środowiska; zbyt szybki przyrost gradientu temperatury lub lokalne przegrzania; zalanie lub zapylenie lub zadymienie; zakłócenia przełączeń z układów podstawowych na układy rezerwowe; brak zasilania podstawowego wraz z odstawieniem zasilania rezerwowego; złe parametry zasilania; awarie urządzeń będące następstwem zaniechań lub zaniedbań, itp. Utrata funkcjonalności ma miejsce jedynie wtedy, gdy zawiodą wszystkie zabezpieczenia techniczne, a struktury firmy świadczącej usługę utrzymaniową i procedury, którymi się posługuje nie są przygotowane lub wystarczająco dobrze wdrożone aby zapewnić właściwą reakcję na wystąpienie danej sytuacji. 4
JAK MOŻNA OPISAĆ FUNKCJONALNOŚĆ? Poprzez SLA (Service Level Agreement) Są to spisane parametry i czynności określające wymagany poziom usługi świadczonej na rzecz Zamawiającego przez Usługodawcę / Dostawcę w oparciu o zapisy umowy zawartej przez strony w celu zapewnienia funkcjonalności. SLA najczęściej stanowi załącznik do umowy na świadczenie usługi utrzymania ruchu. Zamawiający zawierając umowę dla utrzymania w sposób ciągły wymaganej funkcjonalności, określa je za pomocą mierników funkcjonalności oraz czasów podjęcia i realizacji czynności związanych ze skutecznym zapewnieniem ciągłości ruchu infrastruktury technicznej, czyli określa specyficzne dla tego stanu parametry SLA w których uznaje się, że jest zapewniona funkcjonalność. Poprzez Mierniki Funkcjonalności Jest to zespół parametrów środowiska danego Pomieszczenia, określonych wartościami granicznymi niekrytycznymi (górną i dolną) oraz wartościami granicznymi krytycznymi (górną i dolną), po przekroczeniu których stwierdza się wystąpienie odpowiednio: Awarii niekrytycznej lub Awarii krytycznej. 5
PRZYKŁADY WYMAGAŃ SLA Czas reakcji Czas wykonania naprawy awaryjnej Czas wykonania naprawy ostatecznej Rodzaje urządzeń (kategorie krytyczności) Urządzenia o krytycznej ważności dla utrzymania funkcjonalności Urządzenia o krytycznej ważności posiadające redundancję Urządzenia ważne dla utrzymania ruchu Obszar Parametr Poziom eksploatacji Wartość odchyłki Pomieszczenia o znaczeniu krytycznym o o o o o o o Pomieszczenia o znaczeniu krytycznym Pomieszczenia ważne o o o o o o o Pomieszczenia pozostałe o o o o o o o Zasilanie gwarantowane Zasilanie gwarantowane Zasilanie gwarantowane DC 6
ZALECENIA PROJEKTANTA ZAWARTE W PROJEKCIE NA POZIOMIE FUNKCJONALNOŚCI OKREŚLONEJ WYMAGANIAMI SLA ETAP ROZRUCHÓW I ODBIORÓW Końcowym etapem procesu budowlanego jest prawidłowo wykonamy commissioning rozumiany jako: rozruch instalacji, a następnie testy funkcjonalne prowadzące do udokumentowania, że funkcjonalność i wydajność systemów jest zgodna z zaprojektowaną (wymaganą) dla uzyskania końcowej akceptacji procesu budowlanego przez zamawiającego. W zapisach projektu proces commissioningu powinien zawierać wymagania w zakresie: testów funkcjonalnych wydajnościowych infrastruktury technicznej ze wszystkimi próbami rozruchu pod obciążeniem eksploatacyjnym (tymczasowym, cząstkowym oraz docelowym); testów funkcjonalnych sekwencji pracy i współdziałania urządzeń i systemów w stanie eksploatacyjnym oraz awaryjnym, w których zostaną sprawdzone wszystkie procesy i procedury w przewidywanych zakresach operacyjnych dla udowodnienia osiągania zakładanych mierników funkcjonalności, zgodnie z pożądanym TIER; Commissioning powinien być zlecony zewnętrznym specjalistom posiadającym odpowiednie kompetencje i doświadczenie (commissioning agent ca). CA może być także odpowiedzialny za wykonanie procedur eksploatacyjnych oraz awaryjnych. W testach odbiorowych powinny brać czynny udział służby odpowiedzialne następnie za utrzymanie ruchu. dobrze wykonany commissioning może zminimalizować lub nawet wyeliminować część błędów popełnionych na wcześniejszych etapach inwestycji, wtedy gdy koszty naprawy tych błędów będą jeszcze minimalne. 7
Dla służb utrzymania ruchu w zakresie nadzoru urządzeń, przeglądów bieżących oraz w sytuacjach awaryjnych w zależności od ważności systemu będą działać w o
Klasyfikacje TIER zostały stworzone, aby kompleksowo opisywać infrastrukturę obiektu, wymaganą do nieprzerwanego działania centrów przetwarzania danych. Standard TIER opiera się na fakcie, że serwerownie są zależne od sprawnego i zintegrowanego działania kilku oddzielnych podsystemów infrastruktury obiektowej, których liczba zależy od poszczególnych technologii (np. wytwarzanie energii, chłodnictwo, awaryjne źródła zasilania, itp.) użytych do zapewnienia ciągłości działania. Każdy podsystem i system musi spełniać te same kryteria niezawodności, aby spełnić poszczególne wymogi ogólnej klasyfikacji TIER. TIER całego obiektu wynika z oceny najsłabszego podsystemu, który będzie miał wpływ na działanie obiektu.
TIER II (N=2), układ N+1
TIER III
TIER IV
ASPEKTY, KTÓRE NALEŻY UWZGLĘDNIĆ W PROJEKCIE INSTALACJI CHŁODZENIA SERWEROWNI POD KĄTEM KLASYFIKACJI TIER Podejście odpowiednie dla serwerowni, to oczekiwanie niezakłóconej ciągłej pracy w trybie 24/365 przez kolejne 10-15 lat. Dlatego należy brać to pod uwagę przy obliczeniach: mocy urządzeń chłodniczych doborze jednostek spełniających te obliczenia doborze jednostek redundantnych. Bilans zysków ciepła na które wpływ mają: wymagania wewnętrzne (środowisko dla poprawnej pracy urządzeń IT) otoczenie zewnętrzne przy uwzględnieniu skrajnych warunków klimatycznych lato/zima 14
BILANS ZYSKÓW CIEPŁA PYTANIA, NA KTÓRE MUSI ODPOWIEDZIEĆ PROJEKTANT: 1. Co powinniśmy schładzać: pomieszczenia / urządzenia? 2. Jak powinniśmy schładzać? Szybkość schładzania T w jednostce czasu 3. Warunki zewnętrzne jakie? Należy przyjmować maksymalne wilgotności względnej temperatury w odniesieniu do Zasady eksploatacji w ekstremalnych warunkach. Procedury naprawcze Wpływ urządzeń na otoczenie i otoczenia na urządzenie pyły, brud, zadymienie, zanieczyszczenia, śnieg na dachu, ulewy Głośność pracy jednostek zewnętrznych i wewnętrznych. 4. Wilgotność czym ją zapewniamy? Jakie są zagrożenia? 15
PROJEKTOWE WARTOŚCI TEMPERATURY NA POTRZEBY DOBORU URZĄDZEŃ CHŁODZENIA Efektywną ilości wymaganych mediów zapewnionych przez infrastrukturę serwerowni określa się dla następujących parametrów: 1. temperatury powietrza na powrocie do CRAC a) Temperatura w serwerowni 18-27 C, b) Wilgotność w serwerowni górna granica 60%RH 2. Parametry powietrza zewnętrznego Zgodnie z wymaganiami ASHRAE projektant powinien przyjąć maksymalne wartości temperatury dla danego regionu, gdzie będzie serwerownia, która wystąpiła w okresie ostatnich 20 lat, np.: we Wrocławiu w 2015: +37,9 C w Warszawie (Wawer) w 2015: 39,5 C W Łodzi w 2013: +38,0 C W Krakowie w 2013: +37,3 C 2004 Version 2008 Version % % % 16
ZASADY SCHŁADZANIA URZĄDZEŃ W SERWEROWNI 1. Pośrednie - powietrzem a) Poprzez schładzanie całego pomieszczenia serwerowni b) Poprzez schładzanie zimnego korytarza c) Poprzez dedykowane schładzanie gorącego korytarza i wynikowe schładzanie pozostałej przestrzeni serwerowni 2. Bezpośrednie a) schładzanie racków medium chłodniczym 17
Najczęściej stosowane rozwiązania. Kiedy stosować jakie rozwiązania? woda lodowa (chillery z freecoolingiem) czynniki chłodzące grupy HFC, tzn. freony z bezpośrednim odparowaniem (szafy precyzyjnej klimatyzacji ze skraplaczami zewnętrznymi i systemy IN ROW) powietrze zewnętrzne + schładzanie adiabatyczne (KyotoCooling / System EFC / DFC 2 układ pośredni - drycoolery ze zraszaniem (szafy precyzyjne ze skraplaczami wewnętrznymi i pompy freonowe ) Sposoby dystrybucji powietrza w serwerowni Podwójna podłoga Wyporowe Nawiew uzyskiwany przez wentylatory podłogowe Systemy kanałowe Bezpośredni nawiew w rejonie rack a Powrót powietrza do CRAC PRZYJĘTE ROZWIĄZANIE UKŁADU CHŁODZENIA I UWARUNKOWANIA Bezpośredni powrót powietrza do szaf Powrót powietrza do szaf przez strop podwieszony 18
LOKALIZACJA URZĄDZEŃ KLIMATYZACYJNYCH I - Jednostki wewnętrzne podstawowe i redundantne a) W odniesieniu do wysp ciepła b) W odniesieniu do zbilansowanej dystrybucji chłodu w odniesieniu do kompleksowej pracy serwerowni w następujących trybach pracy: Praca podstawowa Praca turnusu Praca redundancji c) Skuteczność schładzania d) Efektywność energetyczna e) Niezawodność / funkcjonalność Konfiguracja mocy podstawowej i mocy redundantnej a niezawodność na poziomie TIER II - Lokalizacja jednostek zewnętrznych (zagrożenia fizyczne i dostęp serwisowy) 19
RECYRKULACJA ZEWNĘTRZNA 21
RECYRKULACJA ZEWNĘTRZNA 22
RECYRKULACJA WEWNĘTRZNA Bezpośrednie zasysanie gorącego powietrza przez wentylatory chłodzące rack i 23
PODŁOGA PODWÓJNA JAKO NAJLEPSZY DYSTRYBUTOR POWIETRZA ZALETY plenum nawiewne o maksymalnej wydajności łatwość zapewnienia nawiewu powietrza w każdym miejscu serwerowni elastyczność możliwość łatwej dyspozycji objętością plenum nawiewnego w zależności od wysokości podwójnej podłogi możliwość dostępu w każde miejsce do przestrzeni podpodłogowej możliwość prowadzenia okablowania strukturalnego i instalacji zasilających, itp. łatwe czyszczenie tłumienie głośności pracy szaf CRAC WADY brak możliwości precyzyjnego wyliczenia wartości nawiewu w wytypowanym miejscu nieszczelności zwiększające się wraz ze wzrostem nadciśnienia podpodłogowego; zbyt niska wysokość podłogi wymuszona niskimi pomieszczeniami dużo niekontrolowanych strat nadciśnienia w przestrzeni podpodłogowej, wynikających z wielu dodatkowych niepotrzebnych otworów: instalacyjnych, montażowych, niestaranności montażu płyt (stepowanie), słabe zabezpieczenia przejść przez podłogę instalacji okablowania strukturalnego zakłócenia przepływów podpodłogowych wynikające z niekontrolowanych strumieni przepływu powietrza (ciśnienie dynamiczne) zakłóceń spowodowanych przez okablowania strukturalne i inne instalacje prowadzone pod podłogą powstawanie zjawiska kondensacji przy niskich temperaturach nawiewu Zagrożenie niestarannym montażem podłogi i powstawanie nieszczelności na styku zespolenia jej ze ścianami serwerowni Zagrożenie nieodpowiedniego przygotowania podłoża betonowego pod podłogą (zapylenie) trudności szybkiej lokalizacji przecieku 24
CO DODATKOWO PROJEKTANT POWINIEN UWZGLĘDNIĆ W PROJEKCIE HVAC&R 1. Oczekiwania po stronie użytkownika i projektanta to chęć posiadania dodatkowej rezerwy mocy chłodniczej tak na wszelki wypadek 2. FAZY DOCIĄŻANIA SERWEROWNI W ODNIESIENIU DO EMISJI ZYSKÓW CIEPŁA Z URZĄDZEŃ ELEKTRONICZNYCH: 3. Proces osiągnięcia maksymalnej mocy chłodniczej w serwerowni jako wynik planowany sukcesywnego obciążania serwerów i podnoszenia gęstości mocy 4. Zakłócenia pracy klimatyzacji w niedociążonej emisją zysków ciepła serwerowni (faza rozruchu) 25
PODSUMOWANIE Odpowiedzialność projektanta za projekt z perspektywy strat wynikających z braku dostępu do usług świadczonych przez serwerownię, a będących następstwem awaryjnego odstawienia systemów chłodzących. Są to wielomilionowe straty materialne i zagrożenie utraty wiarygodności właściciela, która jest podstawą ich pozycji rynkowych. W okresie użytkowania serwerowni Inwestorzy i Użytkownicy nie dopuszczają możliwości wystąpienia awarii infrastruktury krytycznej na poziomie całkowitego wyłączenia systemu - utraty funkcjonalności. Dlatego też: Projektowanie serwerowni w zakresie klimatyzacji precyzyjnej jest jednym z najtrudniejszych zadań dla projektantów HVAC&R. Wiedza, doświadczenie, odpowiedzialność czyli profesjonalizm to miara świadomości, że instalacje i systemy chłodzenia w serwerowni powinny pracować bezawaryjnie przez 10-15 lat. Dobrze zaprojektowane systemy chłodzenia serwerowni w konfiguracji redundantnej gwarantują niezawodność na poziomie bezpieczeństwa funkcjonalnego i dotrzymanie SLA w granicach opisanych miernikami funkcjonalności. Profesjonalista projektując funkcjonalność na poziomie SLA i musi jednoznacznie określić precyzyjne wymagania nie tylko dla urządzeń, instalacji i systemów, ale również określić wymagania dla wykonawcy i serwisu oraz przekazać je użytkownikowi w formie szczegółowego dokumentu chroniącego interesy inwestora. 26
BIBLIOGRAFIA 1. Commissioning Process for Buildings and Systems ANSI/ASHRAE/IES Standard 202-2013 2. The Commissioning Process ASHRAE Guideline 0-2013 3. HVAC&R Technical Requirements for The Commissioning Process ASHRAE Guideline 1.1-2007 4. 2008 ASHRAE Environmental Guidelines for Datacom Equipment 5. Uptime Institute Data Center Site Infrastucture Tier Stardard: Topology 6. Uptime Institute Data Center Site Infrastructure Tier Standard: Operational Sustainability 7. ANSI/CSA/EIA/TIA TIA-942 (PN PN-3-0092) Datacenter Infrastructure Standards 8. Artykuły Chłodnictwo i Klimatyzacja, autorzy: T. Kruczek / M. Żuk / J. Kot / B. Biernacki / P. Kowalski 27