Tworzenie koncepcji infrastruktury fizycznej Data Center w oparciu o normy Krzysztof Szczygieł Skyline Teleinfo S.A. kszc@skylineteleinfo.pl 8th PLNOG Meeting 5-6 marca 2012
1. Przegląd stanu opracowań normatywnych Aktualne prace normalizacyjne Omówienie pren 50600-1 2. Omówienie pren 50600-1 3. Proces tworzenia DC Dobre praktyki
Krzysztof Szczygieł Prezes Zarządu Skyline Teleinfo S.A. Członek Rady Nadzorczej Skyline Investment S.A. (spółka notowana na GPW) Ekspert z ramienia Polski w CENELEC TC215 WG03 Electrotechnical aspects of telecommunication equipment Infrastructure and Facilities Członek KT 173 PKN ds. Interfejsów i Budynkowych Systemów Elektronicznych autor rozdziału Projektowanie Centrów Przetwarzania Danych w monografii Informatyka Gospodarcza (C.H. Beck 2010) wykładowca przedmiotu Projektowanie Centrów Przetwarzania Danych na Politechnice Warszawskiej
Słownictwo Data Center (amer.) budynek lub jego wydzielona część, której podstawowe funkcje zostały tak zaplanowane, aby stanowiły obszar przygotowany do zlokalizowania pomieszczenia serwerów oraz jego zaplecza technicznego. (TIA 942) Data Centre (ang.) budynek lub przestrzeń, której podstawową funkcją jest ulokowanie urządzeń służących do przetwarzania, dostarczania lub przechowywania informacji. (pren 50600-1) Synonimy stosowane w języku polskim: CENTRUM PRZETWARZANIA DANYCH Ośrodek obliczeniowy (arch.) Sala komputerowa Serwerownia Tier (ew. tier level) kilka zagadek?
Normy, standardy, kodeksy, opracowania... W zakresie związanym z całościowym potraktowaniem zagadnień tematyki Data Center opracowania normalizacyjne są nieliczne Znacznie więcej opracowań powstaje w stowarzyszeniach branżowych lub organizacjach technicznych działających poza rynkiem stricte normalizacyjnym. Jest to zjawisko typowe dla innowacyjnych dziedzin techniki. W takich przypadkach mówi się o dobrych praktykach przyjętych w danej dziedzinie lub środowisku specjalistów. Często pojawiają się również tzw. standardy de facto. Przy budowie DC wykorzystuje się natomiast liczne normy obejmujące zakresem wybrane elementy infrastruktury technicznej jako osobne elementy, lecz bez ich odniesienia do rozwiązań używanych w DC.
Normy i standardy Źródła normalizacji i standaryzacji: Organizacje normalizacyjne normy Kodeksy dobrych praktyk Organizacje inżynierskie - standardy branżowe Organizacje inżynierskie i konsultingowe międzybranżowe kodeksy dobrych praktyk Firmy oferujące urządzenia lub technologie - standardy firmowe
Organizacje normalizacyjne Normalizacja międzynarodowa: ISO - International Organization for Standardization (Genewa) IEC - International Electrotechnical Commission (Genewa) ITU - International Telecommunication Union (Genewa) Normalizacja europejska: CEN - European Committee for Standardization (Bruksela) CENELEC - European Committee for Electrotechnical Standardization ETSI - European Telecommunications Standards Institute (Sophia Antipolis) Normalizacja amerykańska: ANSI - American National Standards Institute (Washington, DC) TIA - Telecommunication Industry Association (Arlington, VA) Normalizacja polska: PKN Polski Komitet Normalizacyjny (Warszawa)
Normalizacja ANSI ANSI/TIA 942 (kwiecień 2005) Telecommunications Infrastructure Standard for Data Center Nowela normy 942-2 (03/2010) Norma, w zamyśle dotyczyła infrastruktury telekomunikacyjnej, ale w trakcie powstawania została uzupełniona o opracowania innych elementów infrastruktury Wprowadziła klasyfikację Tier niezrozumienie tej klasyfikacji prowadzi do wielu fałszywych założeń i błędów Norma ta jest pierwszą, w miarę kompleksową normą traktującą całościowo o zagadnieniach Data Centre mimo upływu czasu tezy z normy są w użyciu do dziś
Standaryzacja BICSI Standard dobrych praktyk uznany za normę Organizacja: BICSI Building Industry Consulting Service International Wydzielony komitet techniczny Data Center Subcommittee Podstawowa publikacja: ANSI/BICSI 0002-20101Data Center Design and Implementation Best Practices kompleksowy zbiór wytycznych wielobranżowych powstałych na bazie opracowań branżowych uzupełnionych o zebrane doświadczenia oraz wzbogacony o wskazówki praktyczne. Najbogatszy i najbardziej wszechstronny w chwili obecnej standard. Zakres i szczegółowość znacznie większa niż normy ANSI/TIA-942. Klasyfikacja oparta m.in. o wpływ niedostępności na świadczenie usługi biznesowej
Standardy ASHRAE Standard branżowy praktycznie na prawach normy Organizacja: ASHRAE American Society of Heating, Refrigerating and Air-Conditioning Engineers (www.ashrae.org ) TC 9.9 Komitet Techniczny 9.9 Mission Critical Facilities, Technology Spaces and Electronic Equipment zajmuje się zagadnieniami chłodzenia Data Centre Podstawowy dokument definiujący zasady chłodzenia w Data Center 2008 ASHRAE Environmental Guidelines for Datacom Equipment -Expanding the Recommended Environmental Envelope Nowe przełomowe uregulowania z 2011 m.in. zmiana dopuszczalnego zakresu temperatur i wilgotności w Data Centre (White Paper)
Standardy IEEE Organizacja: IEEE - Institute of Electrical and Electronics Engineers Podstawowe dokumenty: IEEE Standard 493-2007 (Gold Book) IEEE Recommended Practice for Design of Reliable Industrial and Commercial Power Systems IEEE Standard 902-1998 (Yellow Book) Guide for Maintenance, Operation and Safety of Industrial and Commercial Power Systems IEEE Standard 446-1995 (rev.2000) (Orange Book) Recommended Practice for Emergency and Standy Power Systems for Industrial and Commercial Applications IEEE tworzy również kompletne standardy w zakresie technologii transmisyjnych używanych przez IT grupa norm 802.3 (technologia Ethernet)
Standardy opisowe Organizacja: Uptime Institute Uptime Institute jest niezależną firmą konsultingową specjalizująca się w tematyce Data Centers o wysokiej dostępności. Uptime Institute tworzy standardy przede wszystkim opisowe analizujące rozwiązania stosowane w CPD pod kątem potrzeb biznesowych. Są to opracowania raczej o charakterze strategii postępowania niż o opisujące konkretne rozwiązania techniczne. Podstawowy dokument: Data Center Infrastructure Tier Standard: Topology (d. White Paper Tier Classification Define Site Infrastructure Performance ) W praktyce występują częste odwołania do opracowań Uptime Institute szczególnie do klasyfikacji Tier niestety najczęściej z błędami wynikającymi z nieznajomości lub niezrozumienia opracowań.
Standaryzacja w zakresie efektywności energetycznej Organizacja: The Green Grid The Green Grid to organizacja skupiająca producentów sprzętu i profesjonalistów zajmujących się oszczędzaniem energii Podstawowy dokument definiujący wskaźniki efektywności energetycznej Green Grid data center power efficiency metrics: PUE and DCIE W chwili obecnej opracowano szereg nowych wskaźników efektywności
Inne grupy opracowań Standardy firmowe White Papers
Normy związane Normy specjalizowane dotyczące wybranych zagadnień z tematyki Centrów Przetwarzania Danych (przykłady): ISO/IEC 24764 Information technology Generic cabling systems for data centres PN-EN 50173-5 Technika informatyczna -- Systemy okablowania strukturalnego - Część 5: Centra danych (EN 50173-5) PN-EN 1047-2 Pomieszczenia i urządzenia do przechowywania wartości. Klasyfikacja i metody badań odporności ogniowej. Część 2: Pomieszczenia oraz pojemniki do przechowywania nośników informacji
Aktualne prace normalizacyjne w CENELEC Powstaje grupa norm kompleksowo ujmujących zagadnienia Data Center EN 50600: EN 50600-1 obejmuje pojęcia ogólne Sześć arkuszy z grupy EN 50600-2-x obejmuje zagadnienia związane z poszczególnymi elementami infrastruktury fizycznej Powstają również dwa kodeksy dobrych praktyk o randze TR: Dobre praktyki w projektowaniu Dobre praktyki w eksploatacji Prowadzone są też prace z inicjatywy ETSI nad zagadnieniami uzupełniającymi zakres EN 50600 ETSI TS 105200-2-1 Energy efficiency: Global KPIs: Operational infrastructures Data Centres ETSI TS 105174-2-2 Energy efficiency and Key Performance Indicators: Data Centres
Struktura grupy norm EN 50600 EN 50600-1 Information technology Data Centre facilities and infrastructure Part 1: General concepts EN 50600-2-1 Information technology Data Centre facilities and infrastructure Part 2-1: Building construction EN 50600-2-2 Information technology Data Centre facilities and infrastructure Part 2-2 Power distribution EN 50600-2-3 Information technology Data Centre facilities and infrastructure Part 3-2: Enviromental control EN 50600-2-4 Information technology Data Centre facilities and infrastructure Part 2-4: Telecommunications cabling infrastructure EN 50600-2-5 Information technology Data Centre facilities and infrastructure Part 2-5: Security systems EN 50600-2-6 Information technology Data Centre facilities and infrastructure Part 2-6: Management and operational information
Zakres normy pren 50600-1 Norma obejmuje: Technika informatyczna Wyposażenie i infrastruktura centrów przetwarzania danych Część 1: Pojęcia ogólne a) zagadnienia związane z oceną ryzyka i analizą kosztów operacyjnych, umożliwiające odpowiednie zaklasyfikowanie centrum przetwarzania danych, b) aspekty opisu centrów przetwarzania danych, obejmujące terminologię, parametry oraz modele odniesienia (elementy funkcjonalne i ich rozmieszczenie), uwzględniające zarówno przewidywaną wielkość jak i złożoność w zależności od przeznaczenia centrum przetwarzania danych, c) ogólne aspekty wyposażenia i infrastruktury, d) system klasyfikacji, oparty na kluczowych kryteriach: dostępności, bezpieczeństwa i efektywności energetycznej w planowanym czasie życia centrum przetwarzania danych, dla zapewnienia efektywnego wykorzystania wyposażenia i infrastruktury,
Kluczowe tezy w pren 50600-1 Włączenie analizy ryzyka jako istotnego elementu procesu tworzenia koncepcji Zaproponowanie wielopłaszczyznowej klasyfikacji Zastosowanie klasyfikacji Data Center przy użyciu klasy dostępności, ale bez odniesienia do modelu dziewiątkowego Stworzenie różnic w klasach dostępności dla różnych elementów infrastruktury (inaczej niż w modelu Uptime Institute)
Składniki analizy ryzyka Norma pren 506000-1 nie definiuje metod analizy ryzyka, a jedynie wskazuje na istotną rolę tego elementu w określaniu klas rozwiązań Koszt niedostępności systemu: Kary umowne Straty wynikające z zaprzestania świadczenia usług Straty reputacji, zaufania Klientów itp. Analiza zagrożeń pod kątem wpływu na infrastrukturę: Utrata funkcjonalności części systemu, ale bez wpływu na zasoby krytyczne Utrata części zasobów krytycznych, ale bez utraty redundancji Utrata redundancji zasobów krytycznych Utrata możliwości świadczenia usługi lub powstanie sytuacji zagrożenia życia Określenie prawdopodobieństwa wystąpienia poszczególnych zagrożeń 4 poziomy (bardzo niski, niski, średni, wysoki)
Klasyfikacja Data Center wg normy pren 50600-1 System klasyfikacji Data Center opiera się na ocenie: Klasy dostępności (4 klasy) Klasy zabezpieczenia (3 klasy) Efektywności energetycznej (3 poziomy) Na podstawie kombinacji tych trzech kwalifikacji oceniamy lub tworzymy wymogi dla poszczególnych elementów infrastruktury
Klasy dostępności i przykładowe implementacje Klasa 1 Klasa 2 Klasa 3 Klasa 4 Dostępność infrastruktury Budynek i jego wyposażenie Układ zasilania Niska Średnia Wysoka Bardzo wysoka ffs ffs ffs ffs Jednotorowy (brak szczególnych wymogów) Jednotorowy (redundancja elementów) Wielotorowy (redundancja systemów) Wielotorowy (odporny na awarie w czasie konserwacji) Parametry środowiskowe n/a Jednotorowy (brak wymogów) Okablowanie n/a Połączenie pojedyncze Systemy bezpieczeństwa Jednotorowy (redundancja elementów) Połączenie wielokrotne ffs ffs ffs ffs Wielotorowy (redundancja systemów) Połączenie wielokrotne (wymagania dodatkowe ffs)
Klasyfikacja stopnia zabezpieczenia Obszary objęte oceną: Zabezpieczenie przed nieautoryzowanym dostępem Zespół działań związanych z zabezpieczeniem technicznym (KD, CCTV itp.) Zabezpieczenie przed wewnętrznymi zagrożeniami środowiskowymi Pożar, zalanie, ESD Zabezpieczenie przed zewnętrznymi zagrożeniami środowiskowymi: Lokalizacja i wynikająca stąd podatność na zagrożenia zjawiskami przyrodniczymi i naturalnymi Wpływ zewnętrznych instalacji technicznych i infrastrukturalnych
Przygotowanie infrastruktury pod kątem efektywności energetycznej Ocena efektywności energetycznej jest rozumiana szerzej niż jako prosty sposób oceny efektów lub zadanych parametrów do osiągnięcia Oceniany jest również, a może przede wszystkim poziom przygotowania infrastruktury do poprawy efektywności energetycznej co znalazło odbicie w opisie poziomów klasyfikacyjnych
Przygotowanie infrastruktury pod kątem efektywności energetycznej Poziom 1 mierzy się tylko zgrubne parametry pozwalające ocenić Data Center jako całość Poziom 2 mierzy się dokładnie parametry poszczególnych elementów infrastruktury Poziom 3 mierzy się szczegółowo parametry poszczególnych urządzeń
Harmonogram
Proces powstawania Data Center Zasady ogólne wg zał.a do pren 50600-1 Strategia Cele Specyfikacje Wstępne koncepcje Wybór Koncepcja docelowa Zatwierdzenie Projektowanie Umowa Wykonanie Uruchomienie
Najgorsze praktyki tworzenia Data Center Pomijanie faz opracowania strategii i celów i rozpoczynanie od projektu technicznego lub wykonanie tych faz jako elementów projektu technicznego Budowanie koncepcji Data Center od razu w oparciu o konkretny produkt - wykorzystywanie doradców producentów jako konsultantów lub projektantów Rezygnacja z wykorzystania wysoko wykwalifikowanych niezależnych konsultantów Przekonanie, że proces projektowy Data Center składa się z kilku dobrych projektów branżowych brak integracji Data Center jako całości Przekonanie, że stworzenie dobrego Data Center wymaga jedynie wyboru dobrego (i taniego) wykonawcy prac
Dobre praktyki Nie stosować złych praktyk Porzucenie kryteriów 100% cena (choć to niełatwe) na rzecz analizy TCO i stabilności operacyjnej Zatrudnienie starannie wybranych wysoko kwalifikowanych konsultantów koszt konsultantów zwróci się kilkukrotnie w trakcie projektu, wykonania i eksploatacji Sięganie do nowych rozwiązań i standardów Oddzielenie roli konsultanta od roli projektanta i wykonawcy Korzystanie z konsultantów w trakcie całego procesu tworzenia Data Center Podzielenie całej inwestycji na fazy i prowadzenie jej zgodnie z zasadami project managementu (nie zaczynanie następnej fazy bez zakończenia poprzedniej)
Dziękuję za uwagę Pytania? Kontakt: kszc@skylineteleinfo.pl