Projektowanie i budowa Data Center case study Mirosław T.Mamczur Konsultant Data Center IBM Polska Rafał T.Śliwiński Konsultant Data Center IBM CEE
Dlaczego taki temat? Plan prezentacji Niezbędne definicje / Cykl realizacji Data Center wg IBM Wymagania / Oczekiwania - Potrzeby Możliwości Klienta Planowanie/ Lokalizacja i koncepcja / Dobór rozwiązań / Konfrontacja z rzeczywistością Projektowanie / Dobór projektantów / Decyzje administracyjne Projektowanie/ Projekty wykonawcze / Koordynacja międzybranżowa Budowa / Dobór partnerów / Dobór terminów Budowa / Instalacje systemów infrastruktury technicznej / Jak nad tym zapanować / Porządki Testy / koordynuj, sprawdzaj i testuj Odbiory / Otwieramy! Czy zamykamy? Podsumowanie / Jeszcze się taki nie urodził...
Dlaczego taki temat? Temat jest rozwinięciem prezentacji z poprzedniego IT Forum, która dotyczyła roli projektu koncepcyjnego w cyklu projektowania DC. Temat projektowania i budowy data center staje się coraz bardziej istotny w związku z powszechną tendencją prowadzenia optymalizacji rozwiązań na każdym etapie planowania i realizacji data center. W IBM funkcjonuje zasada przewadzania tzw. Lessons Learnt (czyli wniosków) po zakończeniu projektu. Analiza wniosków z różnych projektów jest ciekawą lekturą. Chęć podzielenia się autorów prezentacji własnymi doświadczeniami Chociaż jest to case study -nie wymieniamy konkretnego przypadku/-ów, nie wymieniamy Klienta/-ów, nie podajemy budżetu/-ów
Niezbędne definicje O czym mówimy używając pojęcia Data Center Data Center (serwerownia, IT room, itp.) jest obiektem w którym świadczone są usługi przetwarzania danych w sposób ciągły i niezawodny. Data Center posiada następujące funkcjonalności: Fizycznie zabezpiecza urządzenia IT i dane przed kradzieżą, zniszczeniem, pożarem wewnętrznym i zewnętrznym, skutkami pożaru na zewnątrz DC, itp., Dostarcza zasilanie niezbędne do pracy tych urządzeń, Zapewnia właściwe warunki środowiskowe (temperaturę, wilgotność) niezbędne do poprawnej pracy tych urządzeń oraz do przechowywania danych Zapewnia łączność z innymi urządzeniami wewnątrz i na zewnątrz DC.
Cykl realizacji Data Center wg IBM Wymagania Planowanie Projektowani e Budowa Testy i odbiór Potrzeby/funkcjonalność Wymagania biznesowe (aplikacje, systemy, strategia rozwoju) Bezpieczeństwo przetwarzania, Bezpieczeństwo fizyczne, Regulacje prawne. Skala / Wymaganie parametry DC Krytyczność Pojemność DC Plany rozwojowe Ocena i wybór lokalizacji Kryteria wyboru Ocena zagrożeń Analiza ryzyka Studium wykonalności Opracowanie koncepcji (specyfikacji DC) Najlepsze praktyki TIA-942 Uptime Institute, ASRAE, publikacje Doświadczenie wykonawcy Określenie preferencji użytkownika Preferencje Ograniczenia Wykonanie projektu koncepcyjnego Docelowa koncepcja obiektu i infrastruktury Analiza SPoF Modelowanie CFD systemu chłodzenia Prace projektowe dla obiektu technicznego Projekt budowlany Projekt wykonawczy Projekty Architektura / konstrukcja Projekty branżowe infrastruktury technicznej Systemy ppoż. i bezpieczeństwa, System monitoringu Kosztorysy wykonawcze Wymagane uzgodnienia (ppoż., ochrona środowiska, itp..) Pozwolenie na budowę Prace budowlane Skorupa obiektu Wyposażenie Obiekty towarzyszące, Zagospodarowanie terenu Zamówienia wyposażenia Elektryka Klimatyzacja i wentylacja, Systemy niskoprądowe BMS Testy komponentów i systemów Klimatyzacja i wentylacja Elektryka Niskie prądy BMS Testy funkcjonalne Wybrane branże Zgodność z wymaganiami i założeniami projektu Testy akceptacyjne Wszystkie branże Zgodność z kontraktem Start okresu gwarancyjnego Wstępny kosztorys Wizja przyszłego obiektu DC Koncepcja przyszłego obiektu DC Pozwolenia i projekt wykonawczy DC Gotowy obiekt DC Potwierdzenie zgodności obiektu z wymaganiami Funkcjonalność i skala DC, Wybór lokalizacji Zawarcie umowy na projekty techniczne Zawarcie umowy na prace budowlane Zgłoszenie obiektu do odbioru Gotowość obiektu do instalacji sprzętu IT
Wymagania Zapytanie od Klienta (ogólne lub adresowane) Oczekiwania Klienta wysokie w każdym aspekcie Często - zaufanie do IBM, że temat zostanie zrealizowany profesjonalnie Zasada stosowania wartości IBM Czynniki decydujące o wyborach klientów w obszarze DC Zapotrzebowanie na IT Presja kosztowa Potrzeba elastyczności
Oczekiwania -Potrzeby Możliwości Klienta Wymagania/oczekiwania w zakresie parametrów DC wysokie, często odwołują się do ogólnie krążących na rynku zapisów wymagań (niekoniecznie poprawnych lub istotnych) Data Center jest obiektem technologicznym -wymagania dla jego funkcjonalności i skali muszą wyjść z działu informatyki Klienta, niemniej jednak opanowanie technologii i wiedzy koniecznej do prawidłowego działania infrastruktury wspierającej pracę urządzeń komputerowych nie stanowi głównego obszaru działania działu informatyki Dobrze jest -jeśli podstawą do wytycznych od działu informatyki jest strategia biznesowa Klienta Należy skonfrontować wymagania stawiane przez Klienta wewnątrz jego organizacji (sprzeczne informacje od różnych grup interesów) Należy skonfrontować wymagania Klienta z jego rzeczywistymi potrzebami Należy skonfrontować potrzeby Klienta z jego planowanym budżetem
Oczekiwania -Potrzeby Możliwości Klienta Realizacja Data Center nie dotyczy tego co Klient wymaga a nawet potrzebuje ale tego za co jest gotowy zapłacić Wymagane nakłady inwestycyjne na infrastrukturę Data Center są bardzo znaczące. Dlatego już na wstępie należy odpowiedzieć na poniższe pytania: Ile realnie potrzeba środków na budowę data center wg wymagań / potrzeb Klienta? Czy Klient posiada wystarczające środki? Jaki jest możliwy budżet dla data center? Wymagana redundancja infrastruktury? Czy rzeczywiście jest uzasadniona? Jaki poziom kosztów operacyjnych, umowy serwisowe? Możliwe przyszłe modyfikacje, zmiany w zapotrzebowaniu mocy zasilania i chłodzenia, itp.? Weryfikacja kosztów vs. możliwy budżet Wymagania Klienta Koncepcja na bazie potrzeb + szacowane koszty Wymagania vs. rzeczywiste potrzeby Klienta Cykl opracowania rozwiązania Data Center
Planowanie / Lokalizacja i koncepcja Kryteria wyboru rozwiązania Data Center mają decydujący wpływ na budżet Lokalizacja Kryteria podstawowe(ich znaczenie jest niepodważalne, ale wartości są dyskutowane) Fizyczna przestrzeń serwerowni Zasilanie Chłodzenie Łącza telekomunikacyjne Kryteria drugorzędne (całkowicie zależne od Klienta i zakresu projektu) Pomieszczenia DC - centrum nadzoru, pomieszczenia backupu, magazyny, itp., Sposób zabudowy - ściany, drzwi, biura, rampa wyładowcza, itp., Elementy wyposażenia -kamery nadzoru wizyjnego, czytniki kart systemu kontroli dostępu, systemy alarmowe, szafy komputerowe, oświetlenie, itp. Dodatkowe wyposażenie: wózki widłowe, podnośniki paletowe do transportu urządzeń, Inne Budżet = Lokalizacja + Kryteria podstawowe + Kryteria dodatkowe
Planowanie / Lokalizacja i koncepcja Optymalizacja w procesie planowania (koncepcji) i projektowania DC polega głównie na redukcji kosztów TCO (Total Cost of Ownership) poprzez zbilansowanie kosztów inwestycyjnych CAPEX (Capital Expenditures) i operacyjnych OPEX (Operating Expenditures) przy jednoczesnym zabezpieczeniu niezbędnego poziomu IT odpowiadającego poziomowi rozwoju biznesu w perspektywie co najmniej kilku-kilkunastu lat. Optymalizacja podczas projektowania DC obejmuje: Racjonalizację DC Skalowalność obiektu Modularność obiektu Uzyskanie niezbędnej niezawodności obiektu Uzyskanie jak najlepszej efektywności energetycznej obiektu (a właściwie wyważenie propocji pomiędzy niezbędną niezawodnością DC a możliwą do uzyskania efektywnością energetyczną) Konsolidację (serwerowni i sprzętu) oraz wirtualizację urządzeń IT
Już na etapie koncepcji DC powinno się uwzględniać nakłady inwestycyjne i koszty operacyjne Nakłady inwestycyjne 60% to zasilanie i chłodzenie Koszty operacyjne 3-5x nakłady inwestycyjne $250 Energy Cost Usługi 24% Chłodzenie 20% Monitoring i bezpieczeństwo 4% Zasilanie 36% Cumulative Cost of Operations ($Millions) $200 $150 $100 $50 Staffing Bldg. Maint. & Mgmt. R E Tax Wyposażenie 9% Budynek 7% 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Year Source: IBM Estimates
Planowanie / Dobór rozwiązań Analiza kosztów inwestycyjnych 5.krotna różnica kosztów technologii Analiza kosztów operacyjnych 2.5. krotna różnica kosztów dostawców $2 $3 Technology 1, Vendor A 1.5 2.5 2 Technology 1, Vendor C Technology 3, Vendor G $ Millions 1.5 $ Millions 1.5 1.5 0 Technology #1 Technology #2 Technology #3 0 1 2 3 4 5 6 7 8 9 10 Zmniejszenie całkowitych kosztów o 15-30% w cyklu życia DC Poprawa w doborze dostawców i kompromisowych technologii Year
Konfrontacja z rzeczywistością Idealistyczne podejście natrafia na rzeczywistość Najczęściej spotykane podejście Klientów Wybrana/posiadana przez Klienta lokalizacja, która nie spełnia podstawowych parametrów Przekonanie Klienta do konkretnych rozwiązań Konieczne jest ustalenie osób decyzyjnych po stronie Klienta Konieczne jest rozpoznanie grup i osób pozamerytorycznego nacisku
Projektowanie / dobór projektantów / decyzje administracyjne Dobór projektantów wg kompetencji/uprawnień i posiadanych doświadczeń Dobór projektantów z zachowaniem zasady ograniczonego zaufania Zarezerowanie w harmonogramie projektowania (o ile to możliwe)zapasu czasowego na ewentualną wymianę projektantów (branżowych) Zarezerwowanie w harmonogramie czasu na decyzje administracyjne (pozwolenie na budowę) lub wyłączenie tego czasu ze zobowiązań umownych Ważne jest przygotowanie listy niezbędnych dokumentów załączników do projektu budowlanego (check listapomocna przy kompletowaniu wniosku o pozwolenie na budowę) Dobre rozpoznanie działania lokalnych instytucji (np. zwyczajowy a nie formalny termin podejmowania decyzji) wykorzystanie relacji projektantów
Projektowanie / Projekty wykonawcze / Koordynacja międzybranżowa Zarezerowanie w harmonogramie projektowania czasu na spotkania projektowe koordynacyjne Prowadzenie spotkań projektowych koordynacyjnych Oczekiwana jest precyzja branżystów w trakcie uzgodnień międzybranżowych Oczekiwane jest prowadzenie konsultacji z producentami wybranych rozwiązań (istotnych urządzeń)
Budowa / Dobór partnerów Naistotniejszy na tym etapie jest dobór partnera w zakresie branży budowlanej Wskazana jest współpraca z partnerem posiadającym lokalne umocowanie, lokalne relacje (w urzędach, w zakładzie energetycznym) W dużej mierze dobór pozostałych partnerów odbywa się na etapie planowania, gdy zapadają decyzje w sprawie rozwiązań branżowych dla DC Ważne jest zweryfikowanie kompetencji i doświadczenia partnerów z realizacji podobnych wdrożeń
Budowa / Dobór terminów Dopasowanie terminu rozpoczęcia budowy do typowego cyklu budowlanego ważna jest możliwość zamknięcia stanu surowego przed zimą Dobór terminów dostaw urządzeń infrastruktury -jaki jest proces produkcyjny dostawców, jaki jest proces testów odbiorczych producenta, jakie są realne terminy dostaw, kiedy jest zamknięcie roku fiskalnego dostawcy
Budowa / Instalacje systemów infrastruktury technicznej Dopracowanie skoordynowanego harmonogramu prac instalatorskich Terminy powinny zawierać ok.10% rezerwę (zakładkę) czasową Konsekwentne przestrzeganie harmonogramu prac instalacyjnych Weryfikowanie parametrów urządzeń infrastruktury technicznej (czy dostarczono dokładnie to co zostało zamówione) Weryfikowanie dokładności prowadzenia instalacji (porównanie uzgodnień międzybranżowych z rzeczywistością)
Budowa / Jak nad tym zapanować Współpraca z kierownikami ekip branżowych Obserwowanie zachowania pracowników ekip branżowych Organizowanie spotkań koordynacyjnych na budowie Rozliczanie z poprzednich zadań/terminów i uzgadnianie następnych Konsekwencja w egzekwowaniu zadań i terminów (harmonogram rzecz święta ) Nie pozostawianie spraw bez rozstrzygnięcia Ślad po uzgodnieniach (pismo, notatka z podpisami, email z potwierdzeniem odbioru) Nie dopuszczanie do eskalacji konfliktów pomiędzy branżami (konflikty będą zawsze)
Budowa / Porządki Utrzymanie tzw. kultury biurowej -musi być ślad o każdym dokumencie gdzie aktualnie się znajduje, u kogo i do kiedy Utrzymanie porządku z kluczami spis kluczy, oznakowanie kluczy, lista osób upoważnionych do pobierania kluczy, rozliczanie każdego klucza, zasada stałego posiadania 1 egz. każdego klucza Sprzątanie obiektu wymóg sprzątania po przeprowadzonych pracach branżowych każda branża po sobie. Zatrudnianie wyspecjalizowanej firmy sprzątającej do przeprowadzania porządków w przestrzeniach ogólnych (kilkakrotnie w ciągu okresu budowy i prac instalacyjnych)
Testy / koordynuj, sprawdzaj i testuj Test świadka (Witness test) dla najważniejszych urządzeń kluczowych systemów UPS-y, STS-y, agregaty prądotwórcze, chillery, szafy klimatyzacyjne Testy komponentów i systemów Klimatyzacja i wentylacja Elektryka Systemy niskoprądowe (security i ppoż.) BMS Testy funkcjonalne Wybrane branże Zgodność z wymaganiami i założeniami projektu Testy integracyjne Wszystkie branże razem Zgodność z kontraktem Start okresu gwarancyjnego Podczas 'Witness Test' agregatów prądotwórczych
Testy / koordynuj, sprawdzaj i testuj Oszacowanie czasu na przeprowadzenie wszystkich typów testów Oszacowanie budżetu na testy Sprawdzenie zgodności parametrów testowanych urządzeń z deklarowanymi Wyjaśnienie z producentami metod przeprowadzania testów Przygotowanie odpowiednio wcześnie scenariuszy testów fukcjonalnych Koordynowanie kolejności i czasu przeprowadzania testów funkcjonalnych Przygotowanie odpowiednio wcześnie scenariuszy testów integracyjnych w porozumieniu z przedstawicielami dostawców kluczowych urządzeń Koordynowanie testów integracyjnych Unikanie łączenia testów integracyjnych z odbiorami
Odbiory / Otwieramy! Odpowiednio wczesne przygotowanie check list do złożenia wniosków (do Nadzoru Budowlanego) i zgłoszeń (do PSP, Sanepid, UDT) Terminowe złożenie: - wniosku o uzyskanie pozwolenia na użytkowanie - zgłoszeń do Państwowej Straży Pożarnej I do Sanepidu - zgłoszeń do Urzędu Dozoru Technicznego w sprawie uzyskania decyzji zezwalającej na eksploatację urządzeń technicznych, podlegających rejestracji i kontroli
Odbiory / Czy zamykamy? A co wtedy, jeśli po procesie realizacji Klient zmienia swoje plany, inaczej widzi swoje potrzeby, pozostawia obiekt bez sprzętu IT? Czym to może skutkować? W jakiej sytuacji?
Etap Wymagań Czy mówimy o tym samym? Dopasowanie do budżetu Klienta Etap Planowania Dobór rozwiązań Rozsądny harmonogram Etap Projektowania Dobór projektantów Koordynacja międzybranżowa Etap Budowy Dobór partnerów Koordynowanie prac Porządki Etap Testów i odbiorów Plan testów Rezerwa czasowa na testy 'Check listy' do odbiorów Podsumowanie Wymagania Wizja przyszłego obiektu DC Planowan ie Koncepcja przyszłego obiektu DC Projektow anie Pozwolenia i projekt wykonawczy DC Budowa Gotowy obiekt DC Testy i odbiór Potwierdzenie zgodności obiektu z wymaganiami
Jeszcze się taki nie urodził... Czasami zdarza się, że nie wszyscy beneficjencji ze strony Klienta będą na 100% usatysfakcjonowani nawet przy założeniu, że projekt powiódł się w zgodzie z zapisami umowy (parametry, termin, budżet) Zdarzają się oczekiwania rodzące się poza umową, nagłe decyzje zmian w doborze technologii IT, dla których trzeba zmieniać projekty wykonawcze DC (zmiana harmonogramu prac, budżetu), istotna zmiana polityki Klienta itp. Osiągnięcie satysfakcji po stronie Klienta nie zawsze gwarantuje sukces zespołu realizacyjnego we własnej organizacji Idealna sytuacja realizacja w pełni wszystkich zapisów umowy, w terminie i w określonym budżecie, ściśle trzymając się określonego trybu przeprowadzania zmian