Infrastruktura okablowania strukturalnego dla centrum przetwarzania danych 1
SPIS TREŚCI 1. Czynniki decydujące o sukcesie ekonomicznym centrum przetwarzania danych... 4 1.1 Cel: Żadnych usterek... 4 1.2 Infrastruktura i błąd człowieka - największe ryzyko niepowodzenia... 5 1.3 Konsekwencje usterek a koszty... 5 2. Standardy dla infrastruktury centrów przetwarzania danych... 6 2.1 Klarowne struktury pomagają uniknąć błędów... 6 2.2 Priorytety wspomagają ekonomiczne planowanie i wykonanie... 7 3. Podstawowe wymagania dotyczące okablowania strukturalnego... 8 3.1 Wysoka wydajność i możliwość adaptacji przez długi czas... 8 3.2 Kolejna generacja: 10 Gigabitowy Ethernet oparty na światłowodach... 10 3.3 Znaczenie ekranowania, uziemienia oraz korekcji napięcia... 13 4. Podstawy planowania oraz kryteria doboru produktów... 15 4.1 Przyszłe niezawodne planowanie sieci centrum przetwarzania danych... 15 4.2 Planowanie maksymalnej niezawodności dla szkieletu i obszaru pamięci... 16 4.3 Zapewnienie elastyczności i skalowalności w szafach przełączników i serwerów... 18 4.4 Wybór spójnego rozwiązania zapewniającego bezpieczeństwo systemu... 19 4.5 Dążąc do zapewnienia jakości w całym łańcuchu wartości dodanej... 20 5. Wnioski... 20 Copyright 2007 Reichle&De-Massari AG (R&M). Wszelkie prawa zastrzeżone. Rozpowszechnianie oraz kopiowanie niniejszej publikacji lub jakiejkolwiek jej części, dla dowolnych celów i w dowolnej formie są zabronione bez uzyskania wyraźnej pisemnej zgody Reichle&De-Massari AG. Informacje zawarte w niniejsze publikacji mogą zostać zmienione bez wcześniejszego powiadomienia. Dokument ten został opracowany przy dołożeniu najwyższej możliwej staranności, przedstawia on stan na dzień jego opracowania. Firma zastrzega sobie prawo do wprowadzania zmian technicznych. 2
Centra przetwarzania danych (Data Center) wymagają nowoczesnych i niezawodnych systemów okablowania strukturalnego. Obecnie, dostępność i niezawodność centrów przetwarzania danych ma zasadnicze znaczenie dla rozwoju całego rynku, nie tylko informatycznego. Giełdy papierów wartościowych, procesy w przedsiębiorstwie, handel, komunikacja oraz szereg innych usług opiera się na płynnej pracy centrum przetwarzania danych. Ogrom danych wymagających przetworzenia stale rośnie i wymaga maksymalnej wydajności centrum przetwarzania danych. Jednocześnie inwestorzy muszą kontrolować koszty, zwiększać wydajność i eliminować źródła błędów, które mogą prowadzić do wystąpienia przerw w pracy. Statystyki pokazują, że największa ilość usterek w Data Center wynika z pasywnej infrastruktury lub błędu człowieka! Stąd, zagadnieniem tym należy zająć się na etapie planowania infrastruktury i okablowania w celu zwiększenia niezawodności Centrum. Aktualne standardy z wysokimi wymaganiami dotyczącymi jakości stanowią tu podstawę. Reiche&De-Massari oferuje jeszcze większe możliwości dzięki systemowi okablowania strukturalnego R&Mfreenet. Doskonałym uzupełnieniem systemu jest unikalny na rynku światowym trójstopniowy system zabezpieczeń - R&M Security system. Modułowe budowa systemu sprzyja szybkiemu, elastycznemu i opłacalnemu dostosowaniu centrum przetwarzania danych do aktualnych wymagań. Doskonała szwajcarska jakość, precyzja i innowacyjne rozwiązania gwarantują bezpieczeństwo transmisji oraz wysoką dostępność Data Center, jak również stabilność w zakresie kosztów operacyjnych. W niniejszym artykule przedstawiono, z punktu widzenia opłacalności, informacje dotyczące aktualnych standardów, kryteriów planowania oraz wymagań dla określonej pasywnej infrastruktury oraz systemów okablowania strukturalnego, stawianych przez centra przetwarzania danych o wysokiej dostępności, opracowanych w celu zapewnienia maksymalnej wydajności. Zastosowanie: Technologia Format: Tematy Cel Grupa docelowa: Autor: Centrum przetwarzania danych, okablowanie strukturalne przedsiębiorstwa Okablowanie miedziane i światłowodowe, 10 Gigabitowy Ethernet Artykuł techniczny Sieć i okablowanie strukturalne w centrach przetwarzania danych, ryzyko usterek, bezpieczeństwo, dostępność, standardy, elastyczność, 10 Gigabitowy Ethernet, uziemienie, planowanie DC Podstawowe informacje dotyczące systemu okablowania strukturalnego oraz kryteria podejmowania decyzji dotyczących planowania i eksploatacji bezpiecznych centrów przetwarzania danych o wysokiej dostępności. Projektanci, kierownicy, operatorzy centrów przetwarzania danych. Manfred Schmid, Przemek Gruszczyński Sierpień 2007 3
1. Czynniki decydujące o sukcesie ekonomicznym centrum przetwarzania danych 1.1 Cel: Żadnych usterek Usługi w centrum przetwarzania danych (DC) nabierają coraz większego znaczenia, ponieważ coraz częściej mają one krytyczne znaczenie dla przedsiębiorstw. Ilość usług IT rośnie w tym samym stopniu, co ilość danych wymagających przetworzenia. Coraz częściej usługi te muszą być dostępne w każdym momencie. Skutek. W centrach przetwarzania danych coraz trudniejsze jest przeprowadzanie nawet zaplanowanych prac serwisowych czy konserwacyjnych. Dostępność DC w każdej chwili wymagana jest nie tylko dla przedsiębiorstw czy rynku B2B, ale również w dużej mierze przez społeczeństwo, które nie jest zainteresowane technicznymi aspektami tego zagadnienia, a także dla systemów komunikacji opartych na technologii komputerowej. Wymagania rosną w jeszcze większym stopniu ze względu na fakt, iż operatorzy centrum przetwarzania danych starają się obniżać koszty bez uszczerbku dla wydajności DC. Rozbudowa, przebudowa i przesunięcia muszą być wykonywane bez naruszania dostępności. Wprowadzanie nowszych wersji stwarza ogromne wymogi dla bieżących operacji. Wachlarz różnych generacji aktywnych elementów sieci często niesie za sobą szereg znacznie większych problemów, ponieważ poszczególne urządzenia mają inne charakterystyki wydajności. Dzięki postępującej standaryzacji elementów oraz organizacji, centra przetwarzania danych zostały przystosowane do tych wymogów. Modularne systemy, takie jak Blade Server - uzupełnione o Zdalne Zarządzanie (Remote Management) oraz Łączenie Serwerów (Server Clustering) pomaga operatorom zmniejszyć ilość personelu lub oprzeć się na zewnętrznym personelu. Rysunek 1: Centra przetwarzania danych muszą w szybkim tempie nadążać za rosnącymi i zróżnicowanymi wymaganiami. Schemat: EMC. 4
Wszystkie przestawione tu środki mogą pomóc w obniżeniu kosztów operacyjnych. Jednakże, mogą one zakłócać dostępność centrum przetwarzania danych, ze względu na rosnące jednocześnie prawdopodobieństwo błędu człowieka, które niełatwo poddaje się analizie; czyli konsekwencje błędów i modyfikacji mogą szybko rozprzestrzeniać się. Zasadniczy cel, polegający na zapewnieniu wysokiej dostępności, należy skonfrontować z powyższymi wyzwaniami i ryzykiem. 1.2 Infrastruktura i błąd człowieka - największe ryzyko niepowodzenia Różne niezależne badania pokazują, że zaledwie w 7% utrata danych spowodowana jest wirusami komputerowymi, podczas, gdy 44% strat spowodowanych jest usterką urządzeń a 32% błędem człowieka! Inne badania wskazują, że 59% problemów z siecią można przypisać bezpośrednio fizycznej infrastrukturze i złączom. Innymi słowy: większość usterek spowodowanych jest prostymi problemami ze sprzętem, a znaczna ich część wynika z błędu człowieka popełnionego podczas instalacji, konserwacji i eksploatacji. Nie jest możliwe całkowite wyeliminowanie błędów spowodowanych przez człowieka. Jednakże, błędy, zaniedbania i pomyłki można zredukować poprzez prawidłowe procedury, środki organizacyjne oraz techniczne. Przykładowo, profesjonalne spójne zarządzanie okablowaniem strukturalnym stanowi integralną część tego procesu. Jasne oznaczenie poszczególnych kabli pomaga zapobiec błędom i zachować jednoznaczny dostęp do urządzeń połączeniowych. Równie ważne, co właściwe oznaczenie jest odpowiednie pełne podłączanie (end-toend connection) oraz izolacja kabli. Ponadto, przemyślane funkcje bezpieczeństwa mogą zmniejszyć ryzyko w zarządzaniu przewodami połączeniowymi. Jakość instalacji również odgrywa coraz większą rolę. Nawet najmniejsze błędy w instalacji wpływają na transmisję danych - w szczególności w sieciach wykorzystujących 10 Gigabitowy Ethernet. Tolerancja błędu dla nowoczesnych sieci w centrach przetwarzania danych spada drastycznie. Gigabitowy Ethernet stał się standardem stosowanym przy łączeniu serwerów zaledwie kilka lat temu. Obecnie odczuwalne staje się zapotrzebowanie na coraz większe przepustowości. Opracowane zostały już standardy dla 10 Gigabitowego Ethernetu. Jednakże, 10 Gigabitowy Ethernet jest aplikacją wielkiej częstotliwości wrażliwą i stawiającą ściśle określone wymagania dla systemu okablowania strukturalnego oraz aktywnych elementów. Jednocześnie, sprawne usuwanie usterek staje się coraz trudniejsze, ponieważ wadliwe pakiety danych mogą zostać utracone w ogromnych zasobach danych, stąd istnieje prawdopodobieństwo, że problemy występujące w sieci pozostaną niewykryte. 1.3 Konsekwencje usterek a koszty Za powyższymi obserwacjami oraz zagadnieniami dotyczącymi ryzyka kryje się bardzo istotny czynnik, który jest bezpośrednio powiązany z rosnącymi zasobami danych oraz zapotrzebowaniem na wysoką dostępność: czynnik kosztów. W wielu przypadkach, jeżeli centrum przetwarzania danych lub pojedynczy transfer danych zawodzi, przedsiębiorcy, użytkownicy czy też klienci natychmiast ponoszą ogromne koszty. Koszty rozumiane w wymiarze finansowym i niefinansowym. W porównaniu ze zwykłymi aplikacjami LAN wynikłe koszty są nieprównywalnie wysokie. Jest to kolejna przyczyna, dla której system okablowania dobrej jakości w centrum przetwarzania danych, który pomaga zapobiec błędom oraz usterkom, nabiera coraz większego znaczenia. 5
Poniższy schemat przedstawia ponoszone koszty na godzinę w przypadku wystąpienia usterki sieci dla różnych zastosowań. Koszty awarii DC przypadające na 1 godzinę w USD Rysunek 2: Ponoszone koszty przypadające na godzinę w przypadku usterki sieci. Źródło: Contingency Planning Research 2. Standardy dla infrastruktury centrów przetwarzania danych 2.1 Klarowne struktury pomagają uniknąć błędów Kryteria, które decydują później o bezpieczeństwie i wysokiej dostępności w bieżących operacjach, należy brać pod uwagę już przy planowaniu i projektowaniu - od razu na samym początku łańcucha wartości dodanej. Okablowanie musi spełniać szereg standardów, aby sprostać szczególnym wymaganiom określonym dla centrów przetwarzania danych. Normy TIA 942 oraz EN 50173-5 stanowią podstawę dla profesjonalnego planowania topologii. Norma TIA 942 już została zatwierdzona. EN 50173-5 zostanie sfinalizowana na jesieni 2007 roku. Oba komitety standaryzacji zwracały szczególną uwagę na problem wysokiej dostępności przy opracowywaniu powyższych standardów. Norma TIA 942 definiuje struktury oraz rozmieszczenie centrów przetwarzania danych oraz wskazuje, jakie funkcje powinny być dostępne w poszczególnych pomieszczeniach. Dokonano w niej wyraźnego podziału na Core Networking (centralny punkt dystrybucyjny i szkielet) oraz serwer/dostęp (strefa dystrybucji poziomej). Pozwala on zawczasu uniknąć błędów. Doświadczona osoba zarządzająca centrum przetwarzania danych dobrze zna wymienione standardy. Zaletą ich jest to, że w większości oparte są one na praktycznym doświadczeniu. Centra przetwarzania danych, które pracują w oparciu o wymienione standardy spełniają obecne wymagania operacyjne, jak również wymagania odnośnie kompatybilności względem przyszłych zastosowań i technologii. Niezawodność i środki pozwalające zapobiegać błędom implementowane są od samego początku. Jasne, jednorodne struktury pomagają zredukować błędy oraz pomyłki. Struktury te ułatwiają pracę personelowi, szczególnie, jeśli pracuje on okresowo w centrum przetwarzania danych. 6
Rysunek 3: Dobrze zdefiniowane, jasne struktury są cechą centrów przetwarzania danych zaprojektowanych przez wykwalifikowanych ekspertów. Struktury te są znormalizowane przez TIA 942. Schemat R&M. 2.2 Priorytety wspomagają ekonomiczne planowanie i wykonanie Standaryzacja nie oznacza, że wszystko musi znajdować się na jednym, doskonałym, a więc i drogim poziomie. Wręcz przeciwnie, komitet normalizacyjny zawsze bierze pod uwagę efektywność kosztową i przewiduje pewien właściwy poziom elastyczności. Stąd, fizyczną infrastrukturę centrum przetwarzania danych można podzielić na różne poziomy priorytetów. Priorytet oparty jest na ważności różnych usług IT oraz różnych wymagań dotyczących dostępności. Zasadnicze kryteria to topologia, redundancja, zasilanie oraz szereg innych czynników związanych z dostępnością DC. Norma TIA 942 definiuje cztery poziomy/warstwy i określa, jaki poziom dostępności musi zapewnić każdy z nich. Podstawowe wymagania WARSTWA I WARSTWA II WARSTWA III WARSTWA IV Zasilanie i ścieżka chłodzenia Wspólne Wspólne 1 akt. / 1 pas. 2 aktywne Element nadmiarowy N N+1 N+1 2 (N+1) Nadmiarowa ścieżka szkieletu Nie Nie Tak Tak Nadmiarowe poziome okablowanie Nie Nie Nie Opcja Podnoszona podłoga 12" 18" 30-36" 30-36" Zasilacz awaryjny/ generator Opcja Tak Tak Podwójny Konserwacja Wyłączenie Wyłączenie Nie Nie Wpływ błędu Zakłócenia Zakłócenia Zakłócenia Nie 7
Ilość miesięcy na implementację 3 3 to 6 15 to 20 15 to 20 Względny koszt budowy 1 1.5 2 2.5 Dostępność miejsca 99.671% 99.749% 99.982 % 99.995 % Rysunek 4: Cztery poziomy dostępności według TIA 942. Stosując powyższy model warstw, operator centrum przetwarzania danych może w klarowny sposób wybrać i zdefiniować wymagania dla dostarczanych usług IT. Ułatwia on opracowanie budżetu dla ich wdrożenia oraz dokonanie wyboru właściwych elementów instalacji. Model ten służy również do dokonania analizy kosztów/zysków zwykle wykonywanej dla tego obszaru. Model warstwowy sygnalizuje różnice w kosztach między poszczególnymi warstwami. Są one tak znaczące, że dla większości centrów przetwarzania danych zupełnie nieekonomiczne byłoby funkcjonowanie na najwyższym poziomie dostępności. Każda firma, jak również każdy klient korzystający z centrum przetwarzania danych zakłada inny poziom odporności na uszkodzenia, a więc wymaga również indywidualnie dobranych poziomów dostępności. Standaryzacja powala na skuteczne spełnienie kolejnego wymogu: oferowanie usług IT przy wykorzystaniu puli serwerów. Obecnie, aplikacje coraz częściej migrują do usług sieciowych trzeciej warstwy. Ten model usług ma za zadanie szczególnie udoskonalić dostępność usług IT poprzez przełączalną dostępność pul serwerów. Poprzez odpowiednie rozmieszczenie pul serwerów w centrum przetwarzania danych lub w kilku miejscach, można znacząco ograniczyć konsekwencje usterek lub przerw w pracy. Można zawczasu uniknąć szeregu niebezpieczeństw, jeżeli planowanie oparte jest na klarownym schemacie i modularnym projekcie wszystkich obszarów centrum przetwarzania danych. 3. Podstawowe wymagania dotyczące okablowania strukturalnego 3.1 Wysoka wydajność i możliwość adaptacji przez długi czas Serwery, przełączniki oraz jednostki pamięci mogą działać, jedynie, jeśli wentylacja, chłodzenie, zasilanie oraz okablowanie sieciowe są dostępne. Projektant centrum przetwarzania danych musi zwracać uwagę na wszystkie te aspekty i zadbać o to, aby przepustowości były wystarczające dla przyszłej rozbudowy oraz możliwe były również główne przebudowy. Centrum przetwarzania danych nigdy nie jest statyczne. Infrastruktura okablowania musi spełniać bardzo zróżnicowane wymagania, jeśli ma być przeznaczona dla nowoczesnego centrum przetwarzania. Na wstępnie niezbędna jest wysoka wydajność. System okablowania musi być w stanie obsługiwać rosnące szybkości transmisji. Jednakże, zdolność obsługiwania wysokich szybkości przesyłania danych jest bez znaczenia, jeżeli system jest zawodny. Przy wykorzystaniu Gigabitowego Ethernetu, a w szczególności przy pracy sieciowej w oparciu o 10 Gigabitowy Ethernet, wrażliwość na zakłócenia drastycznie rośnie w porównaniu z oddziaływaniami zewnętrznymi. W konsekwencji, prace instalacyjne muszą być wykonywane z ogromną starannością, aby zapewnić trwały i niezawodny system. Od fachowej wiedzy instalatora w ogromnej mierze zależy, czy właściwe wymagania zostaną spełnione. Nie może on popełnić żadnego błędu. Systemy okablowania, które nie są skomplikowane, są 8
wygodne i logiczne w obsłudze pomagają uniknąć błędów w instalacji. Ponadto, należy zadbać o to, aby instalacja pozostawała w dobrym stanie przez wiele kolejnych lat. System okablowania musi również być elastyczny tak, aby mógł on obsługiwać stale wprowadzane zmiany, przesunięcia oraz zmiany zarówno na małą jak i dużą skalę. Modularne podejście jest tu najlepszym wyborem, ponieważ dzięki niemu wprowadzanie zmian jest proste, a ryzyko błędu pozostaje minimalne. W celu wyeliminowania źródeł błędów ważne jest przestrzegania standardów. Systemy okablowania spełniające właściwe standardy lub przekraczające je, ograniczają do minimum prawdopodobieństwo, wystąpienia znaczących awarii w wyniku błędu człowieka. Elastyczność umożliwia zwiększanie wydajności aktywnych elementów w tej samej przestrzeni. Przestrzeń w centrum przetwarzania danych jest cenna i trudno ją powiększyć, kiedy konstrukcja zostanie już zakończona. Stąd, system okablowania musi znajdować się w położeniu umożliwiającym dostanie się do niego i podłączenie kompaktowych grup aktywnych elementów. Jednocześnie, obsługa paneli krosowniczych musi być jasna, w celu uniknięcia błędów przy wkładaniu i wyciąganiu przewodów połączeniowych. Systemy okablowania wysokiej jakości są projektowane od samego początku tak, aby możliwe było zwiększanie wydajności, przy jednoczesnym zapewnieniu maksymalnej użyteczności. Rysunek 5: Krosownice w centrum przetwarzania danych źródło błędów człowieka. Zdjęcie: R&M. Kwestia jakości ma zastosowanie w całym łańcuchu wartości dodanej systemu okablowania począwszy od wykonania poprzez instalację do obsługi i konserwacji w późniejszym okresie. Fundamentalnym wymaganiem stawianym systemowi okablowania jest zagwarantowanie stosownej wydajności dla aplikacji IT nie tylko dzisiaj, ale także w przyszłości. Infrastruktura okablowania centrum przetwarzania danych musi obsługiwać kilka generacji technologii przełączników i serwerów. Dlatego też, wystarczająca rezerwa wydajności a tym samym parametrów technicznych ma kolosalne znaczenie. 9
Rysunek 6: Modularny system okablowania strukturalnego R&Mfreenet z trzema liniami produktów: Classic, Star, Vision spełnia wszystkie długofalowe wymagania odnośnie elastyczności i wydajności. Schemat: R&M. W tym momencie, chcielibyśmy nawiązać do modularnego systemu okablowania R&Mfreenet. Oczywiście spełnia on wszelkie normy, a dodatkowo zapewnia elastyczność oraz wydajność, jaką centra przetwarzania potrzebują dziś i w przyszłości. Każdy dokładnie opracowany szczegół sprzyja zapobieganiu niepożądanym przerwom w pracy sieci, a w szczególności tym, które wynikają z błędu człowieka. Ponadto, jest on szczególnie prosty w instalacji. 3.2 Kolejna generacja: 10 Gigabitowy Ethernet oparty na światłowodach Rosnąca ilość danych, z którymi muszą sobie radzić centra przetwarzania danych oraz sieci w przedsiębiorstwach, wymaga większej szerokości pasma oraz większych wydajności przesyłu. 10 Gigabitowy Ethernet oparty na światłowodach został znormalizowany w normie IEEE 802.3ae w 2002 roku i z powodzeniem jest stosowany w szkielecie centrów przetwarzania danych. Komponenty VISION w systemie okablowania R&Mfreenet pozwalają na zastosowanie 10 Gigabitowego Ethernetu opartego na światłowodach. Składa się on z różnych typów kabli, które opracowane zostały dla różnych aplikacji oraz lokalizacji. W obszarze wejścia WAN zastosowano światłowód jednomodowy OS1 zgodnie z normą IEC 11801, drugie wydanie lub OS2, (o którym mowa w ISO/IEC 24702 odpowiadający światłowodowi B1.3, o którym mowa w normie IEC 60793-2-50). Wielomodowy światłowód stał się standardem w obszarze szkieletu, a rozwiązaniem zastosowanym przez R&M dla tego obszaru działania jest OM3. OM3 można stosować zarówno dla obszaru szkieletu jak również dla sieci pamięci masowej SAN (Storage Area Network). Zapewnia on 10
maksymalną wydajność na odległości 300 metrów i nadaje się do stosowania w sieciach nadmiarowych, zgodnie z normą TIA 942 w III i IV warstwie. W centrach przetwarzania danych, w których powinna istnieć możliwość wykorzystania okablowania poziomego oraz okablowania szkieletowego dla 10 GbE często preferowane jest okablowanie miedziane, ponieważ jest kosztowo bardziej efektywne i bardziej odporne w użytkowaniu. Standard IEEE 802.3an dla 10 Gigabitowego Ethernetu opartego na okablowaniu ze skrętki miedzianej istnieje od czerwca 2006. Od strony technicznej, sygnał 10GBASE-T jest znacznie ostrzejszy, stąd jego większa wrażliwość na zakłócenia niż jego poprzedników. Oznacza to nie tylko, że na sygnał oddziałuje przesłuch między przewodami pojedynczego kabla (przesłuch zbliżny - NEXT), ale że należy również wziąć pod uwagę przesłuch zbliżny występujący między kablami w wiązkach przewodów (przesłuch zdalny ANEXT). W pewnych sytuacjach ANEXT może wywierać tak silny, negatywny wpływ jak parametr NEXT, iż kable muszą być w pełni ekranowane, aby go wyeliminować. Skutki ANEXT są trudne do przewidzenia. Nie występują one we wszystkich sytuacjach; wiązka aktywnych kabli musi leżeć razem na długim odcinku, aby powstał znaczący ANEXT. Skutek może być niesymetryczny. Kable w środku wiązki są prawdopodobnie bardziej narażone niż położone na zewnątrz. Często nie jest jasne, w jaki sposób wyłowić taki kabel w wiązce kabli, co może stanowić przyczynę przejściowych problemów w sieci, które będą trudne do wykrycia. Krytyczne sytuacje mogą wystąpić, jedynie, jeśli w sieci działa seria serwerów wykorzystujących 10 Gigabitowy Ethernet. Stąd, niektóre centra przetwarzania danych przeszły na infrastrukturę opartą wyłącznie na światłowodach. W innych wykorzystywana jest możliwość łączenia dostępów opartych na miedzi oraz światłowodach do poszczególnych szaf serwerowych. Oba rozwiązania mają swoje mankamenty. Instalacje światłowodowe są droższe i trudniej jest zmienić takie okablowanie niż okablowanie miedziane. Z tej przyczyny, okablowanie światłowodowe jest bardziej zalecane dla obszarów statycznych w centrach przetwarzania danych np. w obszarze szkieletu, gdzie zwykle ma miejsce ewentualnie kilka zmian. W przypadku połączenia światłowodów i przewodów miedzianych zasadnicze znaczenie ma dobranie najbardziej elastycznej i efektywnej kombinacji. System okablowania R&Mfreenet firmy Reichle&De-Massari jest kompatybilny z 10 Gigabitowym Ethernetem w obu rozwiązaniach światłowodowym i miedzianym i dzięki swojej modularności umożliwia ich połączenie na jednej platformie. Firma R&M opracowała dwa rozwiązania dla 10 GbE oparte na miedzi z ekranowaniem i bez ekranowania, rodzina rozwiązań nazwano jako STAR Real10 w systemie okablowania R&Mfreenet. 11
Rysunek 7: Niezależny certyfikat potwierdzający wydajność systemu okablowania. Elementy kategorii 6 tej serii spełniają wymagania odnośnie transmisji dla 10 GbE określone w normie IEEE 802.3an - w konfiguracjach z czterema złączami i okablowaniu poziomym na długości 100 metrów, opartym na skrętce miedzianej. Norma przewiduje bezprzerwowe przesyłanie przy 500 MHz. Kanały oparte na kategorii 6 firmy R&M zostały poddane testom prowadzonym przez niezależne laboratoria i uzyskały certyfikat na częstotliwość transmisji do 600 MHz. Każdy moduł ekranowany kategorii 6 posiada ekran 360 o zapewniający pełną ochronę przed zakłóceniami pochodzącymi z sąsiednich modułów. Rysunek 8: Kabel U/UTP i moduł UTP kategorii 6 oraz moduł FTP oraz kabel S/FTP kategorii 6 z serii STAR Real 10. Zdjęcia: R&M. Firma R&M opierając się na swoim wieloletnim doświadczeniu z ekranowanymi przewodami opracowała technologię WARP (Wave Reduction Patterns), którą zastosowała w serii STAR Real10. Kable instalacyjne nieekranowane owinięte są fragmentami folii, która pochłania zewnętrzne zakłócenia. Odcinki folii na kablu U/UTP są oddzielone od siebie, aby zablokować prądy obwodowe. Są one wystarczająco krótkie, aby nie dopuścić do efektu anteny i jednocześnie na tyle ciasno ułożone, aby stłumić ANEXT. Kable WARP stosowane w instalacji przekraczają wartości określone w aktualnych normach, a jednocześnie można je w prosty sposób zakańczać i rozplanować tak, jak zwykłe kable nieekranowane. Zatrzaskowe obudowy WARP dla modułów RJ45 razem z zoptymalizowanymi przewodami zapewniają skuteczną ochronę przed przesłuchami zdalnymi na całej długości połączenia (100 m). 12
Ekranowane i nieekranowane elementy STAR Real10 zapewniają niezawodną przesył danych przy dużych szybkościach. Pięć różnych konfiguracji czterech złączy uzyskało certyfikat w wyniku niezależnych badań potwierdzających wydajność 10GBASE-T, a więc ułatwiają one bezprzerwowe funkcjonowanie przy obsłudze bieżących i przyszłych aplikacji IT. 3.3 Znaczenie ekranowania, uziemienia oraz korekcji napięcia Centra przetwarzania danych są środowiskami naładowanymi elektromagnetycznie. Urządzenia zasilające, chłodzące itp. są źródłem różnych sygnałów zakłócających. Jak już wcześniej wspomniano, sieć działająca przy wykorzystaniu 10 Gigabitowego Ethernetu opartego na miedzianych kablach staje się wrażliwa na takie zakłócenia przy niskim poziomie sygnału, dlatego też, wszechstronne ekranowanie - często nie stosowane w przeszłości przy założeniu, że jedynie "miło je mieć" jest obecnie absolutną koniecznością w nowoczesnych centrach przetwarzania danych, przy założeniu, że uwzględnione zostaną tu również czynniki takiej jak uziemienie i/lub korekcja napięcia. Systemy uziemienia powinny być opracowywane w pierwszej kolejności przy planowaniu centrum przetwarzania danych. Uziemienie należy zaprojektować w oparciu o normę EN 50174-2. Jeżeli zadanie to zostanie poprawnie wykonane, powstanie idealne i efektywne ekranowanie - pod warunkiem zastosowania niezawodnego zakończenia ekranu na złączach teleinformatycznych. Rysunek 9: Uziemienie i/lub korekcja napięcia jest warunkiem wstępnym skutecznego ekranowania. Możliwe są topologie gwiazdy, drzewa, hybrydowa, kraty (zgodnie z normą EN 50174-2). Ponadto, należy zadbać o wykonanie skutecznego i niezawodnego złącza ekranowania. Opór złącza odgrywa znaczącą rolę w przeciwdziałaniu zakłóceniom elektromagnetycznym w systemie zabezpieczeń. 13
Reichle&De-Massari wyposaża złączą RJ45 kategorii 6 w ekranowane zakończenie, które gwarantuje niski i stabilny opór przesyłu na całej długości połączenia. Moduł i ekran kabla połączone są długim bagnetem, który zapewnia spływ niepożądanych ładunków do systemu uziemienia. Rysunek 10: Trwały bagnet z ekranem przylegającym na 360 o gwarantuje niski opór przesyłu na złączu ekranu (oznaczono na czerwono po lewej stronie schematu). Schemat i zdjęcie: R&M. Rysunek 11: Styk z trwałą osłoną. Zdjęcie: R&M. 14
4. Podstawy planowania oraz kryteria doboru produktów 4.1 Przyszłe niezawodne planowanie sieci centrum przetwarzania danych Aspekty omówione powyżej, takie jak efektywność kosztowa, dostępność, standardy, modularność, wydajność, ekranowanie, itp. są kluczowymi kryteriami dla planowania infrastruktury centrum przetwarzania danych. Ponadto, wymagania dotyczące ilości i przepustowości kabli muszą zostać wcześniej określone, aby już na początku zapewnić wymaganą elastyczność. Poza tym, należy również oszacować ilość i wielkość serwerów, przełączników, podłączeń sieciowych, itp. Konieczne jest również uwzględnienie kwestii dotyczących nadmiarowości. Nadmiarowe podłączenia są zwykle prowadzone poprzez osobne kanały kablowe tak, aby podłączenie można było zawsze poddać konserwacji w sytuacji awaryjnej. Osoba planująca sieć musi również uwzględnić wymagania dotyczące zasilania oraz chłodzenia dla każdej szafy sprzętowej. Musi upewnić się, że trasy kablowe dla teleinformatyki, zasilania i chłodzenia w podłożu nie nachodzą na siebie. Poza tym, należy uwzględnić ilość osobnych kabli podstawowej komunikacji do zarządzania oraz przyłącza KVM, jak również gęstość portów światłowodowych i miedzianych na każdej szafie. Należy przewidzieć przyszłe rozbudowy oraz te uwzględnione na etapie planowania. Aplikacje IT w poszczególnych szafach lub w całych obszarach centrum przetwarzania danych mogą się zmieniać. Konieczne jest uwzględnienie takiej możliwości; w szczególności dla poziomego okablowania obsługującego szafy przełącznikowe i serwerowe, co oznacza, że szafy, przewody połączeniowe, a nawet wiązki kabli muszą być konfigurowane w sposób maksymalnie modularny. Takie działanie ułatwia wymianę oraz przekształcanie mniejszych odcinków, w razie zaistnienia takiej potrzeby. Zapewnienie w przyszłości niezawodności poprzez prawidłowe planowanie oznacza również projektowanie systemu kabli, który będzie kompatybilny z kilkoma generacjami aktywnych elementów. Należy koniecznie przewidzieć rezerwy na rozbudowę centrum przetwarzania danych lub też zwiększenie wydajności portu. Dotyczy to nie tylko połączeń o dużych szybkościach lub SAN, ale także zdalnego sterowania serwerów (KVM) oraz osobnych kabli sterowania, które należy planować z myślą o rozbudowie. 15
Rysunek 12: Wymagania dla typowych topologii centrum przetwarzania danych oraz okablowania. Źródło: R&M. 4.2 Planowanie maksymalnej niezawodności dla szkieletu i obszaru pamięci Przy planowaniu okablowania szkieletowego, szczególnie istotne jest postawienie sobie za cel osiągnięcie maksymalnej długofalowej niezawodności. Zwykle szkielet jest mniej narażony na ciągłe zmiany. Mimo, że należy założyć, że szybkości transmisji danych oraz przepustowości będą również zwiększały się, nadal jednak rzadko dodawane będą łącza w szkielecie lub będzie on modyfikowany po wykonaniu centrum przetwarzania danych. Należy jeszcze raz podkreślić, że maksymalna niezawodność w szkielecie, jak również w obszarze pamięci ma krytyczne znaczenie, ponieważ konsekwencje wystąpienie przerwy mogą być ogromne. W przypadku dodawania elementów, przesunięć lub zmian, łącza szkieletu i SAN w żadnych okolicznościach nie mogą być narażone na ryzyko przerwania. Obecnie, wielomodowe światłowody OM3 są najczęściej wykorzystywane do konfiguracji szkieletu. Jednomodowe światłowody mogą okazać się konieczne dla długości przekraczających 300 metrów przykładowo przy planowaniu centrów przetwarzania danych, jeżeli występują większe odległości między punktami podłączeń dostawców usług telekomunikacyjnych w obszarze wejścia, pomieszczenia telekomunikacyjnego i/lub głównym węźle rozdzielczym w serwerowni. Właściwe zakończenie kabli światłowodowych minimalizuje wydatki na kolejne modyfikacje. Zwykle złącza światłowodowe są stosowane w konstrukcji LC, ponieważ ta opcja połączenia jest szeroko stosowana dla aktywnych elementów. W niektórych przypadkach zalecane będzie zastosowanie innych złączy. Odwrotnie jest z 16
kolei ze złączem E-2000 TM stosowanym przeważnie na długich łączach szkieletu, ponieważ, między innymi, zapewnia doskonałą ochronę przed drganiami. Wstępnie zakończone wiązki kabli światłowodowych są zwykle zalecane dla okablowania szkieletu i SAN. Przy ich zastosowaniu planowanie i instalację można lepiej opracować oraz uniknąć błędów w instalacji. Dodatkowo, aby zapewnić najwyższą jakość połączenia możemy zamontować złącza wypolerowane w gradacji A. W ten sposób eliminuje się niezbyt precyzyjne i poprawianie prace na miejscu. R&M zapewnia rozwiązania systemowe, które dostarczane są o wymaganej długości, światłowody i złącza (LC, E-2000, SC-RJ lub SC) i/lub złącza paneli. Wiązki kabli są starannie zakańczane, szlifowane, poddane testom i oznakowane. Posiadają one osłony zapewniające wysoką wytrzymałość na rozciąganie w celu ograniczenia ryzyka uszkodzenia światłowodu podczas instalacji. Ponadto, gwarantujemy, że wszystkie światłowody w wiązce zgodne są z obowiązującymi normami. Do zastosowania jako szafy dla głównych punktów rozdzielczych oraz dla określonego obszaru, firma R&M oferuje kompaktowe szafy umożliwiające szybką instalację. Można w nich umieścić złączone i wstępnie zakończone kable jak również złącza. Umożliwiają one profesjonalne zarządzanie kablami, co od początku zapobiega uszkodzeniu światłowodów. Rysunek 14: Rozwiązanie zapewniające efektywną instalację i niezawodny montaż okablowania szkieletowego: wiązka wstępnie zakończonych kabli z LC, S.C. lub E2000 oraz montaż w panelu światłowodowym. Zdjęcie: R&M. Obecnie złącza SC-RJ preferowane są dla szaf serwerowych, ponieważ są one tej samej wielkości, co złącza RJ45 dla okablowania miedzianego, stąd ich wspólne funkcjonowanie jest możliwe na jednej platformie (rysunek 13). Ułatwia to zarządzanie oraz wspomaga efektywność kosztową oraz bezpieczeństwo inwestycji. Rysunek 13: Złącze SC-RJ jest tej samej wielkości co standardowe złącza RJ45. Zdjęcie: R&M. 17
W systemie okablowania R&Mfreenet, seria VISION spełnia wymagania stawiane okablowaniu światłowodowemu. Ponieważ szkielet stanowi statyczny element sieci, jest on rzadko zmieniany po jego zainstalowaniu, chyba że w przypadku zwiększania całkowitej przepustowości centrum przetwarzania danych. Dlatego też, wydajność oraz długofalowa stabilność są podstawowymi wymaganiami zaraz po gęstości upakowania złączy. Poza wydajnością i gęstością, seria VISION oferuje możliwość zakańczania kabli przed opuszczeniu fabryki. W rezultacie, czas instalacji można skrócić i uniknąć dodatkowych źródeł błędów. 4.3 Zapewnienie elastyczności i skalowalności w szafach przełączników i serwerów Funkcjonowanie użytkowego obszaru centrum przetwarzania danych, szaf serwerowych i przełączników zależy od elastyczności i łatwej skalowalności. Rozbudowy, przesunięcia oraz zmiany muszą być przeprowadzane sprawnie i w nieskomplikowany sposób. Szybki czas reakcji jest konkurencyjnym czynnikiem w centrach przetwarzania danych. Okablowanie musi być odporne na wiele czynników oddziaływujących w tym obszarze. Musi ono przetrwać kilka generacji sprzętu nie tracąc na wydajności i funkcjonować niezależnie od stosowanych aplikacji, jak również musi być proste w administrowaniu. Użycie wyłącznie kabli wysokiej klasy jest bezużyteczne, jeżeli system połączeń nie wspiera efektywnej i bezpiecznej instalacji. W celu uniknięcia pomyłek podczas bieżącej eksploatacji, przewody krosowe powinny zapewnić wyraźny obraz połączeń kablowych. Firma R&M opracowała również wysokiej jakości system rozwiązujący powyższy problem. Klarowny obraz, wyraźny podział, łatwe zarządzanie, elastyczność oraz modularna konstrukcja to cechy tego rozwiązania. Zastosowanie szeregu różnych elementów już na początku może zdecydować o wyeliminowaniu typowych źródeł błędów w bieżącej eksploatacji. Właściwym przykładem będzie tu panel dystrybucyjny Global (rysunek 15). Jego elastyczność polega na instalacji w tym samym panelu złączy RJ45, SC oraz E-2000. Jako alternatywa dla standardu 24 portowego panelu, to rozwiązanie z 60 portami oferuje większy poziom modularności. Dzięki niemu jednym panelem można obsłużyć wszystkie połączenia (KVM, LAN lub SAN) w szafie serwerowej. Całkowita wykorzystywana przestrzeń jest mniejsza niż w rozwiązaniach o wysokiej gęstości, ale o mniejszej elastyczności. Większa powierzchnia umożliwia wyraźne oznakowanie portów, co zapobiega błędom w krosowaniu. 18
Rysunek 15: Panel Global to kompatybilności elastyczność jeżeli chodzi o montaż złączy RJ45, SC-RJ czy E2000). Zdjęcie R&M. 4.4 Wybór spójnego rozwiązania zapewniającego bezpieczeństwo systemu O bezpieczeństwie sieci centrum przetwarzania danych można w prosty sposób zdecydować już na poziomie okablowania, które właściwie zaplanowane i zaprojektowane można będzie w każdej chwili zaadaptować do rosnących wymagań. Jak już wspomniano wyżej, przejrzystość, klarowność oraz użyteczność odgrywają tu istotną rolę. Przy wyborze poszczególnych elementów, należy również wziąć pod uwagę stosunek zysków do kosztów. Często proste, ale spójne rozwiązanie mechaniczne jest bardziej efektywne niż zastosowanie rozwiązania z drogimi aktywnymi elementami lub skomplikowanym oprogramowaniem. Reichle&De-Massari niezmiennie stosuje zasadę modularności w obszarze bezpieczeństwa. Kodowanie za pomocą kolorów ma tu zasadnicze znaczenie. W centrach przetwarzania danych zwykle stosowane są kolorowe kable połączeniowe. Poszczególne kolory powinny oznaczać różne rodzaje usług IT. Metoda jest skuteczna, ale niewystarczająca, ponieważ trzeba wówczas trzymać w zapasie różne typy przewodów. Ponadto, nie zawsze można być pewnym, czy użyte zostały właściwe kolory, zwłaszcza po istotnych usterkach lub po przeprowadzonych modyfikacjach. Zastosowanie niewłaściwego koloru kabla negatywnie wpływa na usługi IT. W takich sytuacjach reakcja łańcuchowa może doprowadzić ostatecznie do awarii. Rozwiązanie R&M dotyczące bezpieczeństwa opiera się na oznaczaniu kolorami zakończeń przewodów połączeniowych. W prosty sposób można je założyć lub wymienić. Nie ma potrzeby odłączania lub wyciągania kabla. Mocowane kolorowe nakładki można również stosować na panelach krosowych. W ten sposób stworzony zostaje jasny podział połączeń. Ponadto, takie rozwiązania obniża koszty związane z przechowywaniem przewodów połączeniowych. Rozwiązania wykorzystujące schematy kolorów, mechaniczne kodowanie stanowią element niezależnego systemu bezpieczeństwa R&M Security System, który poza systemami okablowania strukturalnego znajduje się w ofercie firmy. Dzięki temu systemowi mamy gwarancję, że kable nie zostaną podłączone do niewłaściwych portów oraz że dany kabel, miedziany, czy też światłowodowy, zawsze pozostanie na swoim miejscu. Złącze można otworzyć jedynie przy pomocy specjalnego klucza (Plug Guard, Fiber Guard). Zastosowane łącznie wizualne i mechaniczne kodowanie oraz zabezpieczenia przeciw wpięciu/wypięciu zdecydowanie podnoszą poziom bezpieczeństwa w pasywnej części centrum przetwarzania danych. 19
Rysunek 16: Proste, skuteczne i tanie rozwiązania w zakresie bezpieczeństwa począwszy od kolorowych nakładek (z lewej) do zatrzasków na przewodach połączeniowych (z prawej). Zdjęcia R&M. 4.5 Dążąc do zapewnienia jakości w całym łańcuchu wartości dodanej W celu całkowitego wyeliminowania możliwości wystąpienia usterek, niezbędna jest wysoka jakość na całym łańcuchu wartości dodanej, która będzie powiązana nie tylko z samym produktem. Samo planowanie, instalacja oraz bieżąca eksploatacja już powinny charakteryzować się najwyższą jakością. Jeżeli chociaż jedna część nie pasuje, nie można osiągnąć celu, którym jest perfekcyjne działanie. Reichle&De-Massari niezmiennie wykazuje doskonałe zrozumienie dla znaczenia jakości i wdraża ją na miejscu u klienta przy wykorzystaniu programu partnerskiego (QPP). W oparciu o ten program, organizacje, które wybierają R&M na swojego dostawcę mogą być pewne, że otrzymają wsparcie od wszystkich zaangażowanych osób oraz że sieć, która zostanie dla nich skonfigurowana będzie niezawodna i wysokiej jakości. Program obejmuje regularne sesje szkoleniowe, długoterminowe gwarancje, programy certyfikacji, które stanowią gwarancję, iż wszystkie zaangażowane osoby spełniają określone standardy jakości i lojalności. Dzięki połączeniu wysokiej klasy produktów oraz usług R&M zapewnienia jakość, bezpieczeństwo oraz rentowność instalacji sieciowych. Rysunek 17: Partnerzy R&M uczestniczą w programie QPP. Certyfikat stwierdza, że jego posiadacz posiada odpowiednią wiedzę i umiejętności w zakresie projektowania i wykonywania systemu okablowania strukturalnego R&Mfreenet. 5. Wnioski 20
Centra przetwarzania danych coraz częściej muszą spełniać coraz większe wymagania odnośnie wydajności i dostępności. Kadra zarządzająca centrum przetwarzania danych musi przewidywać wzrost wymagań, a jednocześnie musi stale pracować nad ograniczeniem prawdopodobieństwa wystąpienia awarii, usterek i błędów człowieka. Obecnie przy prawidłowym planowaniu oraz zastosowaniu właściwych innowacji można już podjąć konieczne środki, aby obniżyć każde ryzyko i zwiększyć rentowność na poziomie okablowania strukturalnego oraz pasywnej infrastruktury. Rozwiązania oferowane przez firmę R&M dla systemów okablowania strukturalnego oraz centrum przetwarzania danych pozwalają na niezawodne przesyłanie danych również w przyszłości. Są one elastyczne i posiadają szereg opcji dla wysokiej jakości okablowania strukturalnego opartego na przewodach miedzianych i światłowodowych. Możliwa jest również rozbudowa sieci przy minimalnym okresie przestoju - bez kosztów oraz niedogodności, które występują w przypadku instalowania lub wymiany kabli. System okablowania strukturalnego R&Mfreenet zgodny jest ze wszelkimi normami. Producent, firma R&M jest aktywnie zaangażowana w tworzenie norm dla okablowania strukturalnego. Pracownicy firmy są członkami komisji standaryzacyjnych zarówno na świecie jak i w Polsce. Kontakt z procesem normalizacji jest gwarancją, że rozwiązania R&M będą działały niezawodnie z dowolnym zainstalowanym urządzeniem, bez względu na niezbędny poziom szybkości przesyłania danych czy też stopień złożoności projektu centrum przetwarzania danych. Mimo wszystko, wydajność i standaryzacja są jedynie częścią pełnego obrazu sytuacji. Zasada modularności funkcjonuje we wszystkich rozwiązaniach R&M. Gwarantuje ona konieczną elastyczność systemu okablowania. Modularność pozwala zaoszczędzić nie tylko finanse, czas czy przestrzeń, ale także umożliwia rozplanowanie paneli przyłączeniowych przy uwzględnieniu funkcji IT oraz aplikacji. Wcześniej, mogły one być zaprojektowane jedynie przy zastosowaniu odpowiednich typów kabli. Stąd też, centra przetwarzania danych mogą obecnie zapewnić ciągłość procesów, nawet przy zastosowaniu różnych typów urządzeń i szybkości transmisji. Podsumowując, można stwierdzić, że rozwiązania okablowania strukturalnego R&M zwiększają efektywność kosztową centrów przetwarzania danych, zwiększają dostępność i ułatwiają zarządzanie nimi. Rozwiązania R&M gwarantują, że dodanie nowych elementów, przesunięcia oraz zmiany nie wpłyną negatywnie na aplikacje IT, ponieważ będą one mogły pracować w sposób ciągły bez żadnych przerw. Uproszczone zarządzanie oznacza również, że każdy detal został wzięty od uwagę podczas opracowywania produktu, w tym w szczególności czy jest on przyjazny dla użytkownika. W rezultacie, oznacza to, że słabiej monitorowani dostawcy oraz zewnętrzny personel mogą pracować w centrum przetwarzania danych nie stwarzając zagrożenia dla poziomu bezpieczeństwa. Tam, gdzie zastosowano rozwiązania mające na celu zapewnienie bezpieczeństwa firmy personel może szybko i niezawodnie zainstalować lub wprowadzić nową wersję urządzeń, nie obawiając się ewentualnych problemów w dostawie usług. Dzięki innowacyjnemu systemowi kodowania można obniżyć koszty magazynowania przewodów połączeniowych i utrzymać wysokie bezpieczeństwo sieci przy względnie niewielkich nakładach w trakcie bieżącej eksploatacji, nawet w awaryjnej sytuacji. W efekcie otrzymujemy rozwiązanie systemu okablowania strukturalnego, które uwzględnia wszystkie aspekty biznesowe, mające znaczenie dla rozwoju współczesnych centrów przetwarzania danych. 21