Od 0 do 300Gbps Historia i przyszłość PWR PLIX. Sylwester Biernacki, PLIX

Od 0 do 300Gbps Historia i przyszłość PWR PLIX Sylwester Biernacki, PLIX s.biernacki@plix.pl

Co to jest PLIX? - PWR - powinienem opatentować ten skrót :-) - IXP - Internet Exchange Point (ponad 220 uczestników, około 300Gbps) - Data Center (ponad 100 zainstalowanych szaf klientów, 650m2 powierzchni w LIM) - Dodatkowe usługi (NOC)

PLIX i PLIX DC DC punkt wymiany ruchu internetowego największy w Polsce ponad 200 podłączonych sieci trzy serwerownie w LIM usługi kolokacji połączenia do dowolnego z ok. 300 podmiotów w budynku

Gdzie jest PLIX?

PLIX DC PLIX to jedyne neutralne data center w budynku LIM w skład którego wchodzą: PLIX DC1 +1 piętro PLIX DC2 +3 piętro PLIX DC3-1 piętro oraz kable światłowodowe na piętrach: -1, -2, +1, +3, +13, +42

Connectivity Hub tutaj obecni są wszyscy operatorzy Tier-1 świadczący usługi w Polsce tutaj mieści się PWR PLIX tutaj kolokuje się prawie 200 klientów ze swoim sprzętem sieciowym

I najczęściej robią to tak

Connectivity Hub

Fakty o PLIX około 300 Gbps ruchu, 220 uczestników największy PWR w Polsce 7 miejsce w Europie (zarówno pod względem liczby uczestników jak i ruchu) 9 miejsce na świecie (zarówno pod względem liczby uczestników jak i ruchu)

IXP znaczy PWR

IXP znaczy PWR Ruch w PLIX PLNOG3 Wrzesień 2009 PLNOG4 Marzec 2010 PLNOG5 Wrzesień 2010 PLNOG6 Marzec 2011 PLNOG7 Wrzesień 2011 PLNOG8 Marzec 2012 PLNOG9 Październik 2012 PLNOG10 Marzec 2013-70Gbit/s - 82Gbit/s - 100Gbit/s - 120Gbit/s - 150Gbit/s - 200Gbit/s - 260Gbit/s - 300Gbit/s

TVX - nadawcy 53 kanały

Data Center Budowanie Data Center rozpoczęliśmy w 2009, a od września 2009r. działa PLIX DC1 (150m2).

PLIX DC1 zlokalizowane na +1 piętrze zapewniamy szafy na wyłączność lub współdzielone dla uczestników PWR PLIX AC 3kVA/rack, 2*16A DC na żądanie HVAC: 18-24 C, 45-65% wilgotność

PLIX DC2 całe szafy 3kVA/ rack, zasilanie A+B AC 230V 16A (DC na żądanie) HVAC: 18-24 C, 45-65% wilgotność UPS 2N + generator podłoga techniczna SLA up to 99,999%

PLIX DC3-300m2, 1,3MW - 2N zasilaczy UPS + 2 generatory - klimatyzacja N+1 - FM200 + VESDA

PLIX DC3 lokalizacja na -1 piętrze szafy na wyłączność oraz klatki AC 3/5kVA/rack, 2*16A/2*32A A+B DC na żądanie HVAC: 18-24 C, 45-65% wilgotność zasilacze UPS 2N + generatory podłoga podniesiona (600mm)

Zasilanie DC 16 transformatorów w budynku (8 na linii 15kV A, drugie 8 na linii B - z mechanicznym sprzęgłem między liniami 15kV) 2 linie średniego napięcia 15kV z dwóch niezależnych rejonów energetycznych 12MW przydziału mocy (wykorzystane 5MW)

PLIX DC3 - przed instalacją

PLIX DC3 - po instalacji

PLIX DC3

PLIX DC3 Generatory 2x650kVA na poziomie -1

PLIX DC3

Tour de PLIX Szczegóły budowy PLIX DC3 możecie obejrzeć na YouTube w profilu PLNOGTUBE http://www.youtube.com/watch?v=gr0byg2jgj8

Tour de PLIX W związku z faktem, że PLIX DC jest w zasadzie tuż za ścianą, postanowiliśmy jak co roku urozmaicić program PLNOGa o zwiedzanie PLIXa. Zapisy na konkretne godziny przy naszym stoisku :) KaOwiec Michał Małyszko KaOwiec Taryk Abu-Hassan

A teraz wróćmy do historii miałem humorystycznie przejść do historii PLIXa...

0.. 300 Pamiętacie ten samochód? ;-)

0.. 300 To auto od 0 do 300 śmiga w czasie <30s Niestety my na 0-300Gbps potrzebowaliśmy 7 lat.

0.. 100 Przeżyjmy to jeszcze raz...

0.. 100 Dzień 1 (Marzec 2006): Cisco 2970G + Cisco 3750G-12S

0.. 100 Topologia gwiazdy: dwa switche i klienci wpięci do nich bezpośrednio

0.. 100 Bez poświęcenia Roberta W. pewnie by się tego nie udało zrobić - dziękujemy :)

0.. 100 24x 1GE-TX nie było wystarczające. Potrzebowaliśmy rozwiązania z większą ilością portów i uplinków

0.. 100 Dzień 2 (2007): Cisco + Edge-Core (TAIWAN) z portami 2x10GE i mnóstwem portów 1GE TX

0.. 100

0.. 100 Problemy: - niestabilny OS (rebooty bez powodu raz w miesiącu) - brak limitów MAC learning - brak dobrej ochrony przed pętlami Wydaliśmy kupę kasy i dostaliśmy produkt niepełnowartościowy(tm) Zostało tylko jedno rozwiązanie...

0.. 100 3Z - zakupić, zalać, zapomnieć

0.. 100 W tym jesteśmy całkiem dobrzy :)

0.. 100 Żarty żartami, ale problem nie był łatwy do rozwiązania... dlatego musieliśmy znaleźć tzw. workaround

0.. 100

0.. 100 Dzień 3 (2008): Force10 S25P + S50N w stacku

0.. 100 zamówiliśmy kilka sztuk

0.. 100 nadal topologia gwiazdy, ale trochę więcej switchy

0.. 100 I trafiliśmy na kolejne problemy: - brak limitów MAC learning (tylko statyczne MAC per port) - brak filtrowania BPDU - brak filtrowania CDP/EDP - nie działająca ochrona przed pętlami Pomysł: zróbcie upgrade z SFTOS do FTOS Rezultat: nic się nie zmieniło, a dodatkowo pojawiły się problemy ze stackiem

0.. 100 Zdecydowaliśmy: przenieśmy się na jedno pudełko z wszystkimi bajerami w środku, z dużą wydajnością matrycy oraz dużą ilością portów, żeby uniknąć problemów ze stackiem

100.. 200 BIG BOX - Edge- Core też takie miał

100.. 200 Po drodze wypróbowaliśmy MPLS Corrigent Networks

100.. 200 oraz MPLS w Cisco 7606S

100.. 200 Dzień 4 (2009) Zamiast dużego Edge-Core zdecydowaliśmy po testach zakupić Force10 C300

100.. 200

100.. 200 Ładnie wygląda, więc jesteśmy gotowi do migracji...

100.. 200 Oczywiście nie jest to proste zadanie (prawdziwe zdjęcie)

100.. 200 Po migracji

100.. 200 C300 wydawał się być rozwiązaniem naszych problemów ale... przedobrzyliśmy - chcieliśmy włączyć większość funkcjonalności w tym samym czasie. C300 posiada współdzieloną pamięć, ale zbyt małą, żeby obsłużyć jednocześnie nasze zachcianki typu sflow...

100.. 200 Co gorsze, wszystkie znane nam do tej pory problemy z mniejszych switchy serii S nadal występowały: - MAC learning limit - BPDU filtering - CDP/EDP filtering oraz nowe: - duplikowanie pakietów pomiędzy różnymi portami na różnych kartach liniowych - restartowanie się SUPa (bez przełączenia bez utraty pakietów na drugiego)

100.. 200 Więc po którejś z rzędu awarii (restarty kart liniowych, SUPa, memory leaks, niestabilność całego switcha) zdecydowaliśmy się poszukać innego rozwiązania...

100.. 200... i trafiliśmy na te fioletowe cuda :-) Zdecydowaliśmy się na tzw. pizza-boxy: Extreme x450 24xSFP Extreme x450 48xTX

100.. 200 po testach wyszło, że wszystkie funkcjonalności które chcemy włączyć działają... i to nawet w tym samym czasie... ponadto okazało się, że switche te są najbardziej stabilne ze wszystkich które do tej pory mieliśmy...

100.. 200 Zadowoleni z działania małych x450 poszliśmy za ciosem i zakupiliśmy dwa switche x650 ze stackiem na szkielet (dużo portów 10GE, więc można switche z portami 1GE zapiąć po jednej nodze do każdego z x650 LACP)

100.. 200

100..200

100.. 200 Niestety 2 switche x650 w stacku restartowały się od czasu do czasu jeśli działał na nich proces sflow

100.. 200 W międzyczasie Extreme wypuścił na rynek switche x670 z 48 portami 10GE w jednej obudowie i 4x40GE. Spięlismy więc je tymi portami 40GE i zrezygnowaliśmy ze stacków. Za to spodobała nam się technologia MLAG (multi-chassis LAG)

200.. 300

200.. 300 Ale... kiedy jeden z uplinków flapował switch zaczynał gubić pakiety broadcastowe (switch to null) dla niektórych portów (już poprawione w nowym oprogramowaniu). Więc zrobiliśmy migrację z MLAG do EAPS i tak już zostało do dzisiaj

200.. 300

200.. 300 W międzyczasie wykonaliśmy porządki na połączeniach do PWR PLIX

200.. 300 Połączenia miedziane również uporządkowaliśmy

200.. 300 Extreme Summit x450 w PLIX

200.. 300 Extreme Summit x650/x670 w PLIX

300..? Co dalej? Mamy ponad 150 portów 10GE oraz klientów pytających o porty 100GE. Czekamy na interfejsy 100GE, które mają być dostępne w przełącznikach BlackDiamond X8

300..?

Przyszłość - slajd z PLNOG8 - więcej CDNów - nowe porty (technologia idzie do przodu) - nowe usługi - usługi dodatkowe bezpośrednio nie związane z IXem - większe pokrycie geograficzne regionu w którym świadczą usługi - tańsze lambdy = tańszy sposób na tworzenie lokalnych IXów

Przyszłość Przede wszystkim chcemy jeszcze ulepszyć naszą obsługę techniczną i zwiększyć ilość techników w NOC. Operatorzy NOC dostępni są 24/7, na miejscu. Kto z obecnych korzystał z pomocy NOC PLIX?

Monitoring

Po co to wszystko? Wiemy, że dla większości operatorów PLIX jest podstawowym i jedynym miejscem gdzie przechodzi realny ruch IP. Dowód?

23.12.2012 40 minutowa awaria jednego switcha szkieletowego w PLIX - zniknęło 100Gbps ruchu

23.12.2012 10Gbps poleciało do TPIXa

23.12.2012 10Gbps w THINXie zniknęło

23.12.2012 a pojawiło się w ATMANie na łączach zagranicznych

23.12.2012 Wnioski wysnujcie sami A jak myślicie, że to przypadek...

28.01.2013-17:00-17:14

Przyszłość Inwestujemy więc w: - stabilność i pewność działania PWR PLIX - dobrą obsługę techniczną - większą liczbę operatorów w PLIX DC - rozbudowę CDNów

CDNy Nowy rack od Google (20.02.2013) - 576TB dysków

Znaczy się kolejny do kolekcji :) CDNy

zawsze powtarzamy to samo nie aspirujemy do sprzedaży setek metrów kwadratowych powierzchni, lub serwerów 1/2U we współdzielonych szafach. PLIX = connectivity + dobry support techniczny PLIX jest dla operatorów!!!

Promocje na X PLNOG

PORT BACKUPOWY - 1GE - 250PLN - 10GE - 1.000PLN - drugi adres IP i drugi MAC wpięty do INNEGO routera Uczestnika i innego switcha PLIX

Dziękuję za uwagę. Pytania?