Od 0 do 300Gbps Historia i przyszłość PWR PLIX. Sylwester Biernacki, PLIX

Transkrypt

1

2 Od 0 do 300Gbps Historia i przyszłość PWR PLIX Sylwester Biernacki, PLIX s.biernacki@plix.pl

3 Co to jest PLIX? - PWR - powinienem opatentować ten skrót :-) - IXP - Internet Exchange Point (ponad 220 uczestników, około 300Gbps) - Data Center (ponad 100 zainstalowanych szaf klientów, 650m2 powierzchni w LIM) - Dodatkowe usługi (NOC)

4 PLIX i PLIX DC DC punkt wymiany ruchu internetowego największy w Polsce ponad 200 podłączonych sieci trzy serwerownie w LIM usługi kolokacji połączenia do dowolnego z ok. 300 podmiotów w budynku

5 Gdzie jest PLIX?

6 PLIX DC PLIX to jedyne neutralne data center w budynku LIM w skład którego wchodzą: PLIX DC1 +1 piętro PLIX DC2 +3 piętro PLIX DC3-1 piętro oraz kable światłowodowe na piętrach: -1, -2, +1, +3, +13, +42

7 Connectivity Hub tutaj obecni są wszyscy operatorzy Tier-1 świadczący usługi w Polsce tutaj mieści się PWR PLIX tutaj kolokuje się prawie 200 klientów ze swoim sprzętem sieciowym

8 I najczęściej robią to tak

9 Connectivity Hub

10 Fakty o PLIX około 300 Gbps ruchu, 220 uczestników największy PWR w Polsce 7 miejsce w Europie (zarówno pod względem liczby uczestników jak i ruchu) 9 miejsce na świecie (zarówno pod względem liczby uczestników jak i ruchu)

11 IXP znaczy PWR

12 IXP znaczy PWR

13 IXP znaczy PWR

14 IXP znaczy PWR

15 IXP znaczy PWR Ruch w PLIX PLNOG3 Wrzesień 2009 PLNOG4 Marzec 2010 PLNOG5 Wrzesień 2010 PLNOG6 Marzec 2011 PLNOG7 Wrzesień 2011 PLNOG8 Marzec 2012 PLNOG9 Październik 2012 PLNOG10 Marzec Gbit/s - 82Gbit/s - 100Gbit/s - 120Gbit/s - 150Gbit/s - 200Gbit/s - 260Gbit/s - 300Gbit/s

16 220

17 TVX - nadawcy 53 kanały

18 Data Center Budowanie Data Center rozpoczęliśmy w 2009, a od września 2009r. działa PLIX DC1 (150m2).

19 PLIX DC1 zlokalizowane na +1 piętrze zapewniamy szafy na wyłączność lub współdzielone dla uczestników PWR PLIX AC 3kVA/rack, 2*16A DC na żądanie HVAC: C, 45-65% wilgotność

20 PLIX DC2 całe szafy 3kVA/ rack, zasilanie A+B AC 230V 16A (DC na żądanie) HVAC: C, 45-65% wilgotność UPS 2N + generator podłoga techniczna SLA up to 99,999%

21 PLIX DC3-300m2, 1,3MW - 2N zasilaczy UPS + 2 generatory - klimatyzacja N+1 - FM200 + VESDA

22 PLIX DC3 lokalizacja na -1 piętrze szafy na wyłączność oraz klatki AC 3/5kVA/rack, 2*16A/2*32A A+B DC na żądanie HVAC: C, 45-65% wilgotność zasilacze UPS 2N + generatory podłoga podniesiona (600mm)

23 Zasilanie DC 16 transformatorów w budynku (8 na linii 15kV A, drugie 8 na linii B - z mechanicznym sprzęgłem między liniami 15kV) 2 linie średniego napięcia 15kV z dwóch niezależnych rejonów energetycznych 12MW przydziału mocy (wykorzystane 5MW)

24 PLIX DC3 - przed instalacją

25 PLIX DC3 - po instalacji

26 PLIX DC3

27 PLIX DC3

28 PLIX DC3 Generatory 2x650kVA na poziomie -1

29 PLIX DC3

30 Tour de PLIX Szczegóły budowy PLIX DC3 możecie obejrzeć na YouTube w profilu PLNOGTUBE

31 Tour de PLIX W związku z faktem, że PLIX DC jest w zasadzie tuż za ścianą, postanowiliśmy jak co roku urozmaicić program PLNOGa o zwiedzanie PLIXa. Zapisy na konkretne godziny przy naszym stoisku :) KaOwiec Michał Małyszko KaOwiec Taryk Abu-Hassan

32 A teraz wróćmy do historii miałem humorystycznie przejść do historii PLIXa...

33 Pamiętacie ten samochód? ;-)

34 To auto od 0 do 300 śmiga w czasie <30s Niestety my na 0-300Gbps potrzebowaliśmy 7 lat.

35 Przeżyjmy to jeszcze raz...

36 Dzień 1 (Marzec 2006): Cisco 2970G + Cisco 3750G-12S

37 Topologia gwiazdy: dwa switche i klienci wpięci do nich bezpośrednio

38 Bez poświęcenia Roberta W. pewnie by się tego nie udało zrobić - dziękujemy :)

39 x 1GE-TX nie było wystarczające. Potrzebowaliśmy rozwiązania z większą ilością portów i uplinków

40 Dzień 2 (2007): Cisco + Edge-Core (TAIWAN) z portami 2x10GE i mnóstwem portów 1GE TX

41

42

43 Problemy: - niestabilny OS (rebooty bez powodu raz w miesiącu) - brak limitów MAC learning - brak dobrej ochrony przed pętlami Wydaliśmy kupę kasy i dostaliśmy produkt niepełnowartościowy(tm) Zostało tylko jedno rozwiązanie...

44 Z - zakupić, zalać, zapomnieć

45 W tym jesteśmy całkiem dobrzy :)

46 Żarty żartami, ale problem nie był łatwy do rozwiązania... dlatego musieliśmy znaleźć tzw. workaround

47

48 Dzień 3 (2008): Force10 S25P + S50N w stacku

49 zamówiliśmy kilka sztuk

50 nadal topologia gwiazdy, ale trochę więcej switchy

51 I trafiliśmy na kolejne problemy: - brak limitów MAC learning (tylko statyczne MAC per port) - brak filtrowania BPDU - brak filtrowania CDP/EDP - nie działająca ochrona przed pętlami Pomysł: zróbcie upgrade z SFTOS do FTOS Rezultat: nic się nie zmieniło, a dodatkowo pojawiły się problemy ze stackiem

52 Zdecydowaliśmy: przenieśmy się na jedno pudełko z wszystkimi bajerami w środku, z dużą wydajnością matrycy oraz dużą ilością portów, żeby uniknąć problemów ze stackiem

53 BIG BOX - Edge- Core też takie miał

54 Po drodze wypróbowaliśmy MPLS Corrigent Networks

55 oraz MPLS w Cisco 7606S

56 Dzień 4 (2009) Zamiast dużego Edge-Core zdecydowaliśmy po testach zakupić Force10 C300

57

58 Ładnie wygląda, więc jesteśmy gotowi do migracji...

59 Oczywiście nie jest to proste zadanie (prawdziwe zdjęcie)

60 Oczywiście nie jest to proste zadanie (prawdziwe zdjęcie)

61 Po migracji

62 Po migracji

63 C300 wydawał się być rozwiązaniem naszych problemów ale... przedobrzyliśmy - chcieliśmy włączyć większość funkcjonalności w tym samym czasie. C300 posiada współdzieloną pamięć, ale zbyt małą, żeby obsłużyć jednocześnie nasze zachcianki typu sflow...

64 Co gorsze, wszystkie znane nam do tej pory problemy z mniejszych switchy serii S nadal występowały: - MAC learning limit - BPDU filtering - CDP/EDP filtering oraz nowe: - duplikowanie pakietów pomiędzy różnymi portami na różnych kartach liniowych - restartowanie się SUPa (bez przełączenia bez utraty pakietów na drugiego)

65 Więc po którejś z rzędu awarii (restarty kart liniowych, SUPa, memory leaks, niestabilność całego switcha) zdecydowaliśmy się poszukać innego rozwiązania...

66 i trafiliśmy na te fioletowe cuda :-) Zdecydowaliśmy się na tzw. pizza-boxy: Extreme x450 24xSFP Extreme x450 48xTX

67 po testach wyszło, że wszystkie funkcjonalności które chcemy włączyć działają... i to nawet w tym samym czasie... ponadto okazało się, że switche te są najbardziej stabilne ze wszystkich które do tej pory mieliśmy...

68 Zadowoleni z działania małych x450 poszliśmy za ciosem i zakupiliśmy dwa switche x650 ze stackiem na szkielet (dużo portów 10GE, więc można switche z portami 1GE zapiąć po jednej nodze do każdego z x650 LACP)

69

70

71 Niestety 2 switche x650 w stacku restartowały się od czasu do czasu jeśli działał na nich proces sflow

72 W międzyczasie Extreme wypuścił na rynek switche x670 z 48 portami 10GE w jednej obudowie i 4x40GE. Spięlismy więc je tymi portami 40GE i zrezygnowaliśmy ze stacków. Za to spodobała nam się technologia MLAG (multi-chassis LAG)

73

74 Ale... kiedy jeden z uplinków flapował switch zaczynał gubić pakiety broadcastowe (switch to null) dla niektórych portów (już poprawione w nowym oprogramowaniu). Więc zrobiliśmy migrację z MLAG do EAPS i tak już zostało do dzisiaj

75

76 W międzyczasie wykonaliśmy porządki na połączeniach do PWR PLIX

77 Połączenia miedziane również uporządkowaliśmy

78 Extreme Summit x450 w PLIX

79 Extreme Summit x650/x670 w PLIX

80 300..? Co dalej? Mamy ponad 150 portów 10GE oraz klientów pytających o porty 100GE. Czekamy na interfejsy 100GE, które mają być dostępne w przełącznikach BlackDiamond X8

81 300..?

82 Przyszłość - slajd z PLNOG8 - więcej CDNów - nowe porty (technologia idzie do przodu) - nowe usługi - usługi dodatkowe bezpośrednio nie związane z IXem - większe pokrycie geograficzne regionu w którym świadczą usługi - tańsze lambdy = tańszy sposób na tworzenie lokalnych IXów

83 Przyszłość Przede wszystkim chcemy jeszcze ulepszyć naszą obsługę techniczną i zwiększyć ilość techników w NOC. Operatorzy NOC dostępni są 24/7, na miejscu. Kto z obecnych korzystał z pomocy NOC PLIX?

84 NOC

85 Monitoring

86 Monitoring

87 Po co to wszystko? Wiemy, że dla większości operatorów PLIX jest podstawowym i jedynym miejscem gdzie przechodzi realny ruch IP. Dowód?

88 minutowa awaria jednego switcha szkieletowego w PLIX - zniknęło 100Gbps ruchu

89 Gbps poleciało do TPIXa

90 Gbps w THINXie zniknęło

91 a pojawiło się w ATMANie na łączach zagranicznych

92 Wnioski wysnujcie sami A jak myślicie, że to przypadek...

93 :00-17:14

94 :00-17:14

95 :00-17:14

96 :00-17:14

97 Przyszłość Inwestujemy więc w: - stabilność i pewność działania PWR PLIX - dobrą obsługę techniczną - większą liczbę operatorów w PLIX DC - rozbudowę CDNów

98 CDNy

99 CDNy Nowy rack od Google ( ) - 576TB dysków

100 Znaczy się kolejny do kolekcji :) CDNy

101 zawsze powtarzamy to samo nie aspirujemy do sprzedaży setek metrów kwadratowych powierzchni, lub serwerów 1/2U we współdzielonych szafach. PLIX = connectivity + dobry support techniczny PLIX jest dla operatorów!!!

102 Promocje na X PLNOG

103 Promocje na X PLNOG

104 PORT BACKUPOWY - 1GE - 250PLN - 10GE PLN - drugi adres IP i drugi MAC wpięty do INNEGO routera Uczestnika i innego switcha PLIX

105 Dziękuję za uwagę. Pytania?