Router brzegowy z wydolnością 3 Gb ruchu za 5 tys.

Transkrypt

1 Autorzy: Lucjan Kisiel i Marcin Matyla Korbank S.A. Wrocław noc@k.pl

2 Plan 1. Hardware 1.1. Hardware wycena 2. System operacyjny 2.1 Dobór kart sieciowych 2.2 Firewall 3. Tuning systemu 3.1. Zwiększenie buforów 3.2. Inne parametry 4. Statystyki 4.1. Statystyki ruchu 4.2. Top w szczycie 4.3. Przydatne polecenia 5. Podsumowanie

3 1. Hardware Płyta główna Intel S5520HC 1200 zł 5 slotów PCI-Express Intelligent Platform Management Interface 2.0 z Serial over LAN Procesor Intel Xeon X GHz 12M Cache, 6.40 GT/s QPI, 6 Cores, 12 Threads 3100 zł # top -PSH CPU 0: 0.0% user, 0.0% nice, 24.8% system, 15.4% interrupt, 59.8% idle CPU 1: 0.4% user, 0.0% nice, 4.1% system, 17.7% interrupt, 77.8% idle CPU 2: 0.0% user, 0.0% nice, 1.1% system, 21.1% interrupt, 77.8% idle CPU 3: 0.0% user, 0.0% nice, 1.5% system, 13.5% interrupt, 85.0% idle CPU 4: 0.0% user, 0.0% nice, 10.5% system, 0.0% interrupt, 89.5% idle CPU 5: 0.0% user, 0.0% nice, 10.2% system, 0.0% interrupt, 89.8% idle CPU 6: 0.0% user, 0.0% nice, 10.2% system, 0.0% interrupt, 89.8% idle CPU 7: 0.0% user, 0.0% nice, 7.5% system, 0.0% interrupt, 92.5% idle CPU 8: 0.0% user, 0.0% nice, 21.4% system, 0.0% interrupt, 78.6% idle CPU 9: 0.0% user, 0.0% nice, 30.1% system, 0.0% interrupt, 69.9% idle CPU 10: 0.0% user, 0.0% nice, 5.3% system, 0.0% interrupt, 94.7% idle CPU 11: 0.0% user, 0.0% nice, 21.0% system, 0.0% interrupt, 79.0% idle

4 1.1 Hardware wycena: Płyta główna Intel S5520HC 1200 zł Procesor Intel Xeon X GHz 12M Cache, 6.40 GT/s QPI, 6 Cores,12 Threads 3100 zł DDR3 2x 2GB Kingstone 100 zł WD AV-GP 160GB VS 3.5" 16MB SATAII 300 zł Zasilacz + Obudowa 300 zł zł Karty 5x INTEL Gigabit CT Desktop 5x 100 zł CAŁOŚĆ 5900 zł. NETTO

5 2. System operacyjny FreeBSD 8.2 Problemy z soft updates Jan 19 09:13:41 fox syslogd: kernel boot file is /boot/kernel/kernel Jan 19 09:13:41 fox kernel: dev = ad0s1f, block = 1, fs = /usr Jan 19 09:13:41 fox kernel: panic: ffs_blkfree: freeing free block Jan 19 09:13:41 fox kernel: cpuid = 0 Jan 19 09:13:41 fox kernel: Uptime: 44m25s Jan 19 09:13:41 fox kernel: Cannot dump. No dump device defined. Jan 19 09:13:41 fox kernel: Automatic reboot in 15 seconds press a key on the console to abort Jan 19 09:13:41 fox kernel: Rebooting Freeing free block podczas pracy systemu i dysku, to bug samego systemu, z którym już od kilku lat borykają się autorzy dystrybucji FreeBSD. Rozwiązaniem jest wyłączenie softupdates dla danego systemu plików (przy instalacji lub potem poleceniem tunefs )

6 2. System operacyjny PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 2.1. Dobór kart sieciowych: - Intel Gigabit CT Desktop igb0@pci0:1:0:0: vendor = 'Intel Corporation' device = '82575EB Gigabit Network Connection' cap 05[50] = MSI supports 1 message, 64 bit cap 11[60] = MSI-X supports 10 messages in map 0x1c enabled - Intel PRO/1000PT Giga Server em3@pci0:5:0:0: vendor = 'Intel Corporation' device = 'PRO/1000 PT' cap 05[d0] = MSI supports 1 message, 64 bit enabled with 1 message cap 10[e0] = PCI-Express 1 endpoint max data 256(256) link x1(x1) - Broadcom BCM problemy 0 root K 320K : % {em1 taskq} 0 root K 320K CPU0 1 52: % {em4 taskq} 0 root K 320K : % {em0 taskq} 0 root K 320K : % {em3 taskq} 0 root K 320K : % {igb0 que} 0 root K 320K : % {igb1 que} 12 root -68-0K 544K CPU2 2 24: % {irq268: igb1:que} 12 root -68-0K 544K WAIT 1 26: % {irq267: igb1:que} 12 root -68-0K 544K WAIT 3 23: % {irq269: igb1:que} 12 root -68-0K 544K WAIT 0 25: % {irq266: igb1:que} 12 root -68-0K 544K RUN 2 13: % {irq263: igb0:que} 12 root -68-0K 544K WAIT 1 14: % {irq262: igb0:que} 12 root -68-0K 544K WAIT 3 12: % {irq264: igb0:que} 12 root -68-0K 544K WAIT 0 17: % {irq261: igb0:que} 0 root K 320K RUN 6 3: % {igb0 que} 0 root K 320K - 6 4: % {igb1 que} 0 root K 320K - 6 3: % {igb1 que} 0 root K 320K : % {em2 taskq} 0 root K 320K - 7 2: % {dummynet} 0 root K 320K - 4 3: % {igb0 que} 0 root K 320K - 4 2: % {igb0 que} 0 root K 320K - 4 3: % {igb1 que}

7 2.2. Firewall Jako firewalla używamy mechanizmu IPFW - allow na kartach WAN na początku! - skipy klas IP w ipfw (gdy dużo reguł) Problem z zawieszaniem się IPFW podczas czyszczenia regół i jego obejście /sbin/sysctl net.inet.ip.fw.one_pass=1 fwcmd="/sbin/ipfw -q" ${fwcmd} -f flush ${fwcmd} -f pipe flush ${fwcmd} -f table 0 flush ${fwcmd} -f table 1 flush ${fwcmd} -f table 2 flush. /etc/firewall/rules.new echo "nowe regoly... done" /sbin/sysctl net.inet.ip.fw.one_pass= allow ip from any to any via vlan allow ip from any to any via vlan allow ip from any to any via vlan allow ip from any to any via vlan skipto 1300 ip from /24 to any skipto 1300 ip from any to / skipto 1600 ip from /24 to any skipto 1600 ip from any to / skipto 1900 ip from /24 to any skipto 1900 ip from any to / pipe 1 ip from any to any skipto ip from any to any pipe 2 ip from any to any skipto ip from any to an #ipfw pipe show : Mbit/s 0 ms burst 0 q sl. 0 flows (1 buckets) sched weight 0 lmax 0 pri 0 droptail sched type FIFO flags 0x buckets 4 active mask: 0x00 0x /0x0000 -> 0xffffffff/0x0000 BKT Prot Source IP/port Dest. IP/port Tot_pkt/bytesPkt/Byte Drp 11 ip / / ip / / ip / / ip / /

8 3. Tuning systemu Polega na zmianie parametrów jądra odpowiedzialnych (tu) za obsługę sieci. Chodzi tu o: - liczbę buforów i ich wielkość na obsługe połączeń - wielkość tablic haszujących do pamietania połączeń - włączeniu przyśpieszenia firewalla - zmniejszenie keepalive'ów dla dynamicznych reguł Jest on sensowny gdy obciążenie powoduje kończenie się zasobów. Zawsze można kupować mocniejszy sprzęt, ale po co gdy można jeszcze trochę z niego wycisnąć. W naszym przypadku nie da się kupić już mocniejszego bo ten jest najmocniejszy więc softwarowo należy wycisnąć ile się da. Skuteczność takiego tuningu to kilkanaście a nawet kilkadziesiąt procent w CPU. Realizuje się go we FreeBSD przez program sysctl. Za jego pomocą można odczytywać jaki zmieniać wiele parametrów w locie podczas pracy systemu. Część z nich można tylko ustawić podaczas startu systemu i wtedy ustawia się je w /boot/loader.conf.

9 3.1. Zwiększenie buforów (przy 4GB RAM): kern.ipc.nmbclusters = określa maksymalną liczbę klastrów mbuf, które mogą być używane przez stos sieciowy w dowolnym momencie net.inet.tcp.recvspace = maksymalny rozmiar przychodzącego pakietu net.inet.tcp.sendspace = maksymalny rozmiar wychodzącego pakietu kern.ipc.maxsockbuf = maksymalny rozmiar bufora socketa net.inet.ip.fw.dyn_ack_lifetime = 30 czas życia dynamicznej reguły dla ACK net.inet.ip.fw.dyn_syn_lifetime = 10 czas życia dynamicznej reguły dla SYN net.inet.ip.fw.dyn_max = maksymalna liczba dynamicznych reguł dummynetu net.inet.ip.dummynet.hash_size = 2048 określa wielkość tab. hasz. do dummynetu Poniższe ustawiane w /boot/loader.conf : net.inet.tcp.syncache.hashsize=2048 określa wielkość tab. hasz. syncache net.inet.tcp.syncache.bucketlimit=100 określa wielkość per-bucket net.inet.tcp.tcbhashsize= określa wielkość tab. haszującej TCP control-block

10 3.2. Inne parametry: net.link.ether.ipfw = 0 wyłączenie sprawdzanie reguł II warstwy w ipfw kern.polling.enable = 0 wyłączenie poolingu net.inet.ip.fastforwarding = 1 włączenie szybkiego forwardowania net.inet.ip.dummynet.io_fast = 1 - włączenie przyspieszenia dummynetu net.inet.tcp.delayed_ack = 0 - nakazuje systemowi, aby próbował załączać potwierdzenia TCP ACK do pakietu danych, zamiast wysyłać dodatkowe pakiety w celu zasygnalizowania końca połączenia. net.inet.ip.portrange.first = rozszeszenie zakresu portów połączeń wyjściowych net.inet.ip.portrange.last = rozszeszenie zakresu portów połączeń wyjściowych net.inet.ip.portrange.randomized = 0 używaj naturalnych numerów portów zamiast losowych

11 4. Statystyki: a) 7 kart sieciowych 1Gb b) 104 interfejsy vlan: root@korbotron82 pts/2 23:30:53 /home/loocek # ifconfig grep vlan grep ' metric 0 mtu 1500' nl tail vlan992: flags=8843<up,broadcast,running,simplex,multicast> metric 0 mtu vlan150: flags=8843<up,broadcast,running,simplex,multicast> metric 0 mtu vlan2597: flags=8843<up,broadcast,running,simplex,multicast> metric 0 mtu vlan304: flags=8843<up,broadcast,running,simplex,multicast> metric 0 mtu vlan1681: flags=8843<up,broadcast,running,simplex,multicast> metric 0 mtu 1500 root@korbotron82 pts/2 23:30:59 /home/loocek # c) 325 adresów IP: root@korbotron82 pts/2 23:34:12 /home/loocek # ifconfig grep -w inet nl tail inet netmask 0xfffffff8 broadcast inet netmask 0xfffffffc broadcast inet > netmask 0xffffff inet > netmask 0xffffffff 325 inet netmask 0xfffffffc broadcast root@korbotron82 pts/2 23:34:20 /home/loocek # d) 500 reguł taryfikujących w ipfw, z 50 reguł filtrującychw pf-ie e) ok ! połączeń typu UNICAST w szczycie! f) 14 sesji BGP (w tym 2 full-feedy, dwie Polski i in.) g) dodatkowo NAT na 100Mb (w pf-ie), z logowaniem połączeń na softflowd

12 4.1. Statystyki z ruchu (Cacti) Utylizacja (Mb/s)

13 Utylizacja (Mb/s)

14 UNICAST/sek

15 UNICAST/sek

16 4.2. Top w szczycie: root@korbotron82 pts/4 20:43:35 /home/loocek # date Sun Feb 26 20:43:39 CET 2012 root@korbotron82 pts/4 20:43:39 /home/loocek # top -PSH st pid: 31150; load averages: 2.80, 2.57, processes: 21 running, 111 sleeping, 30 waiting CPU 0: 0.0% user, 0.0% nice, 32.6% system, 32.2% interrupt, 35.2% idle CPU 1: 0.0% user, 0.0% nice, 13.5% system, 45.5% interrupt, 41.0% idle CPU 2: 0.0% user, 0.0% nice, 7.9% system, 40.8% interrupt, 51.3% idle CPU 3: 0.0% user, 0.0% nice, 0.7% system, 38.2% interrupt, 61.0% idle CPU 4: 0.0% user, 0.0% nice, 29.6% system, 0.0% interrupt, 70.4% idle CPU 5: 0.0% user, 0.0% nice, 15.4% system, 0.0% interrupt, 84.6% idle CPU 6: 0.0% user, 0.0% nice, 15.0% system, 0.0% interrupt, 85.0% idle CPU 7: 0.0% user, 0.0% nice, 10.2% system, 0.0% interrupt, 89.8% idle CPU 8: 0.0% user, 0.0% nice, 53.0% system, 0.0% interrupt, 47.0% idle CPU 9: 0.0% user, 0.0% nice, 63.7% system, 0.0% interrupt, 36.3% idle CPU 10: 0.0% user, 0.0% nice, 8.6% system, 0.0% interrupt, 91.4% idle CPU 11: 0.0% user, 0.0% nice, 47.4% system, 0.0% interrupt, 52.6% idle Mem: 403M Active, 582M Inact, 767M Wired, 152K Cache, 412M Buf, 2096M Free Swap: 10G Total, 10G Free

17 PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 11 root 171 ki31 0K 192K CPU : % {idle: cpu10} 11 root 171 ki31 0K 192K RUN 5 909: % {idle: cpu5} 11 root 171 ki31 0K 192K CPU : % {idle: cpu6} 11 root 171 ki31 0K 192K CPU : % {idle: cpu7} 11 root 171 ki31 0K 192K RUN 4 919: % {idle: cpu4} 0 root K 320K CPU : % {em4 taskq} 11 root 171 ki31 0K 192K RUN 3 849: % {idle: cpu3} 0 root K 320K CPU : % {em1 taskq} 0 root K 320K CPU : % {em0 taskq} 11 root 171 ki31 0K 192K RUN : % {idle: cpu11} 11 root 171 ki31 0K 192K CPU : % {idle: cpu2} 0 root K 320K CPU : % {em3 taskq} 11 root 171 ki31 0K 192K RUN 8 802: % {idle: cpu8} 11 root 171 ki31 0K 192K RUN 1 802: % {idle: cpu1} 11 root 171 ki31 0K 192K RUN 9 760: % {idle: cpu9} 11 root 171 ki31 0K 192K CPU : % {idle: cpu0} 12 root -68-0K 544K CPU : % {irq267: igb1:que} 12 root -68-0K 544K RUN 3 94: % {irq269: igb1:que} 12 root -68-0K 544K WAIT 9 93: % {irq266: igb1:que} 12 root -68-0K 544K WAIT 2 93: % {irq268: igb1:que} 0 root K 320K : % {igb0 que} 12 root -68-0K 544K RUN 1 61: % {irq262: igb0:que} 12 root -68-0K 544K CPU3 3 54: % {irq264: igb0:que} 12 root -68-0K 544K WAIT 2 57: % {irq263: igb0:que} 12 root -68-0K 544K WAIT 0 56: % {irq261: igb0:que} 0 root K 320K : % {igb1 que} 0 root K 320K : % {em2 taskq} 0 root K 320K : % {igb0 que} 0 root K 320K : % {igb0 que} 0 root K 320K : % {igb1 que} 0 root K 320K : % {igb0 que} 0 root K 320K : % {igb1 que} 0 root K 320K : % {igb1 que} 0 root K 320K - 7 9: % {dummynet} root@korbotron82 pts/2 19:43:02 /home/loocek #

18 4.3. Przydatne polecenia: - vmstat -z ważne polecenie, liczniki alokacji pamięci przez: buckety, tablice haszujące, sockety i in. - netstat -m liczniki zużycia tych newralgicznych mbufów - netstat -s liczniki dla róznych protokołów: tcp, udp, icmp, ip, ip6, arp - top -PSH wiadomo, obciążenie systemu online - bmon niezawodzący progami do wielkości ruchu na interfejsach (w Bajtach)

19 5. Podsumowanie Przedstawiliśmy kompletne rozwiązanie wysoko wydajnego routera. Podaliśmy sprzęt oraz sposób tuningu do osiągnięcia wysokiej wydajności. Zwróciliśmy uwagę na kruczki (problemy), które istnieją i jak sobie z nimi poradzić. Wskazaliśmy narzędzia do diagnostyki obciążenia. Stosując się do wszystkich naszych wskazówek dostanie się wydajny router za nieduże pieniądze. Na koniec przy okazji zapraszamy wszystkich do współpracy. Gdyby ktoś chciał u siebie taki router zainstalować to pomożemy, doradzimy a może nawet zrealizujemy. Dziękujemy za uwagę! Autorzy: Lucjan Kisiel i Marcin Matyla Korbank S.A. Wrocław noc@k.pl