Kompendium przemysłowej komunikacji IP Część 2 Wymogi związane z koniecznością zapewniania niezawodnej i wydajnej transmisji danych w aplikacjach przemysłowych powodują szybką popularyzację użycia w nich różnych technik sieciowych. W pierwszej części artykułu omawiającego rozwiązania bazujące na komunikacji IP przedstawione zostały kwestie związane z budową sieci, zapewnianiem jakości transmisji oraz redundancją. W artykule kontynuującym tę tematykę prezentujemy informacje dotyczące synchronizacji czasowej oraz inne zagadnienia związane z sieciami przewodowymi i bezprzewodowymi. 1 SYNCHRONIZACJA CZASOWA Jednym z kluczowych zagadnień związanych z sieciami komunikacyjnymi, szczególnie w przemyśle, jest zapewnienie odpowiedniej synchronizacji i zagwarantowanie nieprzekraczalnych czasów przesyłania informacji. Przykładowo jest tak w sytuacji, gdzie dane czasowo krytyczne zbierane są z kilku niezależnych punktów i muszą być porównywane ze sobą w innym miejscu. Różne opóźnienia tras spowodują, że bezpośrednie ich porównanie nie da pożądanych rezultatów. Rozwiązaniem jest oznakowanie poszczególnych danych znacznikami czasowymi, które następnie będą mogły być przeanalizowane i uszeregowane w celu poprawnego porównania w punkcie centralnym. Synchronizacja czasowa w sieci jest niezwykle skomplikowanym zagadnieniem, między innymi ze względu na trudność w przewidywaniu opóźnień poszczególnych tras. e ostatnie zależne są od komponentów sieci, jej obciążenia, przepustowości łączy, architektury przełączników sieciowych, metody przełączania, ilości danych krytycznych i kolejek priorytetów oraz innych czynników. Rekomendowane są tutaj rozwiązania oparte na protokołach SNP/ NP (RFC2030/RFC1305) i P1588 (IEEE 1588) ze względu na ich niezawodność oraz fakt, że są to ogólnoświatowe otwarte standardy. Mechanizm synchronizacji czasowej opiera sie na modelu klient-serwer. RÓŻNE RODZAJE OPÓŹNIEŃ Opóźnienie jest różnicą pomiędzy czasem, gdy urządzenie nadawcze 66 kwiecień 2009
rozpoczyna wysyłanie ramki, a czasem, gdy jej początkowa część osiągnie swój cel. Można rozróżnić kilka podstawowych rodzajów opóźnień, które związane są z: medium (szybkość propagacji sygnałów w medium), układami (szybkość działania układów pośredniczących), programem (szybkość działania algorytmów przełączających i dekodujących), zawartością ramki (pozycja adresu w ramce). Wpływ na wynikowe obciążenia mają metody przełączania, liczba danych transmitowanych w sieci, rozmiary pakietów, kontrola przepływu i przepustowość. Obecnie na rynku można znaleźć rozwiązania integracji przełącznika sieciowego z serwerem/ klientem czasu. Umożliwia to zwiększenie uzyskiwanych rozdzielczości czasowych, uproszczenie struktury sieci i danych oraz możliwość stosunkowo łatwego zapewnienia redundancji i synchronizacji. Przykładem takiego rozwiązania może być przełącznik sieciowy synchronizowany czasowo (np. 200 produkcji Westermo). SPOSOBEM JES PRIORYYZACJA PAKIEÓW Priorytyzacja pakietów odbywać się może według dwóch schematów: round-robin weighting (wysyłanie N pakietów o wyższym priorytecie, następnie 1 o niższym, itd.) lub strict priority (pakiet o wyższy priorytecie ma zawsze pierwszeństwo). W celu szacowania opóźnień przełączników sieciowych jednym z często stosowanych sposobów sieciowych jest metoda worst case switch latency. Przy liczeniu opóźnienia dla najgorszego przypadku, pomimo wprowadzenia priorytyzacji oraz zastosowania trybu pracy FDX, należy uwzględnić, że pakiet o niższym priorytecie może być akurat transmitowany przez przełącznik. Nadejście pakietu o wyższym priorytecie nie spowoduje przerwania tej transmisji, co oznacza, że pakiet o wyższym priorytecie będzie opóźniony Rys. 1 o czas transmisji reszty poprzedniego pakietu. Zakładając najgorszą ewentualność początek transmisji pakietu o maksymalnej długości (1518 bajtów, w niektórych przypadkach nawet 1522 bajty) otrzymujemy odpowiednio: 1,22µs dla 1Gb/s, 122µs dla 100Mb/s oraz 1,22ms dla 10Mb/s. Oczywiście pakiet o wysokim priorytecie może być również opóźniony poprzez inne pakiety o tym samym priorytecie, jeżeli takie znajdują się w kolejce. Znając jednak przydział priorytetów poszczególnym danym i przepustowość łączy, obliczenie takich opóźnień najgorszego przypadku nie stanowi większego problemu. ypowo dla 100Mb/s jest to kilkaset mikrosekund. W ramce podano wyliczenia dla przykładowego przełącznika. Rys. 2 W przypadku zbierania danych czasowo krytycznych z kilku niezależnych punktów i ich porównywaniu w innym miejscu, różne opóźnienia tras spowodują, że wyniki mogą być błędne 2 ŁĄCZENIE ODEGŁYCH SYSEMÓW KOŃCOWYCH Rozwiązania AN, stosowane we współczesnych sieciach, stanowią tylko pod względem logicznym sieci lokalne fizycznie często bywają one rozległe, a aplikacje wchodzące w jej skład rozproszone. Poniżej podano informacje o sposobach na łączenie ze sobą odległych systemów końcowych, migracji oraz zarządzania sieciami. W dodatku (rozdział 3) dokonano krótkiego przeglądu sieci bezprzewodowych, które również wykorzystane mogą być do integracji wielu systemów lokalnych. POŁĄCZENIE PPP Do łączenia fragmentów sieci AN oraz zapewnienia dostępu do sieci WAN można użyć różnego ro- Schemat synchronizacji czasowej z wykorzystaniem protokołu SNP kwiecień 2009 67
Jak szacować opóźnienie przełącznika? Całkowity czas przesyłania komunikatu liczy się od chwili umieszczenia wiadomości przez nadawcę na górze stosu transmisji (egress) do chwili, gdy odbiorca odbiera dane ze stosu transmisji (ingress). Na ten czas składają się czasy potrzebne na przetworzenie i buforowanie wiadomości przez procesory komunikacyjne nadawcy i odbiorcy oraz czas transmisji przez sieć komunikacyjną. Każdy pakiet przesłany z wykorzystaniem protokołu CP/IP musi być zwrotnie potwierdzony, natomiast najmniejszą jego możliwą długością są 64 bajty. W przełącznikach dla ramek o tym samym priorytecie mamy do czynienia z kolejką FIFO. Oznacza to, że pakiet odebrany jako pierwszy znajdzie się na pierwszym miejscu w kolejce wyjściowej. Wykorzystywane zależności Do szacowania opóźnienia wykorzystuje się kilka zależności: 1) Wartość opóźnienia transmisji (opóźnienia buforowanego): Q t = długość pakietu w bitach szybkość łącza w bitach na sekundę 2) Wartość opóźnienia propagacji: d Q p = P d odległość P propagacja (typowo 2 10 8 < P < 3 10 8 m/s) 3) Wartość opóźnienia kolejkowania: Natężenie ruchu w sieci (N) wyliczyć można następująco: bk pk N = = szybkość transmisji (b/s) b k średnia częstotliwość pojawiania się bitów w kolejce (b/s) długość pakietu w bitach p k częstotliwość pojawiania się pakietów w kolejce (1/s) Warunek konieczny do poprawnego działania sieci to N < 1. Jeśli pakiety odbierane są cyklicznie co czas Q t, opóźnienie kolejkowania nie występuje. Jeżeli odbierane są one okresowo, ale impulsowo (jednocześnie n pakietów co t sekund), gdzie t wynosi: t = N, opóźnienie średnie wynosi ( n 1) 4) Biorąc pod uwagę powyższe wartości, opóźnienie międzywęzłowe z pominięciem opóźnienia kolejkowania wynosi: Q = N ( Q + Q + Q ) p w przetw Q przetw opóźnienie przetwarzania zależne od metody przełączania Przykładowe obliczenia Przyjmijmy następujące parametry transmisji: przepustowość 100 Mb/s FDX, metoda przełączania store and forward (przełącznik z minimalnym wewnętrznym opóźnieniem 10µs), metoda ustalania priorytetów proste kolejkowanie, maksymalna długość pakietu krytycznych danych: 200 bajtów (przy założeniu, że pakiety niezaliczające się do danych krytycznych są pakietami o niższym priorytecie), zakładamy, że 5 innych węzłów jest zdolnych wygenerować pakiety o długości 200B i tym samym priorytecie, które mogą znaleźć się w tej samej kolejce, wszystkie dane krytyczne są generowane cyklicznie przez węzły sieci. Najgorszy przypadek opóźnienia dla powyższych danych jest niezależny od ruchu sieciowego o niższym priorytecie i wynosi: 16µs + 10µs + 122µs + 80µs = 228µs store and forward wewnętrzne opóźnienie przełącznika przesyłanie reszty pakietu o maksymalnej długości t przesyłanie pięciu pakietów o tym samym priorytecie Nadawanie priorytetów zgodnie z zasadami QoS wydłuża pakiet o 4 bajty. Maksymalna długość znaczonego pakietu wynosi wobec tego 1522 bajty (nie wszystkie przełączniki sieciowe są transparentne dla takich wydłużonych pakietów). Źródło: Sieci komputerowe, wyd. 3, James F. Kurose, Keith W. Ross dzaju medium, a co za tym idzie różnych protokołów i technik transmisyjnych warstwy fizycznej i łącza danych. Jednym z najbardziej popularnych rozwiązań jest protokół PPP, który jest protokołem warstwy łącza. Zapewnia on transmisję danych pomiędzy systemami końcowymi na bazie modemów lub bezpośrednio łączy szeregowych. Może wykorzystywać dowolny modem telefoniczny lub GSM/GPRS. Połączenie tego typu wymaga zainicjowania odpowiedniej sesji w protokole PPP. Rolę inicjującą przejmuje zwykle system operacyjny, ponieważ modem nie jest w stanie samodzielnie obsłużyć i interpretować stosu protokołów sieciowych. Gdy w sieci AN nie ma urządzenia o możliwościach zainicjowania i podtrzymywania sesji protokołu PPP, można wykorzystać tzw. routery PPP (przykładem są urządzenia ED-200/ED-210). DOSĘP SZEROKOPASMOWY Infrastruktura fizyczna sieci jest zwykle oparta o skrętkę miedzianą, ewentualnie o połączenia światłowodowe. Bardzo popularne okazały się 68 kwiecień 2009
wszystkie odmiany technik xds, czyli transmisji szerokopasmowej wykorzystującej zwykle już istniejącą typową infrastrukturę telekomunikacyjną. Dla przemysłu szczególnie ciekawe okazały się rozwiązania oparte na GSHDS i jego odmianach. Za pomocą modemów G.SHDS (nazywanych też często ze względu na swoje zastosowanie ekstenderami Ethernet) można tworzyć połączenia w obrębie sieci logicznej AN na dystansach kilkunastu kilometrów. echnologie xds są rozwiązaniami adaptacyjnymi, co oznacza, że maksymalna przepustowość i dystans są zależne od warunków środowiskowych i jakości połączenia. Z doświadczeń firmy ekniska Polska wynika, że serie urządzeń GSHDS Wolverine i DDW 1x0 produkcji Westermo zaspokajają oczekiwania użytkowników nawet w bardzo trudnych warunkach, np. w zastosowaniach kolejowych. Gwarantują przepustowość nawet do 5,7Mb/s na parze przewodów. protokołów. Na rynku można znaleźć szereg rozwiązań sprzętowych znacznie ułatwiających taką migrację. Są to głównie dwa rodzaje urządzeń: Konwertery RS-AN (połączenie szeregowe na Ethernet) są one transparentne dla dużych ramek i znaczników oraz etykiet zastosowanych protokołów. Przykładem może być bramka Modbus RU/Modbus CP w urządzeniach EDW 100 Westermo. Serwery portów szeregowych urządzenia te przy współpracy z odpowiednimi aplikacjami klienta umożliwiają komunikowanie się z portami szeregowymi przy wykorzystaniu adresacji IP. Aplikacja klienta tworzy lokalnie tzw. wirtualne porty szeregowe, do których inne aplikacje mogą odwoływać się bezpośrednio, jak do typowych portów COM. Odpowiada ona również za niewidzialny dla aplikacji docelowych proces przyporządkowywania wirtualnym portom szeregowym adresów IP i numerów portów. Serwer portów szeregowych jest w stanie zinterpretować odpowiednio adres i port i skierować dane na odpowiedni port fizyczny. ZARZĄDZANIE I KONFIGURACJA Urządzenia sieciowe powinny zapewniać obsługę protokołu SNMP służącego do zdalnego zarządzania i administrowania siecią. Jego najważniejsze cechy to: umożliwienie optymalnego zdalnego zarządzania i diagnostyki sieci, wgląd do statystyk, automatyczne lub inicjowane publikowanie informacji o danych parametrach sieci i poszczególnych urządzeń, konfigurowanie tzw. pułapek (traps), czyli automatycznych alarmów programowych wysyłanych do aplikacji zarządzającej SNMP Manager po zarejestrowaniu prekonfigurowanego zdarzenia. Urządzenia zaliczające się do aktywnego osprzętu sieciowego lub węzły sieci obsługujące protokół SNMP mają aplikacje SNMP Agent działające w tle. Aplikacja nadrzędna SNMP Manager, zwykle będąca częścią systemu SCADA lub rezydująca w którymś z węzłów sieci odpowiedzialnym za jej zarządzanie, komunikuje się z aplikacjami SNMP Agent poszczególnych urządzeń. Struktura komunikacji polega na wymianie informacji dotyczących statusu parametrów lub wartości zawartych w specjalnych, odświeżanych na bieżąco bazach danych MIB. Większość obecnych na rynku urządzeń sieciowych umożliwia diagnostykę z poziomu elnet lub SS i jest konfigurowalna z poziomu przeglądarki WWW. Część rozwiązań dodatkowo umożliwia konfigurację zgodną z Cisco z poziomu konsoli CI. 3 DODAEK: KOMUNIKACJA BEZPRZEWODOWA SIECI WAN Przykładem protokołu bezprzewodowego odpowiadającego standardowi Ethernet jest 802.11 (Wi-Fi). Chociaż komunikacja z wykorzystaniem MIGRACJA Z SIECI SZEREGOWYCH Jednym z największych wyzwań przejścia na systemy pracujące w oparciu o Ethernet i komunikację IP jest migracja z systemów klasycznych, wykorzystujących komunikację szeregową (RS232, RS485) oraz wiele różnych dedykowanych Serwer terminalowy Magnum DX1000-S kwiecień 2009 69
łącza radiowego nie jest tematem artykułu, warto wspomnieć o jej wykorzystaniu, gdyż szybko popularyzuje się ona również w przemyśle. Komunikacja bezprzewodowa opar ta jest zwykle na modelu klient punkt dostępowy (access point). Naczelną zasadą, o której należy pamiętać, projektując taką sieć, jest jej zabezpieczenie przed dostępem z zewnątrz. Należy też uświadomić sobie, że pasmo częstotliwości wykorzystywane do transmisji to medium o ograniczonej przepustowości i im więcej urządzeń na danym terenie z niego korzysta, tym mniejsza efektywna prędkość transmisji. Jednocześnie zastosowanie łącza radiowego wymaga zwrócenia szczególnej uwagi na rozplanowanie przestrzenne elementów sieci oraz zagęszczenie urządzeń na danym terenie. Przepustowości i opóźnienia będą tu bardziej uzależnione od fizycznego ich rozplanowania, niż ma to miejsce w przypadku sieci kablowych. Rys. 3 Przykład bezprzewodowego łączenia sieci lokalnych WYKORZYSANIE SIECI KOMÓRKOWYCH Do bezprzewodowej transmisji IP wykorzystane mogą być też urządzenia komunikujące się poprzez sieci komórkowe GPRS/3G/ HSDPA/HSUPA. W szczególności bardzo często stosowana w telemetrii jest transmisja GPRS (pakietowa). Podstawowe cechy komunikacji opartej o GPRS to opłata za ilość transmitowanych danych i stosunkowo duże opóźnienia, które zależne są od obciążenia lokalnej infrastruktury sieciowej operatora (stacji bazowych BS). Poza zastosowaniami telemetrycznymi technologie te można oczywiście wykorzystywać do uzyskiwania dostępu do sieci publicznej lub tworzenia prywatnej sieci korporacyjnej. Użytkownik ma wybór pomiędzy najprostszymi modemami GPRS a routerami o różnych możliwościach konfiguracyjnych. Większość routerów dostępowych (nie tylko tych przeznaczonych dla połączeń bezprzewodowych) ma możliwość obsługi i tworzenia tzw. wirtualnych sieci prywatnych VPN i szyfrowanych kanałów np. poprzez IPSec. Służy to tworzeniu bezpiecznych sieci korporacyjnych wykorzystujących jako infrastrukturę sieć publiczną. Alternatywą w przypadku dużych aplikacji wykorzystujących infrastrukturę operatora telefonii komórkowej jest wykupienie praw do prywatnego punktu dostępowego APN. Można to sobie wyobrazić jako dzierżawienie fragmentu infrastruktury operatora. W tym przypadku karty SIM podlegające pod ten APN mogą mieć adresy IP z puli prywatnej PODSUMOWANIE Na obecnym etapie rozwoju omawianych technologii projektowanie przemysłowej sieci IP opiera się na założeniu, że komponenty sieciowe nie są tylko tzw. czarnymi skrzynkami, lecz skomplikowanymi konfigurowalnymi urządzeniami elektronicznymi, mającymi bardzo duże znaczenie dla całościowego funkcjonowania systemu, jego wydajności, niezawodności i dostępności. Niezbędne jest rozpatrywanie zagadnień związanych z zarządzaniem ruchem sieciowym, zarządzaniem przeciążeniami oraz szacowaniem i minimalizacją opóźnień. Wymogi funkcjonalne oraz dotyczące niezawodności, narzucane przez systemy końcowe, warunkują dobór urządzeń, medium transmisyjnego i samej technologii transmisji. Artykuł autorstwa Zuzanny Wieczorek, specjalisty z firmy ekniska Polska. Źródła informacji wykorzystanych w artykule m.in. dokumenty RFC, materiały ze stron www.tekniska.pl, www.westermo.com 70 kwiecień 2009