Dla każdego rozważanego systemu

Transkrypt

1 automatyka komunikacja zgodna z IEC Ethernet przełączany jako infrastruktura komunikacyjna dla systemów sterowania, nadzoru i zabezpieczeń stacji elektroenergetycznej Zuzanna Wieczorek Tekniska Polska Przemysłowe Systemy Transmisyjne Standard IEC systematyzuje zagadnienia związane z wymianą danych w systemach elektroenergetycznych. Norma rewolucjonizuje podejście do realizacji systemów stacyjnych, proponując obiektowy model danych, obejmujący swoim zasięgiem wszystkie trzy poziomy komunikacji wyróżniane w stacji elektroenergetycznej: poziom procesu, pola, stacji oraz zastosowanie wspólnej infrastruktury komunikacyjnej opartej na sieci Ethernet. Dla każdego rozważanego systemu można wyodrębnić kryteria będące podstawą oceny stopnia jego wartości użytkowej. Do najważniejszych należą: przejrzystość, możliwości rozbudowy systemu skalowalność, koszt wdrożenia i eksploatacji oraz niezawodność. Stosując odpowiednie mechanizmy w sieci opartej na przełączanym Ethernecie oraz bazę modeli logicznych, zamiast, jak dotychczas, list sygnałów, standard IEC ułatwia spełnienie powyższych kryteriów. W modelach danych odwzorowana jest kontrola procesów oraz informacji pochodzących z urządzeń elektrycznych (aparatura wtórna i pierwotna), obsługa zabezpieczeń oraz pozostałe funkcje automatyki stacyjnej. Poprzez abstrakcyjne modele interfejsów komunikacyjnych poszczególnych urządzeń, określone są metody wymiany informacji, dostępu do poszczególnych modeli informatycznych, raportowania sekwencji zdarzeń i historii zdarzeń. Wspomniane powyżej cechy standardu IEC zostały opisane w artykule w kontekście wymagań komunikacyjnych systemu. Zastosowanie struktury opartej na sieci przełączanej Ethernet wymaga odpowiedniego projektu uwzględniającego zastosowanie specjalnych mechanizmów sieciowych, takich jak: protokoły rekonfiguracji topologii, tworzenie wirtualnych podsieci, obsługa ruchu grupowego, obsługa priorytetów, blokowanie nagłówków. Obligatoryjne jest również zastosowanie urządzeń sieciowych, mających odpowiednio wysoką odporność środowiskową [10]. W artykule omówione zostały wyniki analizy związanej z zastosowaniem poszczególnych mechanizmów sieciowych, w celu spełnienia wymienionych w standardzie wymagań dotyczących komunikacji. Wnioski poparto wynikami symulacji komputerowych dla wybranych topologii. idea systemu zgodnego z normą IEC Przez wiele lat eksploatacji obiektów energetycznych zaobserwowano, że zmiany wprowadzane w funkcjonalności systemu, ze względu na rozwój technologiczny, są znacznie rzadsze niż w przypadku systemów komunikacyjnych [3]. Ten aspekt w połączeniu ze stopniem rozwoju osiągniętego przez systemy transmisji danych oparte na protokole Ethernet, spowodowały rozpoczęcie prac nad wprowadzeniem nowego standardu wymiany danych w stacjach elektroenergetycznych. Efektem tych prac jest standard IEC (polska wersja normy PN-EN Systemy i sieci komunikacyjne w stacjach elektroenergetycznych). Powstał on na podstawie doświadczeń EPRI (UCA 2.0) oraz IEC ( , -103, -104), w celu ujednolicenia zasad wymiany danych dla potrzeb energetyki. Zrealizowany zgodnie z ideą warstwowego modelu komunikacji i rozdzielenia samych zagadnień transmisyjnych i komunikacyjnych od aplikacji i funkcjonalności systemu. Standard jest nadal rozwijany szczególnie w zakresie komunikacji pomiędzy stacjami elektroenergetycznymi oraz synchronizacji czasu. Projektowanie sieci informatycznej wymaga zrozumienia funkcjonalności i wymagań systemów energetycznych, w związku z tym należy przynajmniej ogólnie rozważyć ideę IEC 61850, skupiając się na cechach istotnych z punktu widzenia projektowania samej infrastruktury sieciowej. Potrzebne założenia i wymagania standardu IEC zostały ciekawie i przejrzyście opisane w wielu źródłach [1-5]. Zakres artykułu pozwala tylko na ogólny opis najistotniejszych zagadnień. Standard składa się z 10 części i szczegółowo omawia wszelkie aspekty wymiany danych od odporności środowiskowej urządzeń komunikacyjnych po obiektowe modele danych aplikacji. W takim podejściu rozróżniono trzy logiczne poziomy komunikacji: procesu zdalne I/O, czujniki, włączniki, wyłączniki, przekładniki, pola kontrola, zabezpieczenia polowe, automatyka stacyjna, rejestracja, stacji centrum SSiN stacji komputer stacyjny, stanowisko prowadzenia ruchu, połączenia do centrów nadzoru, serwery SCADA, HMI, centralne urządzenia synchronizujące czas, drukarki operatorskie. Wydzielenie poziomów funkcjonalnych i niezależnych porcji informacji wykorzystywanych przez funkcje automatyki stacyjnej zaimplementowane w urządzeniach cyfrowych umożliwiło traktowanie systemu stacyjnego jako hierarchicznej struktury wymiany danych. Taki model logiczny zdecydowanie poprawia przejrzystość systemu. Aktualnie ogromna większość wdrożeń obejmuje poziom pola i stacji z pominięciem poziomu procesu, gdzie nadal wykorzystuje się klasyczną aparaturę pierwotną. Magistrala procesowa, w sensie transmisji danych, jako rozwinięcie omawianych w tym artykule topologii, może być zrealizowana na przynajmniej dwa podstawowe sposoby: jako wydzielona szybka (1 Gb) struktura połączona do poziomu pola za pośrednictwem sterowników pola oraz zabezpieczeń lub struktura zintegrowana fizycznie z fragmentami LAN wyższych poziomów. W drugim przypadku cała infrastruktura wymagałaby przepustowości na poziomie 1 Gb i zdecydowanie komplikowałyby się zagadnienia związane z inżynierią ruchu, ponieważ największy i najbardziej wymagający ruch (próbki pomiarowe) przewidywany jest właśnie dla poziomu procesu. Zastosowanie Ethernetu jako homogenicznej infrastruktury dla transmisji danych gwarantuje uwzględnienie zarówno celów biznesowych, jak i technicznych, ponieważ poprawia przejrzystość i możliwości rozbudowy systemu skalowalność, obniża koszt wdrożenia i eksploatacji, z zachowaniem odpowiedniego poziomu niezawodności i funkcjonalności. Wprowadzenie standardu wymaga spełnienia szeregu warunków, co powinno być poparte testami funkcjonal nr 5/2010

2 nymi opisanymi w normie IEC 61850, oferowanymi przez niektóre niezależne firmy lub instytuty naukowe. Przede wszystkim standard narzuca zastosowanie cyfrowych urządzeń stacyjnych (zabezpieczenia cyfrowe, sterowniki polowe i stacyjne (ang. IED Intelligent Electronic Device), w przypadku realizacji szyny procesowej urządzenia automatyki pierwotnej (ang. DAU Digital Acquisition Unit) z odpowiednim interfejsem komunikacyjnym. Definiuje rodzaje i sposoby wymiany poszczególnych rodzajów danych, w zależności od powiązanej z nimi funkcji systemu. Stosując odpowiednie mechanizmy w sieci opartej na przełączanym Ethernecie oraz bazę modeli logicznych, zamiast, jak dotychczas list sygnałów, zwiększa się znacznie również parametr dotyczący łatwości dokonywania przyszłych modernizacji. W modelach danych odwzorowana jest kontrola procesów oraz informacji pochodzących z urządzeń elektrycznych (aparatura wtórna i pierwotna), obsługa zabezpieczeń oraz pozostałe funkcje automatyki stacyjnej. Poprzez abstrakcyjne modele interfejsów komunikacyjnych poszczególnych urządzeń, określone są metody wymiany informacji, dostępu do poszczególnych modeli informatycznych, raportowania sekwencji zdarzeń i historii zdarzeń. Dla zapewnienia odpowiedniej funkcjonalności zabezpieczeń cyfrowych IEC precyzuje zasady szybkiej transmisji międzypolowej, wymiany informacji statusowych i próbek pomiarowych. Założona jest dowolność alokacji poszczególnych funkcji. Norma określa natomiast przyporządkowanie metod wymiany informacji do standardowych otwartych protokołów komunikacyjnych (Ethernet, IP, MMS) [12]. Mylące jest używanie słowa protokół w stosunku co do samego standardu IEC 61850, jest on raczej logicznym modelem komunikacji zdefiniowanym na podstawie stosu istniejących protokołów. Jedne z najistotniejszych jego cech: zaproponowanie hierarchicznego modelu informacyjnego (danych) poziom stacji poziom pola poziom procesu zabezpieczenie strumień 1 Rys. 1. Strumienie ruchu według IEC 61850, opracowano na podstawie [11] dla całej podstacji z uwzględnieniem wszystkich poziomów funkcjonalnych (stacji, pola, procesu), zaproponowanie abstrakcyjnego modelu funkcjonalnego (zorientowanego na funkcję) wymiany informacji pomiędzy urządzeniami, wprowadzenie przyporządkowania tych abstrakcyjnych modeli do faktycznych protokołów komunikacyjnych, między innymi Ethernetu w warstwie łącza danych, wprowadzenie języka konfiguracji i opisu stacji wraz z wszystkimi jej elementami, opis testów funkcjonalnych. Założono cele osiągnięcia kompatybilności urządzeń pochodzących od różnych producentów, zapewnienia dowolności alokacji funkcji i rozdzielenia funkcjonalności od sposobu realizacji komunikacji. Jednym z najistotniejszych aspektów było oczywiście opracowanie rozwiązania mającego duży potencjał w przyszłości (ang. future proof). IEC nie specyfikuje fizycznej architektury systemu. Definiuje logiczną strukturę komunikacji (rys. 1.). Strumienie ruchu kolejno to komunikacja wewnątrz pola (1), komunikacja międzypolowa (2), komunikacja między poziomem pola a poziomem stacji (3), komunikacja między poziomem pola a poziomem procesu (4) oraz komunikacja pomiędzy stacjami (5), komunikacja pomiędzy stacją a centrami zarządzania (6), komunikacja na poziomie stacji (7) [11]. Standard został zbudowany zgodnie z filozofią warstwowego modelu komunikacji (tab. 1.) (opracowano na podstawie [6, 12]). W takim modelu każda warstwa ma inne zadania i oferuje swoje usługi warstwie wyższej. Dane aplikacji są uzupełniane kolejno przez nagłówki i inne informacje protokołów warstw niższych taki proces nosi nazwę enkapsulacji. modele wymiany informacji W tabeli 2. (opracowanie na podstawie [5, 11, 12]) rozróżniono kilka podstawowych rodzajów informacji wymienianych przez systemy stacyjne z uwzględnieniem mechanizmu komunikacji wprowadzonego przez IEC Dla wymienionych rodzajów ruchu określone zostały ilościowe sposoby szacowania strumieni danych oraz wymagania dotyczące jakości transmisji dla poszczególnych typów informacji. Najbardziej surowe wymagania czasowe mają informacje z zabezpieczeń i próbki pomiarowe. Zabezpieczenia i sterowniki polowe, jak również niektóre urządzenia poziomu procesu, przesyłają między sobą tzw. komunikaty GOOSE. W celu zminimalizowa- OSI TCP/IP IEC Elementy charakterystyczne Modele danych i węzłów logicznych IEC /-7-3 Abstrakcyjny model interfejsu komunikacyjnego IEC Mapowanie do MMS i TCP/IP/Ethernet IEC /-9-2 Model logiczny aplikacji Aplikacji MMS (ISO9506), ACSE (ISO/IEC 8649, ISO/IEC 8650) Wiadomość Prezentacji Aplikacji ISO/IEC 8822,8823-1, ASN.1 ISO/IEC , Dane Sesji ISO/IEC 8326, Dane Transportowa Transportowa ISO/ICP-RFC 1006, ICMP-RFC792, TCP-RFC793 Segmenty, numery portów Sieci Internetu IP RFC 791, ARP RFC826 Pakiety, adres IP Łącza danych Ethernet RFC894, CSMA/CD ISO/IEC , IEEE 802.1q,p Ramki, adres MAC Dostępu Fizyczna 100Base-T/100Base-FX ISO/IEC Bity, CSMA/CD Tab. 1. Warstwowe modele komunikacyjne strumień 3 sterownik sterownik stacyjny centra nadzoru dyspozycja ruchu, dystrybucja czasu strumień 7 strumień 2 strumień 6 strumienie 4 i 5 strumienie 4 i 5 HMI strumień 3 zabezpieczenie strumień 1 sterownik nr 5/

3 automatyka Wartości narzucone dla ramki GOOSE > MAC odbiorcy MAC Lenght LLC Preambuła SFD TCI+TPID /grupowy nadawcy type Dane 7B 1B 6B 6B 2B 4B 1500B 4B Rys. 2. Ramka Ethernet [6, 12] Rodzaj komunikacji nia opóźnienia, które wprowadzane jest w trakcie przejścia informacji przez kolejne warstwy stosu protokołów, wiadomości tego typu i próbki pomiarowe są wysyłane bezpośrednio w ramce protokołu Ethernet ze specjalnie zmodyfikowanym polem EtherTypes i dodatkowymi etykietami wpływającymi na sposób przełączania ramki przez infrastrukturę sieciową. Warstwy wyższe nie biorą udziału w tym procesie, co implikuje zastosowanie charakterystycznych mechanizmów związanych z zarządzaniem ruchu. Większość tego typu mechanizmów zwykle implementowana jest w warstwie trzeciej (np. protokół IGMP/IGMP snooping) i wyższych. Ograniczenie się do warstwy drugiej ogranicza liczbę rozwiązań do kilku standardów, z których najistotniejsze to VLAN 802.1Q oraz nadawanie priorytetów zgodnie z 802.1p. Ze względu na to, że sam Ethernet nie oferuje mechanizmu potwierdzeń otrzymania informacji przez stację odbiorczą i żądań Mechanizm komunikacji TPID Wykorzystywane warstwy stosu protokołów Zapis/odczyt danych Klient sewer Wszystkie Sterowanie Klient sewer Wszystkie Raportowanie Klient sewer Wszystkie GOOSE Wydawca subskrybent Fizyczna, łącza danych Transmisja próbek pomiarowych Wydawca subskrybent Fizyczna, łącza danych Tab. 2. Podstawowe rodzaje informacji wymienianych przez systemy stacyjne z uwzględnieniem mechanizmu komunikacji wprowadzonego przez IEC retransmisji (jest to zadaniem warstw wyższych), komunikaty GOOSE są wysyłane cyklicznie, w cyklu o zmiennym czasie trwania (od kilku ms do kilku s). Okres cyklu zmienia się w zależności od stanu pracy stacji (normalny, zdarzenie, alarm, po alarmie). podstawy funkcjonowania Ethernetu przełączanego model logiczny przełącznika sieciowego Standard Ethernet pochodzi z lat 70. i od tamtego czasu jest nieustająco udoskonalany i rozwijany ze względu na swoją dużą popularność w zastosowaniach komercyjnych i przemysłowych. Popularność rozwiązań opartych na Ethernecie wynika przede wszystkim z wysokiego współczynnika oferowanych możliwości technicznych w stosunku do ceny oraz faktu, że jest bardzo dobrym nośnikiem informacji protokołu IP. W oryginale Ethernet kojarzy się z rywalizacyjnym dostępem do medium, priorytet 3 bity CFI 1 bit 01-0C-CD-01-XX-XX APPID:00 0 szybka magistrala wewnątrz, procesor struktura agent SNMP, serwer www (konfiguracja i zarządzanie) kolejki na portach wejściowych (inress) priorytet high tablica adresów MAC priorytet low kolejki na portach wyjściowych (egress) Rys. 3. Model logiczny przełącznika sieciowego (opracowano na podstawie [6, 8]) VID 12 bitów FCS protokołem obsługującym zarządzanie tym dostępem CSMA/CD, wytycznymi dotyczącymi projektowania związanymi z szerokością segmentów i konkretną liczbą poszczególnych rodzajów urządzeń, takich jak: stacje końcowe, regeneratory, huby. Standard w takiej formie oczywiście nie miałby zastosowania. Rewolucję przyniosła wersja standardu 802.3x (1997 rok), oferująca pracę w pełnym dupleksie (nadawanie/odbieranie jednocześnie w obydwu kierunkach). Ta data koreluje ze zmianą podejścia do realizacji systemów stacyjnych i opracowaniem nowych norm. W aplikacjach stacyjnych wykorzystuje się zarządzalne przełączniki sieciowe pracujące w trybie FDX (Full Duplex) i przełączające na zasadzie store&forward. Eliminuje to wszystkie ograniczenia projektowe związane ze starszą wersją standardu. Granica odległości zależy w tym momencie głównie od tłumienia medium transmisyjnego (dla światłowodów SM dystanse nawet do 120 km). Opóźnienia propagacji są zwykle pomijalne (dla skali lokalnej np. sieci podstacji) w stosunku do opóźnień wprowadzanych przez urządzenia aktywne (przełączniki sieciowe, routery, serwery portów szeregowych). Takie podejście sprawia, że sieć staje się bardziej wydajna. Praca w pełnym dupleksie możliwa jest dzięki zastosowaniu bardzo szybkich magistral wewnętrznych urządzeń, co pozwala na równoległe obsługiwanie każdego dwukierunkowego kanału transmisji o podwojonej przepustowości np. port 100 Mb/s kanał transmisyjny o przepustowości 200 Mb/s, po 100 Mb/s w każdym kierunku. W dokumentacji urządzeń sieciowych często można spotkać się z określeniem przepustowości całkowitej wyrażonej w PPS (ang. packets per second) lub informacją że urządzenia mogą pracować z teoretyczną przepustowością maksymalną (ang. full wire speed). Każde urządzenie (stacja końcowa/ host) przypięte jest bezpośrednio do portu przełącznika sieciowego połączeniem typu FDX. Eliminuje to kolizje, dokonując segmentacji sieci w warstwie 2 (zmniejszenie zasięgu domen kolizyjnych). Nazwa domena kolizyjna często bywa źródłem nieporozumień jej znaczenie w przypadku wykorzystywania tylko i wyłącznie przełączników sieciowych pracujących w pełnym dupleksie jest potencjalne. Można interpretować ją jako obszar sieci, w którym mogłyby wystąpić kolizje na skutek awarii, gdyby pracowały w nim urządzenia wykorzystujące komunikację w trybie HDX (Half Duplex pół dupleks). Switch jest urządzeniem inteligentnym analizującym pola adresu źródłowego i docelowego ramki (adresy MAC). Na podstawie tych analiz budowana jest tablica asocjacji nazywana tablicą adresów MAC lub tablicą CAM. Dzięki temu przełącznik przekazuje informacje tylko na port prowadzący do zdefiniowanego w ramce odbiorcy. Każda ramka docierająca do przełącznika trafia do bufora kolejki portu wejściowego (ang. ingress), następnie sprawdzana jest jej poprawność (pole sumy kontrolnej FCS) i na podstawie adresu MAC odbiorcy kierowana na odpowiedni port wyjściowy (ang. egress). Na wyjściu w zależności od implementacji przełącznika może również występować kolejka wyjściowa. Taka metoda przełączania nosi nazwę zapamiętaj i przekaż (ang. store &forward). W związku z tym, przełącznik sieciowy musi dysponować buforem pamięci. Przydział takiego bufora zwykle realizowany jest dynamicznie. Często w specyfikacjach urządzeń podawana jest wielkość pamięci dla całego przełącznika sieciowego lub dla pojedynczego modułu w przypadku przełączników o budowie modularnej. W przypadku przeciążenia sieci (sytuacji, w której natężenie ruchu w danej chwili przekracza możliwości przełączania urządzeń sieciowych), wszystkie pakiety, które muszą czekać na obsłużenie, są wprowadzane do kolejki. W związku z tym pojawia się zagadnienie powstawania opóźnień kolejkowania. Po przekroczeniu rozmiaru bufora kolejne, nadcho nr 5/2010

4 dzące ramki są ignorowane. Algorytm działania kolejki może być realizowany na różne sposoby, np. FIFO (First In First Out), WFQ (Weighted Fair Queueing), Round-Robin. Dodatkowo ramki mogą nieść ze sobą informacje o priorytecie, z jakim powinny być obsługiwane. Ramka z priorytetem najwyższym będzie przesuwana na początek kolejki (zgodnie z jej algorytmem działania). [6, 8]. Dla sieci przemysłowych stosuje się prosty mechanizm obsługi, gwarantujący bezwzględne pierwszeństwo danym o wyższym priorytecie. Priorytety mogą być nadawane w różnych warstwach. Przełączniki sieciowe są urządzeniami warstwy 2 (wg modelu OSI) i mogą obsługiwać priorytety nadawane ramkom w tej warstwie (zwykle zgodnie ze standardem 802.1p). Część przełączników sieciowych ma również możliwość obsługiwania pola priorytetu IPToS pakietu IP warstwy 3. Pierwszeństwo ma zawsze priorytet warstwy niższej. Dodatkowo przełączniki wyposażone powinny być w mechanizmy HoL blocking prevention czyli gwarantowania poprawnej pracy przełącznika w przypadku przeciążenia pojedynczych portów (mogłoby to wykorzystać całą przestrzeń bufora pamięci switcha) oraz zapobieganiu przepełnieniu tablicy MAC (przy przepełnionej tablicy adresów MAC przełącznik będzie działał jak hub, czyli powielał otrzymane ramki na wszystkie swoje porty). Przepełnianie tablicy MAC jest jednym z podstawowych ataków na sieci LAN Ethernet. wymagania funkcjonalne i techniczne Urządzenia infrastruktury teleinformatycznej stosowane w energetyce są narażone na takie same zakłócenia jak tradycyjne wyposażenie podstacji, w związku z czym muszą mieć potwierdzoną odporność na występujące niekorzystne zjawiska i warunki środowiskowe. Wymaganą odporność określa fragment IEC oraz standard IEEE1613. Urządzenia spełniające te kryteria gwarantują poprawną pracę dla wymienionych w normach warunków, co oznacza brak utraty danych i brak Rys. 4. Modelowanie komunikacji Ethernet/IP dla stacji elektroenergetycznej w symulatorze OPNET ITGuru błędów transmisyjnych. Jeżeli chodzi o samą konstrukcję fizyczną urządzeń, standard nie narzuca żadnych wytycznych. Zwykle jest jednak ona konsekwencją wymagań związanych z jakością i niezawodnością transmisji. Dla zwiększenia niezawodności stosowane są urządzenia chłodzone pasywnie (konwekcyjne odprowadzanie ciepła), z możliwością zasilania z dwóch niezależnych źródeł. Testy EPRI z 1997 roku dowodzą, że obligatoryjne powinno być wykorzystanie połączeń światłowodowych. Często w praktycznych rozwiązaniach stosowany jest kompromis (związany z kosztem urządzeń i okablowania) i połączenia wewnątrz szaf realizowane są w z wykorzystaniem kabli typu ekranowana skrętka miedziana. Z technicznego punktu widzenia powinno się jednak stosować tylko połączenia światłowodowe. Zwykle w związku z niewielkimi dystansami stosowany jest światłowód wielodomowy. Coraz wyraźniej widoczny zaczyna być jednak trend stosowania połączeń jednomodowych, co podwyższa koszt wprowadzenia systemu, ale czyni go jeszcze bardziej uniwersalnym i przyszłościowym. Zastosowanie światłowodów przynosi dodatkowe korzyści związane z separacją elektryczną poszczególnych partii systemu. Do połączeń wykorzystywane mogą być różne złącza. Z analiz porównawczych i dotychczasowych doświadczeń uruchomieniowych wynika, że dedykowane powinny być tu złącza SC lub LC. Złącza te wykazują się zbliżoną tłumiennością i własnościami mechanicznymi. Złącze LC duplex zyskuje coraz więcej popularności ze względu na swoje mniejsze rozmiary. Dobrze, aby okablowanie i dobór urządzeń zakładały wykorzystanie jednego rodzaju złączy dla danego systemu stacyjnego, ponieważ eliminuje to potrzebę stosowania przejściowych kabli połączeniowych. Najważniejsze cechy funkcjonalne (oprócz wymienionych związanych ze sposobem przełączania) przełączników sieciowych to obsługa komunikacji grupowej (multikast) zwykle na podstawie tworzenia tzw. wirtualnych podsieci VLAN, zgodnie z 802.1q, i ramek z etykietami priorytetów. Konieczna jest również obsługa protokołu rekonfiguracji topologii odpowiadającego za blokowanie tras nadmiarowych (do czasu awarii trasy podstawowej). Wymaganie dotyczące blokowania tras nadmiarowych związane jest z samą ideą przełączania wystąpienie trasy zamkniętej pętli, powodowałoby zdefiniowanie więcej niż jednej drogi do danego odbiorcy, co z kolei wpłynęłoby na powielanie pakietów krążących w sieci przez każdy kolejny przełącznik. Liczba pakietów w takiej sytuacji rośnie wykładniczo aż do całkowitego przeciążenia sieci określanego jako sztorm rozgłoszeniowy. Kolejne ważne aspekty funkcjonalności switcha to możliwość zdalnego i bezpiecznego audytu i zarządzania siecią, co realizowane jest zwykle za pomocą protokołu SNMP. wyzwania projektowe wybrane mechanizmy inżynierii ruchu, zagadnienia migracji do nowych rozwiązań Projekt sieci informatycznej stacji powinien oczywiście zacząć się od określenia liczby użytkowników wymieniających dane, rodzajów aplikacji i wykorzystywanych protokołów, identyfikacji funkcji zaimplementowanych w poszczególnych urządzeniach oraz ilości danych związanych z daną funkcją i wymagań transmisyjnych dla tych danych. Na potrzeby symulacji wykorzystano dostępne dane statystyczne z dotychczasowo uruchomionych stacji oraz przykładowe wyniki kalkula- Rys. Z. Wieczorek nr 5/

5 automatyka cji metodą PICOM, zaproponowaną przez komitet CIGRE. Wyniki te zostały uśrednione z odpowiednim marginesem, w celu symulowania najgorszego przypadku (np. w metodzie PICOM przyjęto implementację każdej funkcji w osobnym urządzeniu). Metoda PI- COM pozwala na wyznaczenie ilości wymienianych danych bez uwzględnienia tzw. narzutu poszczególnych protokołów. Określenie wielkości prawdopodobnych strumieni danych dla poszczególnych części systemu wymaga przemnożenia tych danych przez współczynnik n, gdzie n, w zależności od implementacji, może wahać się od kilku do kilkudziesięciu [11]. Za wyjątkiem komunikacji na poziomie szyny procesowej wyniki oscylują w granicach kilku kilkunastu Mb na poziomie stacji i pola. Przepustowość sieci na poziomie 100 Mb jest zdecydowanie wystarczająca dla spełnienia kryterium ilościowego. Dla szyny procesowej kryterium ilościowe również miałoby szanse być spełnione, dla niektórych, mniejszych systemów, mimo że natężenie ruchu jest największe właśnie tam. Oprócz kryterium ilościowego należy jednak spełnić kryterium związane z czasem transmisji poszczególnych rodzajów danych. Dane szyny procesowej wymagają transmisji z minimalnymi opóźnieniami i przy zwiększonym obciążeniu opóźnienia wprowadzane przez sieci 100 Mbps nie są do zaakceptowania. Rozwiązaniem jest zastosowanie sieci 1 Gb. Na tym etapie, symulacja pomija wykorzystanie szyny procesowej w systemie. Symulowany system sieciowy oparty na Ethernet obejmuje swoim zasięgiem poziom pola i stacji z przyłączem do systemów nadzoru wyższego poziomu. Dla przyjętego modelu podstacji najbardziej krytyczną czasowo jest komunikacja międzypolowa, czyli przesyłanie komunikatów GOOSE. IEC definiuje klasy wydajności komunikacji i komunikaty GOOSE przypisane są do klasy 1A. Oznacza to, że całkowite opóźnienie transmisji powinno wynosić nie więcej niż 3 ms. Opóźnienie transmisji wynika z: opóźnienia nadawania, odbierania i przesyłu. Ich dopuszczalny udział procentowy określony został odpowiednio na poziomie 40 % (1,2 ms), 40 % (1,2 ms), 20 % (0,6 ms). Opóźnienie sieci LAN dla tych danych nie może więc przekraczać 0,6 ms [11]. Na opóźnienie wnoszone przez sieć składają się opóźnienia przełączania i kolejkowania przełączników oraz opóźnienie propagacji. Opóźnienia kolejkowania są zmienne i zależą od długości ramek, przepustowości łącza i natężenia ruchu w danym momencie [7]. W związku z tym, w projekcie należy uwzględnić zasadę stosowania jak najmniejszej liczby przełączników sieciowych o większej liczbie portów, szczególne dla łączenia zabezpieczeń i sterowników polowych (pod warunkiem, że łącze do każdego urządzenia w systemie lub samo urządzenie, jest rezerwowane). Na potrzeby symulacji przyjęto model stacji z dwoma rozdzielniami. Dla każdej rozdzielni przyjęto 15 pól. Każde pole obsługiwane jest przez sterownik polowy z opcją dual homing (podwójne połączenie podstawowe (aktywne) i rezerwowe (blokowane sprzętowo)) oraz terminale zabezpieczeniowe podstawowy i rezerwowy. Dla symulacji najgorszego przypadku każde połączenie zostało potraktowane jak osobne urządzenie generujące dane. W praktyce tylko połowa połączeń będzie aktywna w danym momencie. W nastawni zaplanowane zostały sterowniki stacyjne (podstawowy, rezerwowy), stanowisko operatorskie HMI (dual homing), serwer WWW, bramka komunikacyjna, routery ze zintegrowaną ścianą ogniową (ang. firewall) (podstawowy, rezerwowy). Urządzenia poziomu nastawni komunikują się z urządzeniami poziomu pola z wykorzystaniem usług raportowania, zapisu/odczytu danych, oraz sterowań. Wszystkie te usługi wykorzystują pełny stos protokołów i w związku z tym zostały zasymulowane jako aplikacje bazodanowe i FTP ze względu na podobieństwo działania w aspekcie charakterystyki strumieni danych. Dodatkowo w nastawni zostały dodane aplikacje serwera WWW dla komunikacji z centrum nadzoru. Alternatywnie możliwe jest przeprowadzenie testów z wykorzystaniem strumieni danych protokołu IP określonych wybraną funkcją statystyczną. Zarówno terminale zabezpieczeniowe, jak i sterowniki polowe zostały zasymulowane z wykorzystaniem obiektów symulatora Ethernet Station lub Ethernet_RPG_ Station, które pozwalają na określenie funkcji rozkładu ilości, częstości oraz długości generowanych pakietów wyniki wstępnych symulacji Symulacje prowadzono w oparciu o akademicką licencję oprogramowania OPNET ITGuru. W planach jest przeprowadzenie symulacji porównawczych bazujących na symulatorze NS-2, który jest dostępny na bazie licencji publicznej. Model przełącznika sieciowego symulatora OPNET pozwala na symulowanie działania VLAN 802.1q, nadawania priorytetów 802.1q, wykorzystania protokołu rekonfiguracji w standardzie RSTP 802.1w. Możliwości symulatora pozwalają m.in. na testowanie działania usług DiffServ (priorytety IPToS), dynamicznego protokołu filtrowania grup multikastowych IGMP oraz na przeprowadzenie bardzo szczegółowych symulacji związanych z konkretną implementacją poszczególnych urządzeń oraz protokołów i aplikacji. Na obecnym etapie przeprowadzono symulacje wstępne, obejmujące wybór odpowiedniej topologii sieci, konfiguracji protokołu RSTP, wykorzystanie kreowania podsieci wirtualnych wraz z nadawaniem priorytetów poszczególnym rodzajom ruchu, w kontekście opóźnień dla poszczególnych jego rodzajów. Dla wybranego modelu stacji zastosowano w sumie 12 szesnastoportowych przełączników sieciowych (z przeprowadzonych poszukiwań wynika, że są na rynku rozwiązania umożliwiające taką konfigurację portów i jednocześnie spełniające wymagania środowiskowe określone w normie). Wykorzystanie przełączników wieloportowych jest szczególnie istotne dla większych systemów, ponieważ ogranicza to liczbę przeskoków (ang. hop), powodujących opóźnienia w sieci. Optymalną wydaje się być topologia złożona z wzajemnie połączonych pierścieni (pierścień główny + osobne pierścienie dla każdej rozdzielni), ewentualnie topologia niepełnej siatki. Pod względem technicznym oczywiście najlepiej byłoby, gdyby każdy przełącznik rozdzielni był bezpośrednio przypięty do przełącznika nastawni. Taka topologia generowałaby jednak nieakceptowalne koszty okablowania. Topologie połączonych pierścieni/niepełnej siatki są kompromisem pomiędzy kosztami okablowania a potrzebą zapewnienia niezawodności w formie budowania nadmiarowej topologii fizycznej. W przypadku topologii pierścieni lub niepełnej siatki, wskutek działania protokołu RSTP powstają podstawowe i zapasowe trasy przesyłu pomiędzy poszczególnymi urządzeniami w sieci. Protokół RSTP wyznacza trasy na podstawie algoryt nr 5/2010

6 mu związanego z wyborem głównego przełącznika w sieci, tzw. root oraz wyznaczeniem portów dla tras podstawowych i rezerwowych. W projekcie powinna być uwzględniona konfiguracja protokołu RSTP administrator może mieć wpływ na działanie protokołu poprzez zmianę poszczególnych parametrów przełączników (priorytet portu, priorytet przełącznika, parametry czasowe). Dobór usytuowania przełącznika głównego ma bezpośredni wpływ na długość tras przesyłu (a więc i opóźnienie) pomiędzy wybranymi urządzeniami w stanie normalnym i w stanach awarii. Na rysunku 5. przedstawiono szybkość działania RSTP-2004 (IEEE 802.1d wersja 2004 r.) dla topologii pojedynczego pierścienia (wyniki testów firmy GarrettCom, seria przełączników zarządzanych Magnum). Protokół RSTP może działać dla całej struktury sieciowej (i w takiej formie jest obsługiwany przez większość przełączników sieciowych) lub dla poszczególnych sieci wirtualnych VLAN z osobna. Standard STP/RSTP jest standardem otwartym, co gwarantuje współpracę pomiędzy urządzeniami różnych producentów, należy jednak pamiętać o ograniczeniach poszczególnych wersji. Wersja standardu z 1998 roku zakładała ograniczenie do kilkunastu urządzeń (switchy, mostów, routerów) w sieci oraz charakteryzowała się stosunkowo długim (skala pojedynczych sekund) czasem rekonfiguracji. Ograniczenia te częściowo znosi wersja standardu 802.1d pochodząca z 2004 roku (pojedyncze ms/ switch, kilkadziesiąt urządzeń w sieci), poprawiająca warunki zbieżności protokołu. Czas rekonfiguracji przełączników sieciowych jest istotny, ponieważ podczas zmiany topologii sieci komunikacja zostaje przerwana i wszystkie dane generowane podczas jej trwania będą utracone. Dla przyjętego rozwiązania, czyli topologii wzajemnie połączonych pierścieni, sieci wirtualnych VLAN dla zabezpieczeń i sterowników każdej rozdzielni oraz przyznania najwyższego priorytetu dla ruchu symulującego przesyłanie komunikatów GOOSE, uzyskane na bazie wstępnych symulacji wyniki, dotyczące poziomu natężenia ruchu (20-30 % wykorzystania pasma) i wielkości opóźnień (0,5-0,8 ms), są satysfakcjonujące. W planach jest przeprowadzenie bardziej szczegółowych symulacji, ze szczególnym uwzględnieniem zachowania się opóźnień kolejkowania przełączników sieciowych. podsumowanie Oprócz problematyki zagadnień związanych z funkcjonalnością systemu, projekt sieci powinien zwracać szczególną uwagę na kwestie bezpieczeństwa. Przeprowadzone symulacje i analizy systemu komunikacji zgodnego z IEC nie obejmują ani problemów komunikacji pomiędzy stacjami, ani zagadnień związanych z synchronizacją czasową. Nadal trwają prace nad częściami normy określającymi taką problematykę. Rozważane, ale niepostanowione, jest zastosowanie Ethernetu jako systemu globalnego (Ethernet end-to-end), szczególnie, że prace nad protokołami umożliwiającymi zastosowania Ethernetu na taką skalę nadal trwają [9]. Aktualnie można stwierdzić, że standard IEC został zaakceptowany w środowiskach energetycznych mimo sceptycznego podejścia na początku. Doświadczenia uruchomionych systemów pokazują łatwość w zastosowaniu i wygodę użytkowania, mimo skomplikowanej implementacji i dużego wysiłku początkowego. Obecnie dostępne są gotowe biblioteki ułatwiające wykonanie interfejsów komunikacyjnych zgodnych z normą. Zwiększa się również zakres doświadczeń i wiedzy związanej z ideą działania normy oraz zrozumienie zasad działania sieci przełączanej Ethernet. Dostępne są narzędzia, które w połączeniu z modelami komunikacyjnymi zdefiniowanymi w IEC umożliwiają przeprowadzenie symulacji działania systemu z perspektywy jego wymagań komunikacyjnych, co znacznie ułatwia projektowanie sieci. reklama nr 5/