XVII KONFERENCJA. SYSTEMY INFORMATYCZNE W ENERGETYCE WISŁA, LISTOPADA 2018 r. Patronat Honorowy. Sponsorzy. Patron Medialny

Transkrypt

1 XVII KONFERENCJA SYSTEMY INFORMATYCZNE W ENERGETYCE SIwE 18 WISŁA, LISTOPADA 2018 r. Patronat Honorowy Sponsorzy Patron Medialny

2 XVII KONFERENCJA SYSTEMY INFORMATYCZNE W ENERGETYCE SIWE 18 ORGANIZATOR - POLSKIE TOWARZYSTWO PRZESYŁU I ROZDZIAŁU ENERGII ELEKTRYCZNEJ PATRONATY HONOROWE - MINISTERSTWO ENERGII - PREZES URZĘDU REGULACJI ENERGETYKI SPONSORZY - EXATEL - MICROSOFT LOKALIZACJA - HOTEL GOŁĘBIEWSKI, UL. KS. BP. J.BURSCHE 3, WISŁA TERMIN LISTOPADA 2018 R.

3 SPIS TREŚCI Nr sesji / Nr refratu Tytuł referatu / Autor Strona Spis firm biorących udział w Konferencji SIwE (Patroni, Sponsorzy, Prelegenci/Wystawcy) Reklama 0/2 Robotyzacja w praktyce Michał Obarski (PKP Energetyka SA) /3 Budowa zintegrowanego systemu ZMS w PKP Energetyka Patrycja Kałużyńska (PKP Energetyka SA) /4 Private LTE - fakty i mity Paweł Niedzielski (Nokia Solutions and Networks Sp. z o.o.) /5 Wdrożenie systemu monitoringu sieci optycznej w PSE umożliwiającego operatorowi proaktywne reagowanie na zdarzenia w sieci Tomasz Wieczorek (FCA Sp. z o.o.) /2 Projekt AMI: wdrożenie repeaterów PLC Daniel Jarosik, Jacek Górski (ENERGA-OPERATOR S.A.) /4 Zmiana architektury systemów obsługi technicznej w TAURON Dystrybucja SA Konrad Wierzchucki (TAURON Dystrybucja SA), Marcin Kowalczyk ( Energo Moc Wzorcownia Sp. z o.o.) /5 Skokowe podniesienie poziomu bezpieczeństwa spółek w świetle UoKSC Jakub Syta (EXATEL, 4Sync Solutions) /7 Planowanie oraz optymalizacja pracy zespołów w terenie od zgłoszenia do rozwiązania problemu Paweł Brudny (Microsoft), Mateusz Stefański (Microsoft) /3 OpenUtilities jako przykład nowoczesnego rozwiązania do zarządzania infrastrukturą energetyczną Maciej Rutkowski (Bentley Systems Polska Sp. z o.o.) /5 Wady synchronizacji opartej o odbiorniki GNSS i sieć Ethernet NTP/PTP. Bezpieczna i pewna synchronizacja czasu w ważnej infrastrukturze państwowej ENERGETYKA Tomasz Widomski, K. Borgulski, J. Użycki, P. Olbrysz, J. Kowalski (Elproma Elektronika Sp. z o.o.) /6 Główne filary architektury bezpieczeństwa w kontekście aktualnych zagrożeń Kamil Kowalczuk (PwC Advisory spółka z ograniczoną odpowiedzialnością sp. k. (dawniej PwC Polska Sp. z o.o.))

4 3/5 Wszystko co chcielibyście wiedzieć o pakietach, a boicie się zapytać Maciej Kulesza, Łukasz Zawadowski (Mediarecovery) /8 Automatyzacja zarządzania bezpieczeństwem SCADA/ICS Michał Horubała (esecure) /1 Fog Computing odpowiedzią na wyzwania cyfryzacji energetyki Kamil Kozak (Fogger Sp. z o.o., igrid Technology Sp. z o.o.), Ryszard Bednarz (igrid Technology Sp. z o.o.) /1 Zastosowanie nowych technologii komunikacji radiowej LoRa, SigFox, NB IoT, LTE Cat. M1 do odczytu liczników energii elektrycznej prezentacja prac B+R Marcin Pastuszka (TAURON Dystrybucja SA), Jarosław Sokół (TAURON Dystrybucja Pomiary Sp. z o.o.) /3 Jak efektywnie pozyskać, przechowywać i wykorzystać dane. Doświadczenia z wdrożeń systemów BI w firmach energetycznych Grzegorz Sopoliński, B.Nagórski (SOL-BIT Sp. z o.o.) /5 Synchronizacja częstotliwości i czasu jako niezbędny element nowoczesnych sieci energetycznych Dariusz Pietrzyk (Bitstream)

5 PATRONATY HONOROWE ORGANIZATOR KONFERENCJI MINISTERSTWO ENERGII ul. Krucza 36/Wspólna Warszawa Urząd Regulacji Energetyki Al. Jerozolimskie Warszawa SPONSORZY Exatel SĄ ul. Perkuna Warszawa tel kontakt@exatel.pl exatel.pl Microsoft Sp. z o.o. Al. Jerozolimskie 195A Polska tel

6 4Sync Solutions Sp. z o.o. - SKA ul. Instalatorów Warszawa tel sync.pl Apator Elkomtech SA ul. Wołowa 2c Łódź tel kontakt.elkomtech@apator.com Apator Rector Sp. z o.o. ul. Dąbrowskiego Zielona Góra tel apator.rector@apator.com Asseco Poland S.A. ul. Olchowa Rzeszów tel fax info@asseco.pl pl.asseco.com AVSystem Sławomir Wolf Sp.J. ul. Radzikowskiego 47d Kraków avsystem@avsystem.com Bentley Systems Polska ul. Nowogrodzka Warszawa tel tel tel. kom fax

7 BitStream Sp. z o.o. ul. Mełgiewska 7/ Lublin tel fax info@bitstream.pl Comp S.A. ul. Jutrzenki Warszawa tel fax info@comp.com.pl Cybercom Poland Sp. z o.o. ul. Hrubieszowska Warszawa tel fax sales.poland@cybercom.com DGT Sp. z o.o. ul. Młyńska Straszyn tel fax dgt@dgt.pl Elmark Automatyka Sp. z o.o. ul. Niemcewicza Warszawa-Wesoła tel , fax elmark@elmark.com.pl Elproma Elektronika Sp. z o.o. ul. Szymanowskiego Łomianki tel fax info@elpromaelectronics.com

8 ENERGA-OPERATOR SA ul. Marynarki Polskiej Gdańsk tel fax Esri Polska Sp. z o.o. ul. Bonifraterska 17 (III piętro) Warszawa tel fax esri@esri.pl FCA Sp. z o.o. ul. Grabska Niepołomice tel fax fca@fca.com.pl Fluke Europe BV PO Box 1186 NL-5602 BD Eindhoven Netherlands tel cs.pl@fluke.com IFS INDUSTRIAL AND FINANCIAL SYSTEMS POLAND Sp. z o.o. ul. Marcina Flisa Warszawa tel fax info.pl@ifsworld.com igrid Technology Sp. z o.o. ul. Mikołowska Mysłowice tel office@igrid.tech

9 innogy Stoen Operator Sp. z o.o. ul. Piękna Warszawa Innsoft Sp. z o.o. ul. Żupnicza Warszawa tel./fax ; poczta@innsoft.pl Media Sp. z o.o. ul. Piotrowicka Katowice tel fax biuro@mediarecovery.pl mediarecovery.pl Motorola Solutions ui. Wołoska Warszawa tel NGE Polska Sp. z o.o. ul. Kartuska 228A Gdańsk tel fax NMG S.A. ul. Fordońska Bydgoszcz tel fax nmg@nmg.pl

10 Nokia Solutions and Networks Sp. z o.o. ul. Rodziny Hiszpańskich Warszawa tel fax PGE Systemy S.A. ul. Sienna Warszawa tel pgesystemy.pl PKP Energetyka S.A. ul. Hoża 63/ Warszawa tel fax energetyka@pkpenergetyka.pl Polkomtel Sp. z o.o. ul. Konstruktorska Warszawa tel fax Polskie Sieci Elektroenergetyczne S.A. ul. Warszawska Konstancin-Jeziorna tel PwC Advisory spółka z ograniczoną odpowiedzialnością sp. k. (dawniej PwC Polska Sp. z o.o.) ul. Lecha Kaczyńskiego Warszawa

11 RATE ART. P.H.U. ul. Lenartowicza , Łódź tel fax rateart.pl Red Clover Sp. z o.o. ul. Franciszka Klimczaka 17/ Warszawa tel fax biuro@redclover.pl redclover.pl Salumanus Sp. z o.o. ul. Walerego Sławka 8a Kraków tel sales@salumanus.com SOL-BIT Sp. z o.o. ul. Domaniewska 39 A Warszawa info@sol-bit.pl sol-bit.pl TAURON Dystrybucja S.A. ul. Podgórska 25A Kraków TAURON Polska Energia SA ul. ks. Piotra Ściegiennego Katowice

12 TECHNITEL POLSKA S.A. ul. S.Kuropatwińskiej Zgierz tel fax TEKNISKA POLSKA Przemysłowe Systemy Transmisji Danych Sp. z o.o. ul. Łabędzka 9-9A Gliwice tel tekniska@tekniska.pl tekniska.pl Visimind Ltd Sp. z o.o. ul. Władysława Trylińskiego Olsztyn tel fax biuro@visimind.pl visimind.pl WB Electronics S.A. Centrala GRUPY WB ul. Poznańska 129/ Ożarów Mazowiecki tel fax info@wb.com.pl XEROX POLSKA Sp. z o.o. ul. Łopuszańska Warszawa AW.NET Polska Sp. z o.o. ul. Łączności 96A Łazy tel

13

14 ROBOTYZACJA W PRAKTYCE Michał Obarski (PKP Energetyka) ROBOTYZACJA W PRAKTYCE 27

15 28 ROBOTYZACJA W PRAKTYCE

16 ROBOTYZACJA W PRAKTYCE 29

18 ROBOTYZACJA W PRAKTYCE 31

20 BUDOWA ZINTEGROW WANEGO SYSTEMU ZMS W PKP ENERG GETYKA Patrycja Kałużyńska (PKP Energetyka) BUDOWA ZINTEGROWANEGO SYSTEMU ZMS W PKP ENERGETYKA 33

21 34 BUDOWA ZINTEGROWANEGO SYSTEMU ZMS W PKP ENERGETYKA

22 BUDOWA ZINTEGROWANEGO SYSTEMU ZMS W PKP ENERGETYKA 35

34 PRIVATE LTE - FAKTY I MITY Paweł Niedzielski (Nokia Solutions and Networks Sp. z o.o.) PRIVATE LTE - FAKTY I MITY 47

35 48 PRIVATE LTE - FAKTY I MITY

36 PRIVATE LTE - FAKTY I MITY 49

50 WDROŻENIE SYSTEMU MONITORINGU SIECI OPTYCZNEJ W PSE UMOŻLIWIAJĄCEGO OPERATOROWI PROAKTYWNE REAGOWANIE NA ZDARZENIA W SIECI Tomasz Wieczorek (FCA Sp. z o.o.) WDROŻENIE SYSTEMU MONITORINGU SIECI OPTYCZNEJ W PSE UMOŻLIWIAJĄCEGO... 63

51 64 WDROŻENIE SYSTEMU MONITORINGU SIECI OPTYCZNEJ W PSE UMOŻLIWIAJĄCEGO...

52 WDROŻENIE SYSTEMU MONITORINGU SIECI OPTYCZNEJ W PSE UMOŻLIWIAJĄCEGO... 65

66 PROJEKT A AMI: WDROŻENIE REPEATERÓW PLC Daniel Jarosik, Jacek Górski (ENERGA-OPERATOR S.A.) PROJEKT AMI: WDROŻENIE REPEATERÓW PLC 79

67 80 PROJEKT AMI: WDROŻENIE REPEATERÓW PLC

68 PROJEKT AMI: WDROŻENIE REPEATERÓW PLC 81

80 ZMIANA ARCHITEKTURY SYSTEMÓW OBSŁUGI TECHNICZNEJ W TAURON DYSTRYBUCJA SA Konrad Wierzchucki (TAURON Dystrybucja SA) Marcin Kowalczyk ( Energo Moc Wzorcownia Sp. z o.o.) ZMIANA ARCHITEKTURY SYSTEMÓW OBSŁUGI TECHNICZNEJ W TAURON DYSTRYBUCJA SA 93

81 94 ZMIANA ARCHITEKTURY SYSTEMÓW OBSŁUGI TECHNICZNEJ W TAURON DYSTRYBUCJA SA

82 ZMIANA ARCHITEKTURY SYSTEMÓW OBSŁUGI TECHNICZNEJ W TAURON DYSTRYBUCJA SA 95

92 SKOKOWE PODNIESIENIE POZIOMU BEZPIECZEŃSTWA SPÓŁEK W ŚWIETLE UOKSC Jakub Syta (EXATEL) SKOKOWE PODNIESIENIE POZIOMU BEZPIECZEŃSTWA SPÓŁEK W ŚWIETLE UOKSC 105

93 106 SKOKOWE PODNIESIENIE POZIOMU BEZPIECZEŃSTWA SPÓŁEK W ŚWIETLE UOKSC

94 SKOKOWE PODNIESIENIE POZIOMU BEZPIECZEŃSTWA SPÓŁEK W ŚWIETLE UOKSC 107

96 SKOKOWE PODNIESIENIE POZIOMU BEZPIECZEŃSTWA SPÓŁEK W ŚWIETLE UOKSC 109

98 PLANOWANIE ORAZ OPTYMALIZACJA PRACY ZESPOŁÓW W TERENIE OD ZGŁOSZENIA DO ROZWIĄZANIA PROBLEMU Paweł Brudny, Mateusz Stefański (Microsoft) PLANOWANIE ORAZ OPTYMALIZACJA PRACY ZESPOŁÓW W TERENIE OD ZGŁOSZENIA DO

99 112 PLANOWANIE ORAZ OPTYMALIZACJA PRACY ZESPOŁÓW W TERENIE OD ZGŁOSZENIA DO...

100 PLANOWANIE ORAZ OPTYMALIZACJA PRACY ZESPOŁÓW W TERENIE OD ZGŁOSZENIA DO

102 PLANOWANIE ORAZ OPTYMALIZACJA PRACY ZESPOŁÓW W TERENIE OD ZGŁOSZENIA DO

104 OPENUTILITIES JAKO PRZYKŁAD NOWOCZESNEGO ROZWIĄZANIA DO ZARZĄDZANIA INFRASTRUKTURĄ ENERGETYCZNĄ Maciej Rutkowski (Bentley Systems Polska Sp. z o.o.) Program Bentley OpenUtilities pomaga w projektowaniu i zarządzaniu siecią energetyczną, gazową, wodociągową, kanalizacyjną lub miejską siecią ciepłowniczą. Precyzyjne narzędzia do rozmieszczania oparte na MicroStation przyspieszają projektowanie. Szacowanie kosztów w czasie rzeczywistym, które pozwala projektantom na szybką zmianę projektów, przyczynia się do obniżania kosztów projektu. Wbudowane zarządzanie procesami pracy w celu przypisywania, śledzenia i zarządzania pracą pozwala uniknąć opóźnień. Wbudowana aplikacja OpenUtilities Map w pełni funkcjonalny GIS sieci przesyłowych obniża koszty oprogramowania lub łączy Bentley OpenUtilities z istniejącym już GIS. Możliwe jest usprawnienie projektu sieci przesyłowej i zarządzanie nią dzięki użyciu Bentley OpenUtilities do: przyspieszenia rozplanowania terenów poprzemysłowych i terenów, na których inwestycje będą realizowane od podstaw za pomocą narzędzi do rozplanowania, które dają precyzyjne, wysokiej jakości rezultaty; zaoszczędzenia czasu w trakcie rozplanowania dzięki analizie rzeczywistych cen, która gwarantuje, że za pierwszym razem projekty będą przedłożone z prawdziwym budżetem; obniżenia kosztów projektu poprzez umiejętność szybkiego badania opcji, porównywania kosztów i znalezienia najmniej kosztownego projektu; uniknięcia opóźnień projektu dzięki podlegającemu konfiguracji silnikowi przepływu pracy, który może zintegrować się z systemem zarządzania pracą klienta; zmniejszenia kosztu i czasu wdrożenia oprogramowania projektowego dzięki wcześniej skonfigurowanym modelom danych; zaoszczędzenia czasu i pieniędzy przy konserwacji modelu sieci w ramach w pełni funkcjonalnego i osadzonego GIS przeznaczonego dla sieci przesyłowych; zwiększenia produktywności poprzez przyłączenie bardziej wydajnej platformy do projektowania z obecnym GIS. Projektowanie sieci dystrybucji energii elektrycznej Rozplanuj swoje główne, drugorzędne i publiczne sieci oświetlenia. Osiągnij inżynierską precyzję dzięki inteligentnemu rozmieszczaniu i edytowaniu opartemu na oprogramowaniu MicroStation. Projektuj aktywa sieci znajdujące się nad i pod ziemią za pomocą szczegółowych modeli przewodów i zawartych w nich kabli. Określ zasady zapewniające zgodność projektów z normami. Możliwość szacowania kosztów materiałów i pracy Uzyskaj w czasie rzeczywistym informacje o kosztach każdej decyzji projektowej dzięki dynamicznym szacunkom kosztów. Twórz szczegółowe zestawienia kosztów pracy, materiałów i wyposażenia w każdym miejscu prowadzenia prac i dla całego projektu. OPENUTILITIES JAKO PRZYKŁAD NOWOCZESNEGO ROZWIĄZANIA DO ZARZĄDZANIA

105 Porównaj koszty alternatyw projektowych, aby znaleźć najtańszy projekt spełniający określone wymagania. Utrzymywanie modeli i map infrastruktury sieciowej Użyj systemu GIS zawierającego wszelkie funkcje potrzebne dla infrastruktury sieciowej opartego na sprawdzonej platformie Bentley Map. Przyspiesz edytowanie przy pomocy inteligentnych funkcji GIS i zautomatyzowanych narzędzi stosujących obowiązujące normy i zasady. Skorzystaj ze ścisłej integracji pomiędzy systemem projektowania a systemem GIS w celu uniknięcia przeróbek i w celu zapewnienia prawidłowego stanu powykonawczego. Synchronizuj wersje projektu z GIS przedsiębiorstwa Twórz nowe projekty i badaj przyszłe projekty bez uszczerbku dla integralności danych. Używaj krótkich i długich transakcji oraz edytowania przez wielu użytkowników, aby zapoznać się z wieloma opcjami. Rozwiązuj kolizje danych graficznych i niegraficznych i używaj raportów do porównania kosztów opcji projektowych. Zarządzanie procesami pracy i zatwierdzeniami Twórz, przydzielaj i zatwierdzaj zlecenia pracy oraz zarządzaj nimi w trybie samodzielnym lub poprzez integrację z systemem zarządzania pracą. Konfiguruj pulpity i raporty, aby pomóc kierownikom śledzić status i postęp projektu. Unikaj opóźnień dzięki automatycznym aktualizacjom statusu, prośbom o zatwierdzenie i zintegrowanymi wiadomościami OPENUTILITIES JAKO PRZYKŁAD NOWOCZESNEGO ROZWIĄZANIA DO ZARZĄDZANIA...

106 WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP. BEZPIECZNA I PEWNA SYNCHRONIZACJA CZASU W WAŻNEJ INFRASTRUKTURZE PAŃSTWOWEJ ENERGETYKA Tomasz Widomski, K. Borgulski, J. Użycki, P. Olbrysz, J. Kowalski (Elproma Elektronika Sp. z o.o.) WSTĘP W latach firma Elproma uczestniczyła w międzynarodowym projekcie DEMETRA 1 Horizon Projekt dostarczył 9 nowych usług synchronizacji 2, wspierających wdrażany przez UE system GALILEO. Aby dobrze wykonać powierzone zadania, DEMETRA4 poprzedzona była licznymi badaniami rynku określającymi zapotrzebowanie przemysłu na usługi synchronizacji. Przeprowadzono na terenie UE liczne audyty techniczne wybranych systemów synchronizacji opartych o satelitarny system GPS i sieć Ethernet TCP/IP, a ich wyniki odsłoniły liczne niedoskonałości obecnych rozwiązań (rys. 1). Rys. 1. Pięć etapów dystrybucji czasu UTC w energetyce obarczonych zagrożeniem błędów i utraty synchronizacji (ang. time gaps) Elpromę zaproszono do projektu w charakterze eksperta protokołów dystrybucji czasu: NTP (Network Time Protocol) i PTP/IEEE1588 (Precision Time Protocol). Polskiej firmie powierzono też zadanie zaprojektowania nowej metody dystrybucji czasu, jaka mogłaby np. służyć bezpiecznej dystrybucji czasu do zastosowań prawnych. Czas taki określany jest też nazwą czasu urzędowego, którego źródła opisuje Dz.U 56/2004 (poz. 548) 3. Wnioski z DEMETRY stały się podstawą do kontynuacji prac B+R w innych projektach UE, takich jak Robust Time. Obecnie firma ELPROMA pracuje nad stworzeniem chmury znakującej czasem projekt Safe Time ( ) DEMETRA Oficjalna strona INRIM: Dz.U poz. 548 z 2004r: WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP

107 WORKSHOP BRUKSELA DG-ENERGY 2017 Wnioski DEMETRY zostały zaprezentowane podczas spotkania w dniu 6 lutego 2017 w DG-ENERGY 4 w Brukseli. Sformułowano tam tezę możliwego scenariusza cyberataku na infrastrukturę synchronizacji w sektorze energetyki (ang. Time Synchronization Attack), której skutkiem mógłby być np. blackout. Mimo, że prawdopodobieństwo skuteczności takiego ataku wydaje się nadal niewielkie, to ekspertów niepokoją sprzyjające takiemu zagrożeniu nakładające się na siebie wzajemnie okoliczności: obserwowane zmiany geopolityczne tej dekady, zagrożenia terroryzmem i cyber-terroryzmem, niski stopień świadomości roli synchronizacji w strategicznych sektorach gospodarek państw UE, numeryczna reprezentacja czasu w IT stawia obok siebie tak samo prawdopodobnym błąd wielkości nanosekundy, sekund, godzin, miesięcy i lat; zwiększa to ryzyko dotkliwszych skutków skutecznego cyber-ataku w energetyce, rosnąca złożoność i współzależność systemów IT mogąca wywołać efekt domina o dużej skali, niszowa natura synchronizacji powoduje, że segment ten liczy niewielkie grono ekspertów; ogranicza to możliwości wymiany informacji na dużą skalę z gronem ekspertów bezpieczeństwa, brak rozwiązań alternatywnych, w tym procedur postępowania w przypadku wystąpienia cyber-ataku na infrastrukturę synchronizacji energetyki Zgodnie z wymaganiami opisanymi w dokumentach IEEE [29] [30], synchronizacja powinna zapewniać: 1) zgodny czas, tzn. pracę we wspólnej domenie czasowej (ang. Time Domain) skali UTC, 2) zapewnienie dokładności 1 mikrosekundy [μs] przy założeniu maksymalnej liczby 16 przejść (ang. hop) przez przełączniki i routery sieci Ethernet. Każde przejście wnosi średnio 50 ns opóźnienia, co definiuje konieczność zapewnienia przez serwer czasu co najmniej precyzji lepszej niż 200 ns (200x 10-9 sekundy). Wymóg ten spełniają nieliczne serwery czasu z tzw. sprzętowym znakowaniem czasu w warstwie fizycznej PHY Ethernet (np. ELPROMA model NTS-5000 PTPv2 IEEE1588:2008 z profilem Energy oferujący precyzję synchronizacji 25ns) 3) dokładność 500 ns do nadzoru stanu linii i precyzyjnej lokalizacji uszkodzeń techniką fali bieżącej (ang. travelling wave). Dokładność 1 μs jest niezbędna do zarządzania dystrybucją energii. Kontrola odbywa się poprzez pomiar kąta fazowego (rys. 2) i jest realizowane przy pomocy urządzeń PMU (ang. Phasor Measurement Unit) określonych w standardzie IEEE C (rys. 3) Rys. 2. Reprezentacja kąta fazowego w PMU /Synchrophazors IEEE C37.118/ 4 DG ENERGY (patrz również bibliografia [42] ) 120 WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP....

108 Rys. 3. Rozproszony system monitorujący kąt fazowy dystrybuowanej energii Tak precyzyjna synchronizacja w energetyce formuje krytyczne parametry przesyłu energii, tutaj fazę, ale i częstotliwość wytwarzanego napięcia. Aktualny stan sieci energetycznej opiera się na estymacji, opartej o bieżący odczyt danych z układów pomiarowych. Dlatego dane muszą być przekazywane do systemów sterowania z możliwie jak najmniejszym opóźnieniem (delay). Nieskorelowane w czasie informacje mogą dostarczyć nieprawdziwych lub nieaktualnych danych. Może to spowodować podjęcie błędnej decyzji przekierowania sterowania mocą i przepływem dystrybuowanej energii. W szczególności odchylenie kąta fazowego o wartość ponad 25º stwarza ryzyko poważnej awarii energetycznej, a nawet blackoutu. Rozsynchronizowanie PMU było najprawdopodobniej przyczyną blackoutu na wschodnim wybrzeżu USA w sierpniu 2003 roku (rys. 4). Rys. 4. Rejestrowany blackout na wschodnim wybrzeżu USA (sierpień 2003) Monitorowanie dystrybucji energii odbywa się przy pomocy systemów SCADA (rys. 5) generujących stosowne alarmy, w tym zwłaszcza informujące o zbyt dużych zmianach kątów fazowych. Nie mniej ważne jest przekazywanie tych danych ze znanym opóźnieniem, tak aby reakcja operatora możliwa była bez ryzyka awarii mogącej wywołać efekt domina (blackout). Rygor utrzymania parametrów synchronizacji w energetyce w Europie reguluje standard IEC Bus & Station. WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP

109 Rys. 5. SCADA monitorująca kąty fazowe w systemie firmy Boneville (USA) Zdaniem profesora Vaccarro [42] (ekspert DEMETRA), to właśnie obawy przed skutecznym cyberatakiem na infrastrukturę synchronizacji opartą o GPS sprawiają, że do dnia dzisiejszego największy amerykański system zarządzania Smart Grid WAMPAC (Wide Area Monitoring, Protection, and Control Systems) pozostaje w trybie nadzoru danych, tzn. bez aktywnej automatyki sterowania przekierowaniem mocy dystrybuowanej energii. Sterowanie to pozostaje nadal pod kontrolą operatora i opiera się o dane z równoległych systemów. Rys. 6. WISP (lewa strona)) obszar zachodniego wybrzeża objęty programem połączenia PMU. Na prawo widok całej infrastruktury energii w USA Dlatego tak ważne jest stworzenie niezawodnego, pewnego mechanizmu dystrybucji czasu gwarantującego utrzymanie rygoru 1 μs precyzji synchronizacji względem skali UTC. Wymóg ten opisuje standard IEEE C Dystrybucja czasu UTC zapewniającego wspólną domenę czasową może odbywać się na dwa sposoby przedstawione na rysunku rys. 7 i rys. 8. Rys. 7. Zdecentralizowany system odbiorników GPS 122 WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP....

110 Rys. 8. Scentralizowany system dystrybucji czasu siecią Ethernet TCP/IP wykorzystujący PTP/IEEE1588 (wcześniej protokół NTP) Do dystrybucji UTC można też, wykorzystać mieszany model hybrydowy będący dowolną kombinacją schematów z rysunków rys. 7 i rys. 8. Każde wydarzenie w sieci generujące alarm jest rejestrowane w systemowych dziennikach zdarzeń LOG wraz z datą i godziną wystąpienia. Zachowanie chronologii tych zdarzeń wymaga synchronizacji wszystkich elementów systemu, włączając główne serwery, kontrolery (czujniki, w tym PMU) a nawet systemy baz danych (DB). W przypadku wystąpienia awarii, uporządkowane zapisy LOG dostarczają informacji niezbędnych do identyfikacji problemu. Jest to możliwe wyłącznie wtedy, gdy system IT pozostaje zsynchronizowany. Zachowanie relacji przyczynowo skutkowych pozwala odtworzyć dokładny przebieg wydarzeń i ustalić przyczynę awarii. Nieautoryzowane zmiany zawartości dzienników LOG lub niewystarczająca synchronizacja uniemożliwiają identyfikację przyczyny wystąpienia awarii. Obecnie dzienniki LOG chronione są uprawnieniniami administratora i włamanie do systemu z takimi prawami pozwala zmienić zapisy (rys. 9). Rys. 9. Chronologia zdarzeń w LOG odzwierciedla relacje zdarzeń i zapewnia ciąg przyczynowo skutkowy niezbędny do identyfikacji awarii. Synchronizacja jest też wykorzystywana w rozliczeniach energii (ang. metering), w wirtualnym handlu energią, bilingu i fakturowaniu. Błędy synchronizacji nie wnoszą tu wprawdzie bezpośredniego ryzyka paraliżu, ale mogą być powodem strat finansowych w różnej skali. Warto jeszcze wspomnieć o pewnej poddziedzinie synchronizacji w energetyce, wymagającej dużych precyzji rzędu co najmniej 500 ns. Tak precyzyjny czas używany WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP

111 jest do pomiaru fali bieżącej (ang. Travelling wave) reakcji na wzorzec, używanej do diagnozowania stanu linii przesyłowych i wskazywania miejsca uszkodzeń. Im większa precyzja, tym dokładniej można ustalić miejsce uszkodzenia linii przesyłowej. Ma to zastosowania zarówno dla linii napowietrznych jak i podziemnych (rys. 10) Rys. 10. Fala bieżąca lokalizuje uszkodzenia w linii przesyłowej Awarie w sektorze energetyki mają wpływ na inne gałęzie przemysłu, a w szczególności na: bieżącą produkcję, telekomunikację (TV/radio/Internet), sektor finansowy, administrację publiczną, a w miastach na wodociągi i kanalizację, kierowanie ruchem ulicznym, ruch kolei, kontrolę lotów itp. Każda większa awaria w energetyce niesie ryzyko okresowej destabilizacji jakiegoś regionu. Odwoływane są planowe zabiegi operacyjne w szpitalach, licznym utrudnieniom ulega praca służb publicznych. Niepokój społeczny stymuluje dezinformacja spowodowana brakiem łączności i wzmacniana panującą po zachodzie słońca ciemnością. Brak perspektywy dostępu do posiadanych środków pieniężnych zdeponowanych w bankach wzmacnia jedynie i tak panującą niepewność. Z tych powodów sektor energetyki pozostaje w zasięgu zainteresowania grup hakerów i jest narażony na ataki. Nowym wyzwaniem staje się ochrona infrastruktury energetycznej wrażliwej na skutki rozsynchronizowania. PIĘĆ GRUP RYZYKA POWSTAWANIA BŁĘDÓW W procesie transferu czasu ryzyko powstawania błędów synchronizacji występuje w następujących 5 etapach, wskazanych na rysunku rys. 1: etap 0 transfer ziemia-kosmos - błędy wewnętrzne GNSS (GPS, GLONASS, BEIDOU) - wojskowa natura systemów GPS, GLONASS, BEIDOU etap 1 transfer kosmos-odbiornik GNSS na Ziemi - zagłuszanie sygnałów GPS (ang. GPS Jamming) - symulacja naziemna sygnałów GPS (ang. GPS Spoofing) - brak obsługi sekundy przestępnej (ang. Leap Second) - błędy wewnętrzne odbiorników satelitarnych GNSS - wielosekundowe różnice skal czasu GPST, GLONASST, BEIDOUT, GALILEOT etap 2 transfer publiczną siecią Internet - brak kryptograficznej ochrony pliku (IERS biuletyn-c) (możliwość manipulacji czasem oparta o podmianę pliku) etap 3 transfer siecią Ethernet (protokół NTP) - brak zapowiedzi sekundy przestępnej (Leap Second) - wpływ asymetrii łącz na dokładność synchronizacji - celowe wprowadzanie opóźnień (np. Time Delay Attack) etap 4 transfer siecią Ethernet (protokół PTP/IEEE1588) 124 WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP....

112 - brak autentykacji przesyłanych protokołem danych - reprezentacja UTC w postaci składowych (TAI, #Leap) - wpływ asymetrii łącz na dokładność synchronizacji - celowe wprowadzanie opóźnień (np. Time Delay Attack) etap 5 transfer wewnętrzny na poziomie sprzętu - zróżnicowanie systemowe OS/firmware (obsługa czasu UTC, różnice w sposobie obsługi sekund przestępnych) - błędy i opóźnienia asymetrii OS API (firmware) - błędy ludzkie (ustawień konfiguracji, profili PTP itp.) - błędy niezgodności (kompatybilności) PTP/IEEE błędy skal czasu (reprezentacja: UTC, POSIX, TAI) Sama wielkość błędu synchronizacji może się wahać w przedziale od nanosekund, aż po całe sekundy, a nawet dni i lata. Wiąże się to z numeryczną reprezentacją czasu (różne wagi poszczególnych bitów reprezentujących czas), podczas gdy powszechnie znane czynniki, takie jak temperatura czy propagacja informacji dają z reguły niewielkie błędy. ŹRÓDŁA BŁĘDÓW SYNCHRONIZACJI 1. Jamming & Spoofing GNSS 5 Rys. 11. Urządzenia do zagłuszania sygnałów GNSS są obecnie precyzyjnie dopasowane częstotliwością i pasmem do typu wiązki, a nawet sposobu jej kodowania. Jamming, to możliwość lokalnego zagłuszania sygnałów GNSS przy pomocy niedrogich, ale bardzo skutecznych urządzeń dostępnych, np. w sprzedaży internetowej. Skuteczność działania systemów zagłuszających i symulatorów GPS zależy od mocy użytego nadajnika. Współczesne urządzenia zagłuszające są perfekcyjnie dopasowane do częstotliwości wiązki satelitarnej i emitowany przez nie sygnał zagłuszający coraz częściej uwzględnia zaawansowane właściwości kodowania wiązki GPS L1-L5 (rys. 11). Skuteczność zagłuszania zależy od ukształtowania terenu, urbanistyki, lokalizacji anten serwerów czasu itp. Jeszcze nie tak dawno, niecałą dekadę temu, ich użycie w segmencie synchronizacji było sporadyczne. Nieliczne przypadki użycia były na tyle słabo udokumentowane, że trudno było odróżnić celowe zagłuszanie od wpływu zakłóceń elektromagnetycznych. Obecnie używanie urządzeń zagłuszających rozpowszechnia się. Londyńska giełda co kilka dni odnotowuje incydenty z ich użyciem, a niektóre przypadki wymuszają 5 WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP

113 okresowe przerwy w notowaniach. Podobne próby mogą mieć miejsce również w sektorze energetyki w strukturze z rys. 7. Rys. 12. Skuteczność zasięgu zagłuszaczy GNSS zależy od siły nadajnika. W polu oznaczonym kolorem czerwonym (lewa część) odbiór GPS jest niemożliwy. W środkowej części odbiór jest losowy i sporadyczny, a w części z prawej strony mogą wystąpić problemy z odbiorem GPS i synchronizacją. O ile zegar #1 (rys. 12) nie posiada alternatywnych dla GNSS dróg pozyskiwania wzorcowego czasu UTC (np. z NMI i zdalnie dostępnych serwerów NTP/PTP), jego czas w zależności od stabilności wbudowanych oscylatorów będzie sukcesywnie degradował się, podając coraz bardziej nieprawidłowe wskazanie względem UTC. Jeżeli zegar posiada wbudowane wysokiej jakości oscylatory, to proces degradacji (tempo wzrostu błędu UTC) może zostać spowolniony lub zatrzymany do czasu przywrócenia odbioru sygnału satelitarnego GNSS. Aby mogło tak być, oscylatory muszą uprzednio zsynchronizować się do GNSS lub zdalnie do NMI. Taki autonomiczny tryb pracy zegara nazywa się trybem holdover. W zależności od stabilności oscylatorów i żądanej precyzji synchronizacji, czas UTC w trybie holdover może być autonomicznie utrzymywany: godziny (TCXO), dni (OCXO), a nawet tygodnie i miesiące (Rubid). Ważnym, niezbędnym do spełnienia warunkiem jest podtrzymanie zasilania oraz nieresetowanie serwera NTP/PTP. Niezsynchronizowany z GNSS oscylator pracuje w trybie FreeRun zapewniając stabilną częstotliwość sygnału, ale nie gwarantując dokładnego czasu UTC. Synchronizację oraz jej błąd można zilustrować przy pomocy tarcz strzelniczych, których środek symbolizuje wzorcowy czas UTC (rys. 13). a b c d Synchronizacja GNSS Holdover (OSC) Brak synchronizacji FreeRun (OSC) Słaba Synchronizacja GNSS,brak OSC Brak Synchronizacji GNSS,brak OSC Zegary i serwery NTP/PTP bez wbudowanych oscylatorów holdover reagują natychmiast na zagłuszanie GNSS i wprowadzają duży narastający błąd synchronizacji UTC. 126 WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP....

114 Rozwiązań problemu zagłuszania należy szukać w prostej dywersyfikacji polegającej na jednoczesnym użyciu minimum 3 niezależnych od siebie źródeł czasu i metod dostawy UTC. Sygnały czasu można uzyskać z: 1) wielu rozproszonych odbiorników GNSS (rys. 14) 2) sieci Ethernet i zdalnych serwerów NMI 3) zsynchronizowanych wcześniej OSC holdover (lokalnych oscylatorów holdover) Rys. 14. Rozmieszczone w promieniu 0.7km od serwera ELPROMA NTS-5000 dwa niezależne odbiorniki GNSS minimalizują skuteczność zagłuszania GNSS Spoofing GNSS polega na fałszowaniu wiązki sygnału satelitarnego w celu wprowadzenia odbiornika w błąd pozycji i czasu. Wybrane systemy GNSS (np. GALILEO) przewidują wprowadzenie płatnej usługi zabezpieczającej przed takim zagrożeniem. Obecnie urządzenia spoofingowe pozostają na tyle drogie, że prawdopodobieństwo ich użycia jest zdecydowanie mniejsze niż użycie urządzeń zagłuszających. Celowe wprowadzenie odbiornika w błąd wiąże się z konkretnym celem działania. Takie przypadki odnotowuje się w sektorze finansowym w pobliżu dużych giełd finansowych w USA i w Wielkiej Brytanii. Kary za takie praktyki wyrażają się w liczbach 9 cyfrowych. Karane są banki inwestycyjne np. z segmentu HFT, które próbują w ten sposób wykorzystywać chwilowo wywołane perturbacje na rynku finansowym. Rys. 15. Fałszywe sygnały GNSS mogą być rozpoznane i odrzucone, jeżeli serwer korzysta jednocześnie z alternatywnych źródeł i metod dostawy czasu W przypadku spoofingu, podobnie jak przy zagłuszaniu ważna jest dywersyfikacja ryzyka i używanie wielu źródeł UTC jednocześnie. Nie mniej ważna jest dywersyfikacja WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP

115 metod dostarczania czasu. Pomocą może być alternatywna dla GNSS droga dostrajania serwera do zdalnych wzorców NMI oraz dbanie o prawidłowy czas lokalnych oscylatorów holdover (rys. 15). Zarówno zagłuszanie jak i spoofing GNSS mogą być też rozpoznane przy pomocy specjalnych urządzeń. Niektóre z nich (rys. 16) mogą wskazać nawet kierunek, z którego pochodzi emisja sygnału zakłócającego. Stosowanie takich urządzeń wymaga stworzenia stosownych regulacji prawnych oraz ustanowienia procedur postępowania przez służby ochrony mienia. Rys. 16. Urządzenie rozpoznające zagłuszanie i wskazujące kierunek źródła 2. Nieodporność komercyjnych odbiorników GNSS na wewnętrzne błędy systemowe GPS, GLONASS itp. Przypadek błędu UTC znanego jako SVN23 6 wydarzył się w dniu 26 stycznia 2016 r. Wewnętrzny błąd systemu GPS wprowadził do odbiorników komercyjnych na Ziemi błąd 13.5μs względem czasu UTC, utrzymywanego prawidłowo przez pozostałe systemy GNSS (GLONASS, BEIDOU, GALILEO) oraz instytuty metrologii NMI, dysponujące zegarami atomowymi. Błąd wykazały nawet odbiorniki multi-satelitarne GNSS, ponieważ najczęściej wiodącym systemem bazowym nadal pozostaje GPS. Część odbiorników na Ziemi, mogła wskazać inny błąd, np. mniejszy niż 13.5 μs. Mogło by tak być w przypadku, gdy średnia ważona wytwarzanego w odbiorniku UTC sygnału czasu uwzględniała większą rolę pozostałych prawidłowo pracujących systemów GNSS. Możliwe, że część odbiorników (np. takie, które nie używały GPS a były skonfigurowane do pracy wyłącznie z systemami GLONASS i BEIDOU, bez GPS) nie były podatne na błąd 13.5μs. Błąd zarejestrowały, ale nie powieliły go narodowe instytuty metrologii (NMI) dysponujące własnymi zegarami atomowymi i wytwarzające własne skale UTC(k). Rys. 17. Wewnętrzne błędy poszczególnych systemów GPS, GLONASS, BEIDOU, GALILEO mogą wprowadzić błąd jak SVN23 z 26/01/ GNSS Inside (SVN23) WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP....

116 W przypadku błędu GPS 13.5 μs (SVN23) (rys. 17) zdestabilizował on na wiele godzin pracę systemów informatycznych, co opisano w mediach (np. BBC 7 ). Wielkość błędu, choć pozornie niewielka, zagroziła stabilności sektora energetycznego, przekraczając 13.5 razy żądaną dokładność UTC (max. dopuszczalny błąd czasu). Błąd stanowił też zagrożenie dla sektora finansowego. Przypadek SVN23 pokazał, że systemy grupy GNSS nie są wolne od błędów. Wielkość offsetu 13.5 μs mogłaby być większa, gdyby błąd dotyczył bardziej znaczących bitów rejestru danych, reprezentujących numerycznie czas w systemie satelitarnym GPS. Znane są też inne przypadki podobnych błędów w systemach GPS, GLONASS itp. Skutki błędów SVN23, nie różnią od symptomów spoofingu GPS i stanowią ten sam problem do rozwiązania. Aby wykryć taki błąd należy dysponować dostępem do innego źródła UTC nie obarczonego błędem. Takimi niezależnymi od GPS źródłami dysponują narodowe instytuty metrologii (NMI). Rys. 18. Błąd 13.5 μs obserwowany w warunkach laboratoryjnych NMI Pokazane (na rys. 18) wyniki odchyleń 13.5μs testowanych laboratoryjnie w NMI różnych urządzeń odbiorczych GPS (kolor przyporządkowany jest konkretnemu urządzeniu) pokazują, że testowane odbiorniki i serwery GPS reagują z różnym opóźnieniem i bezwładnością na ten sam błąd SVN23. Wytwarza to nieoczekiwane dodatkowe różnice czasu między odbiornikami, które nie wystąpiłyby, gdyby odbiorniki były identyczne chociaż nadal podatne na błąd SVN23. Powyższe raz jeszcze skłania do przemyśleń nad budową rozwiązań, które mogłyby uzyskiwać wzorcowy czas UTC z niezależnych źródeł i niezależnymi od siebie metodami: GNSS, NMI (Ethernet), OSC. 3. Wielosekundowa rozbieżność czasu między skalami GPST, GLONASST, BEIDOUT, GALILEOT 8 Potocznie mówi się o czasie z GPS, ale w praktyce prawie zawsze chodzi o skalę czasu UTC. Nieścisłe terminy i żargon mogą jednak prowadzić do błędu skutkującego wielosekundowymi rozbieżnościami w przedziale od 18 do 37 sekund, różniącymi od siebie skale czasu GPST, TAI od skali UTC. Mało znanym faktem jest, że poszczególne systemy satelitarne grupy GNSS używają wewnętrznie różniących się od siebie o wiele sekund skal czasu 10 : GPST, GLONASST, BEIDOUT, GALILEOT (rozszerzenie T oznacza czas). Skale te bywają udostępniane 7 8 BBC NAVIPEDIA WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP

117 jako opcja konfiguracji odbiorników komercyjnych. Źle skonfigurowane mogą udostępniać na wyjściu np. udostępniać czas na wyjściu (np. serwera PTP/NTP) z wielosekundowym błędem względem UTC (rys. 19). Rys. 19. Wyjściowy czas OUTPUT odbiornika i serwera GNSS może być wyrażony w skali UTC, TAI lub GPST Wynikowy czas UTC otrzymywany na wyjściu odbiornika satelitarnego, wyliczany jest w tym konkretnie odbiorniku. Odbiorniki (np. GPS) często traktowane są w sposób podobny do karty sieciowej LAN/WiFi, tzn. tak, jakby odbierały czas z satelity i przekazywały go dalej do systemu IT. Jest to duże uproszczenie. Aby wyznaczyć prawidłowy czas UTC, odbiornik musi nie tylko odebrać i zdekodować informacje z satelity, ale też musi on uwzględnić szereg matematycznych poprawek, związanych z ruchem satelitów (np. dylatację czasu wynikającą ze szczególnej teorii względności, propagację mikrofal w atmosferze itp). Ostateczna jakość (dokładność i precyzja) produkowanego przez odbiornik GNSS czasu UTC zależy od wbudowanego w firmware algorytmu, wydajności sprzętu (układów w.cz, procesora itp.) z jakiego zbudowano odbiornik, oraz od stabilności i precyzji wewnętrznego oscylatora. Odbierany cyklicznie, prawidłowo dekodowany sygnał satelitarny, jest przetwarzany i dostraja on wewnętrzny oscylator, który jest podstawą wyjściowego czasu w wybranej skali czasu (np. UTC). Odbiornik może zarówno faworyzować (np. GPS) lub umniejszać rolę poszczególnych systemów grupy GNSS zwiększając lub zmniejszając ich wagi podczas uśrednień wyznaczania UTC. Algorytm i wartości wag pozostają zawsze informacją poufną producenta i nie są podawane w specyfikacji technicznej komercyjnego odbiornika GNSS. Rys. 20. Historyczna ewolucja zmian w różnicach czasu między poszczególnymi skalami GNSS (GPST, GLONASST, BEIDOUT, GALILEOT) 130 WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP....

118 Nie należy mniemać, że układ odbiorczy amerykańskiej firmy będzie używał jako wiodącego amerykańskiego systemu GPS, chociaż wydaje się z naturalnych powodów, że właśnie tak powinno być. W dobie globalizacji i międzynarodowych przejęć korporacyjnych, związek miejsca wytwarzania odbiornika i miejsca rejestracji firmy (właściciela), mogą wprowadzać w błąd i powodować niewłaściwe opinie. Błędy wynikające z różnic skal czasu GPST, GLONASST, BEIDOUT, GALILEOT (rys. 20) to kolejna możliwość prowadząca do wielosekundowych rozbieżności w synchronizowanej infrastrukturze. 4. Odbiorniki GNSS błąd PPS Wydawać by się mogło, że niemożliwe jest, by zabiegając o duże precyzje wyrażane w nanosekundach, mikrosekundach, milisekundach nie wpaść łatwo w pułapkę dużego błędu nawet jednej sekundy (stąd nazwa 1PPS). Błąd jednej sekundy wiąże się z trudnością prawidłowego powiązania, dwóch wytwarzanych w odbiorniku GNSS sygnałów wyjściowych: 1PPS-out (częstotliwość) i informacji ToD-out (faza) referencyjnego wzorca czasu UTC (rys. 21). Rys. 21. Który z sygnałów 1PPS (lewy czy prawy) prawidłowo określa początek znacznika ToD godziny 16:08:23 Sygnał 1PPS (puls per second) jest bardzo precyzyjnym wzorcem wyznaczającym początek sekundy. Jest to odpowiednik wahadła w zegarze grawitacyjnym. Nie zawiera informacji o godzinie, minutach ani o liczbie sekund. Informację tę wskazuje drugi z wzorców ToD (time of a day) i uzupełnia je informacją z kalendarza (rok, miesiąc, dzień). Wzorzec 1PPS jest co najmniej o trzy rzędy wielkości precyzyjniejszy od informacji ToD, ale wyznacza jedynie początek sekundy, a ta musi być przypisana do prawidłowego znacznika ToD. Powodem możliwości powstawania błędu sekundy jest trudność przyporządkowania prawidłowego zbocza 1PPS właściwemu znacznikowi ToD (rys. 21). Związane z nim niepowodzenia synchronizacji i błędy rozbieżności czasu należy tłumaczyć słabą współpracą pomiędzy grupami IT i specjalistami ds. synchronizacji. Podczas gdy jedni zakładają bezbłędność zakupionych odbiorników GNSS, to drudzy uważają, że omawiany problem jest oczywisty i jasny dla każdego. Problem ten niestety nie omija najbardziej renomowanych firm i urządzeń. 5. Sekunda przestępna (leap second) Powodem wprowadzania dodatkowej sekundy przestępnej (leap second) jest obserwowane od lat spowalnianie ruchu obrotowego Ziemi. Korekta pozwala utrzymać relację między skalą UTC (opartą o atomową skalę czasu TAI), a obserwowanym WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP

119 czasem słonecznym (UT1). Ostatnia 37 sekunda przestępna dodana była o północy UTC 31 grudnia W Polsce był już Nowy Rok O decyzji dodania lub odjęcia sekundy przestępnej decyduje (i oznajmia o tym) z wielomiesięcznym wyprzedzęniem IERS (International Earth Rotation Service). Informacje publikowane są w formie piku biuletynu C 9. Istnieją dwa dozwolone scenariusze dodania lub odjęcia sekundy przestępnej: Scenariusz 1 30 czerwca godz. 23:59:60 UTC Scenariusz 2 31 grudnia godz. 23:59:60 UTC Formuła zależności skal UTC-TAI Rys. 22. Scenariusze zmian sekundy przestępnej oraz zależność TAI-UTC Istnieją też dwa zapasowe (3,4) nieużywane dotychczas scenariusze zmian z datami: 31 marzec i 30 wrzesień. Protokół dystrybucji PTP/IEEE1588 przekazuje siecią jedynie składniki skali UTC w postaci: czasu TAI oraz liczby sekund (#Leap-Seconds), które należy odjąć od TAI, aby otrzymać czas UTC po stronie klienta (slave PTP). Synchronizowany klient PTP sam scala otrzymane protokołem PTP/IEEE1588 dane wg formuły pokazanej na rys. 22, i tym samym przekazuje na stronę PTP-Slave pełną odpowiedzialność za prawidłowe obliczenie ostatecznego czasu UTC w systemie klienckim. Może się to odbywać na poziomie interfejsu sieciowego, aplikacji (APP) lub we wnętrzu jądra systemu operacyjnego. W każdym przypadku podejście takie wydaje się niebezpieczne i może prowadzić do powstawania sekundowych różnic czasu, wynikających ze zróżnicowanych metod wytracania sekundy przestępnej. Protokół PTP/IEEE1588 nie zapewnia też ochrony kryptograficznej przekazywanej siecią Ethernet informacji, co tworzy lukę bezpieczeństwa, powalającą na zmianę danych protokołu (np. parametru #Leap_Scond). Prawdopodobnie odporność na takie sytuacje nie jest brana pod uwagę w energetyce. Rys. 23. Dystrybucja czasu UTC w sieci Ethernet. Słabe punkty, w systemie dystrybucji czasu z wykorzystaniem protokołów NTP i PTP (punkt A i C). Brak autentykacji plików Biuletynu-C (punkt B) pozwala na manipulację ilością sekund przestępnych. Strona kliencka może produkować różniące się od siebie czasy UTC i UTC. 9 IERS Biuletyn-C: ftp://hpiers.obspm.fr/iers/bul/bulc/ 132 WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP....

120 Protokół NTP przekazuje gotowy do użycia czas UTC bez wyszczególniania składowych TAI i #Leap_Sconds, tak jak to robi PTP/IEEE1588. Protokół NTP anonsuje jedynie zmianę sekundy przestępnej, która ma nastąpić po to, aby przygotować system kliencki NTP do usunięcia lub wytracenia kolejnej nadmiarowej sekundy przestępnej. Zapowiedzi sekund przestępnych mogą być dostarczone zarówno za pośrednictwem systemów satelitarnych GNSS, i poprzez sieć Ethernet TCP/IP (Biuletyn-C), jak i pośrednio przez flagę zapowiedzi w protokółach NTP i PTP/IEEE1588. Jednak w każdym przypadku za obsługę sekundy przestępnej odpowiedzialna jest strona klienta i jego system operacyjny lub firmware urządzenia. Możliwe są następujące sposoby obsługi sekundy przestępnej: 1) Cofnięcie czasu systemu klienckiego o 1 sekundę na koniec sekundy przestępnej, a więc w nowej dobie UTC dwukrotnie wystąpi ta sama sekunda 00 zanim pojawi się sekunda 01, 2) Cofnięcie o 1 sekundę na początku sekundy przestępnej (podobnie jak w p.1 wyżej), ale powtórzona zostanie sekunda 59, zanim pojawi się nowa sekunda 00, 3) Zatrzymanie na 1 sekundę zegara klienckiego 4) Zatrzymanie zegara UTC przy jednoczesnym minimalnym zwiększaniu zawartości liczników i stempli czasu. To płynne wytracanie jednej sekundy nie wywołuje skoków czasu. Systemy IT w energetyce pochodzące z różnych dekad różnią się metodami obsługi sekundy przestępnej (punkty 1-4). Może to spowodować powstanie błędu 2 sekundy przedziałach od 12 godzin przed do 12 godzin po północy UTC podczas obsługi sekundy przestępnej. Brak kryptograficznego zabezpieczenia PKI pliku biuletynu C 12 wnosi ryzyko zamiany całego pliku wraz z danymi dotyczącymi liczby i harmonogramu zmian. Pozostawia to zasadniczą lukę w systemie bezpieczeństwa systemów IT wykorzystujących taki plik i może posłużyć do rozsynchronizowania całego systemu. Zawartość pliku jest wprawdzie zabezpieczona funkcją skrótu SHA, ale brak autentykacji PKI, np. w postaci cyfrowego podpisu kluczem prywatnym IERS, osłabia znacząco bezpieczeństwo synchronizacji. Z kolei brak uwierzytelnienia (authentication) protokołu PTP (IEEE1588) i fakt przekazywania protokołem informacji rozbitej na składowe TAI i #Leap-Sec, wywoła ten sam skutek: zmianę liczby sekund przestępnych. Z wymienionych wyżej powodów prawidłowa i bezkolizyjna dla cyber-bezpieczeństwa obsługa sekundy przestępnej (leap second) pozostaje jednym z najtrudniejszych wyzwań informatyki, w tej i prawdopodobnie następnej dekadzie. Dlatego ważne jest wprowadzenie niezbędnych regulacji prawnych normujących zasady obsługi tej sekundy w systemach IT. Obsłudze sekundy przestępnej towarzyszyć może też szereg efektów ubocznych. Niektóre prowadzić mogą do niedeterministycznego zachowania się kontrolerów, a nawet całych systemów w energetyce. Ilustruje to przypadek opisany jako: Z kolei, destabilizację częstotliwości dystrybuowanej energii spowodowaną błędną obsługą sekundy przestępnej opisuje link: 6. Destabilizacja systemu operacyjnego (firmwaru) z przetwarzania UTC na poziomie jądra OS Czytelny format reprezentacji czasu i daty, znany z wyświetlaczy (rys. 24 górna część) formatowany jest w wyższych warstwach systemu operacyjnego. WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP

121 Im bardziej zagłębiamy się w stronę jądra systemu (OS kernel), tym bardziej reprezentacja czasu przybiera kanoniczną postać unikalnego znacznika czasu reprezentowanego za pomocą liczby. Zmiana liczby odzwierciedla upływ czasu i za zmianę tę odpowiadają specjalne liczniki, które ściśle powiązane są z konkretną architekturą i sprzętem (systemów, kontrolerów PMU itp.). Rys. 24. Obsługa czasu we wnętrzu systemu operacyjnego. Cofnięcie zegara klienta wstecz (np. wstawienie sekundy przestępne replikuje zdarzenia, które nie powinny być wykonane dwukrotnie). Czas w postaci znaczników ma mniej czytelną postać, ale za to pozwala na reprezentację czasu z bardzo dużą rozdzielczością i precyzją (rys. 24 lewa kolumna). Zarządzanie procesami (współbieżność) i zadaniami (wielowątkowość) powiązane są ze znacznikami czasu. Podczas obsługi sekundy przestępnej, wskazanie obserwowane na wyświetlaczu jako 61 sekunda (rys. 24 górna środkowa kolumna na czerwono), we wnętrzu systemu operacyjnego OS obsługiwane jest inaczej. System po przeskalowaniu cofa się w czasie powoduje powtórne wykonanie pewnej ilości znaczników (rys. 24 prawa dolna część wykres). Może to spowodować niepożądane powtórne wykonanie czynności. W pewnych przypadkach jak np. w przypadku systemu Linux Redhat 10 może to zdestabilizować pracę całego systemu. Problem jest znacznie szerszy niż obsługa sekundy przestępnej. Dotyczy wszelkich przestawień zegara poza wywołaniem API. Szczególnie niebezpieczne jest cofanie czasu systemowego. Zwracamy na to uwagę, ponieważ wydaje się, że taka czynność jest naturalna w procesie synchronizacji. 7. Atak wprowadzający opóźnienia (Time Delay Attack) Firma Marvell 11 przedstawiła teoretyczny model ataku w sieci, polegającego na wprowadzeniu celowych opóźnień (rys. 25) pakietów synchronizacyjnych NTP i PTP na poziomie wędrówki round trip. Taki atak nie może być powstrzymany współczesnymi metodami ochrony bezpieczeństwa, ponieważ opóźnieniu podlegają nawet pakiety szyfrowane, a ich zawartość nie podlega żadnej modyfikacji. Prawdopodobnie jedyną skuteczną metodą przeciwdziałania może być w przyszłości kryptografia kwantowa całej infrastruktury sieci światłowodowej Tal Mizrahi Marvel WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP....

122 Rys. 25. Mallory opóźnia przekazywanie pakietów synchronizacyjnych NTP/PTP pomiędzy Bobem (slave) a Alice (master) UKRYTE SŁABE STRONY SYNCHRONIZACJI Wizje lokalne istniejących instalacji GPS odsłoniły wiele niedoskonałości. Instalowane na dachach blisko urządzeń elektrycznych, bez pełnego widoku nieba, często blisko siebie, zmontowane na liniach instalacji odgromowych, zbyt liczne grupy anten GNSS nie tylko zakłócają wzajemnie swoją pracę, ale stanowią łatwy cel zagłuszaczy sygnałów satelitarnych GNSS. Przeprowadzone audyty systemowe pokazały obraz instalacji nieodpornych na zaniki sygnałów GPS (brak holdover). Problem stanowi też brak stałego jednoczesnego nadzoru operatorskiego wielu odbiorników satelitarnych. Niedoszkolony w zakresie dozoru i obsługi odbiorników personel wymaga okresowych szkoleń, ale przede wszystkim brakuje wdrożonych procedur postępowania w przypadkach braku synchronizacji i utraty synchronizacji. Niezbędne jest natychmiastowe sprawdzenie aktualnie posiadanej instalacji. Rys. 26. Przykład wadliwej instalacji: odbiorniki zamontowane zbyt blisko siebie zakłócają się wzajemnie i dołączone są do instalacji odgromowych POPRAWA SYNCHRONIZACJI Aby zapewnić pewną synchronizację, potrzebne jest solidne, zaufane źródło czasu UTC i audytorski nadzór skuteczności synchronizacji po stronie aplikacji klienckich. WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP

123 Takie podejście będzie nabierało znaczenia w przyszłości w miarę zwiększania dokładności synchronizacji. Bardzo ważne jest zapewnienie większej liczby niezależnych od siebie źródeł wzorcowego UTC, z których system może sam wybrać najlepsze i odrzucić błędne źródła. Dlatego trzeba tworzyć odporne na zakłócenia systemy, oceniające jakość otrzymywanego wzorca czasu, pochodzącego jednocześnie z: GNSS, NMI i lokalnych oscylatorów (rys. 27). Dla nowego europejskiego systemu satelitarnego GALILEO pojawia się ważna misja wzmocnienia roli GNSS, którą dziś współtworzą wojskowe systemy satelitarne GPS, GLONASS, BEIDOU. Rys. 27. Model synchronizacji oparty o 3 grupy niezależnych dostawców czasu. Każda grupa posiada inną metodę dostawy czasu. Skutecznym, uzupełniającym dla GNSS i GALILEO źródłem UTC są narodowe instytuty metrologii (NMI). W Polsce rolę te pełni Główny Urząd Miar RP. Opublikowane w Dz.U 56/2004 (poz. 548) rozporządzenie Ministra Gospodarki określa sposoby dystrybucji wzorcowego czasu urzędowego UTC(PL), np. z użyciem serwerów NTP. Rys. 28. Model dystrybucji i audytu czasu w systemie dystrybucji energii, którym poszczególni operatorzy wzajemnie dają sobie zapas czasu UTC Skale państwowe, do których zalicza się UTC(PL) zapewniają dokładność lepszą od 100 ns. Nowe możliwości synchronizacji jakie daje światłowodowy transfer czasu z użyciem protokołów takich jak White Rabbit i PTPv3 profil High-Accuracy pozwala synchronizować z dokładnością pojedynczych nanosekund. Te nowej jakości narzędzia o ile zostaną wdrożone, zasadniczo przyczynią się do poprawy bezpieczeństwa nie tylko w energetyce. Zapewniają one stałe i znacznie precyzyjniejsze źródła czasu UTC, niż GPS (GNSS). Okazuje się, że operując precyzjami na poziomie ns uwidaczniają się różnice między całymi skalami państwowymi UTC(k). Czas UTC jest wyznaczany przez urzędy miar (NMI) retrospektywnie jako średnia ważona z 136 WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP....

124 poszczególnych wskazań zegarów atomowych. W efekcie żaden urząd nie zna aż z tak dużą dokładnością międzynarodowego czasu UTC i może on określić jedynie czas wg własnej skali narodowej UTC(k). Stąd połączenie światłowodowe urzędów metrologii NMI podobnie jak ich połączenie światłowodem z energetyką będzie odgrywać w przyszłości ważną rolę. Synchronizacja światłowodem nie zastąpi synchronizacji GNSS a jedynie ją rozszerzy o wzorce UTC dystrybuowane siecią. W przyszłości dystrybutorzy energii sami będą zapewne organizować się i tworzyć własne centra zapasowe dystrybucji czasu UTC. Centra takie powinny powstawać we współpracy z NMI (w Polsce GUM) i pozostawać pod ich merytorycznym nadzorem. Centra będą wyposażone w wysokiej jakości zegary atomowe i serwery NTP/PTP, zapewniające zgodność synchronizacji z krajowymi wzorcami UTC(PL). Centra będą mogły jednocześnie pobierać czas z GNSS i NMI (rys. 27 rys. 28) oraz udzielać sobie wsparcia zapewniając wzajemnie zapas wzorcowego czasu UTC wysokiej jakości. Pierwsze takie systemy już powstają na świecie. Zaproponowany przez Elpromę serwis DEMETRA TSI#2 jest początkiem nowej ery rozwiązań synchronizacji jakie wzmacniają bezpieczeństwo systemów w energetyce. Rys. 29. Infrastruktura Smart Grid może wywołać efekt domina innych awarii Synchronizacja powinna też stać się składowym elementem strategii bezpieczeństwa energetycznego, mimo że awarie blackout wydarzają się rzadko. Świadomość ryzyka skutecznego cyber-ataku na infrastrukturę synchronizacji, która i tak z natury nie jest wolna od błędów (opisuje to niniejszy artykuł) daje nowe spojrzenie na bezpieczeństwo w energetyczne. Ryzyko destabilizacji synchronizacji w energetyce rośnie wraz z ewolucją współczesnych systemów energetycznych do postaci Smart Grid - inteligentnej sieci elektroenergetycznej, w której istnieje dwukierunkowa komunikacja między wszystkimi uczestnikami rynku energii. Ma ona na celu dostarczanie nowych usług energetycznych i telekomunikacyjnych, zapewniając obniżenie kosztu utrzymania infrastruktury. Ma też sprzyjać rozwojowi szerokorozumianej energii przyjaznej środowisku. Smart Grid pozwala jednocześnie dołączać do sieci odnawialne źródła. Może ona jednak uruchomić efekt domina, jeżeli nie zapewni się jej solidnej synchronizacji (Robust Synchronization). Bibliografia [1] P. Tavella and DEMETRA consortium, The Horizon 2020 DEMETRA project: DEMonstrator of EGNSS services based on Time Reference Architecture, Metrology for Aerospace (MetroAeroSpace), 2015 IEEE Benevento 2015, [2] G.Daniluk (ELPROMA), T.Wlostowdki (CERN) White Rabbit The subnanosecond synchronization for embedded systems Precise Time and Time WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP

125 Interval Systems and Applications (PTTI), Long Beach, CA, USA, November White_Rabbit%29.pdf [3] A.E. Wallin, T. Fordell, J. Myyry, P.Koponen, M. Merimaa, Time Transfer in a Wide Area White Rabbit Network, 28th European Frequency and Time Forum, June 2014, Neuchâtel, Switzerland. [4] M. Lipinski, White Rabbit: a PTP application for robust sub-nanosecond synchronization, IEEE ISPCS, 35-30, [5] P. Defraigne, F. Roosbeek, A.Somerhousen Sertting Up a NTP Server at Royall Observatory of Belgium, PTTI 2004 [6] W. Aerts, G. Cerretto E. Cantoni and J.-M. Sleewaegen, Calibration of Galileo signals for time metrology, IEEE transactions on UFFC, 12/ (12): [7] P. Defraigne et al, "Advances on the use of Galileo signals in time metrology: calibrated time transfer and estimation of UTC and GGTO using a combined commercial GPSGalileo receiver", in Proc. of the Precise Time and Time Interval Systems and Applications (PTTI), Bellevue, WA, USA, 3-5 December, [8] P. Defraigne, W. Aerts, E. Pottiaux, Monitoring of UTC(k) s using PPP and IGS real-time products, accepted in GPS solutions,19 (1), p , doi : /s [9] P.Waller, F.Gonzalez, S.Binda, I.Sesia, I.Hidalgo, G.Tobias, P.Tavella, The Inorbit Performances of GIOVE Clocks, IEEE Transaction on Ultrasonics, Ferroelectrics, and Frequency Control, Volume 57, issue 3, March 2010, pp [10] L. Galleani, P. Tavella, Detection and identification of atomic clock anomalies, Metrologia, Vol. 45 Issue: 6, Pages: S127-S133, December [11] I. Sesia, L. Galleani, P. Tavella, Application of the Dynamic Allan Variance for the Characterization of Space Clock Behavior, IEEE Transactions on Aerospace and Electronic Systems, Volume 47, issue 2, April 2011, pp [12] Network Time Foundation [13] Network Time Protocol (NTP) site [14] Precision Time Protocol sites: PTPd Linux PTP Project [15] SyncLab RADclock [16] P.Tavella I. Sesia, G. Cerretto, G. Signorile, D. Calonico, R. Costa, C. Clivati, E. Cantoni, C. De Stefano, M. Frittelli, V. Formichella A. Abadessa, A. Cernigliaro, F. Fiasca, A.Perucca, S. Mantero, T. Widomski, J. Kaczmarek, J. Uzycki, K. Borgulski, P. Olbrysz, J. Kowalski, P. Cerabolini, L. Rotiroti, E. Biserni, E. Zarroli, V. Leone M.T. Veiga, T. Suárez, J.Diaz, P. Defraigne, N. Ozdemir, Q. Blaire, M. Gandara, V. Hamoniaux E. Varriale, Q. Morante V. Dhiri, E. Giulianini, M.Mangiantini, A.E. Wallin, L. Galleani D. Hindley European Project DEMETRA: Demonstrating Time Dissemination Services, PTTI 2016 [17] Elproma (CLEPSYDRA) Time Server site: [18] European Securities and Markets Authority (ESMA), MiFID II regulations [19] Spanner: Googles s Globally-Distributed Database nerosdi2012.pdf [20] D. Mills Computer Network Time Synchronization: The Network Time Protocol on Earth and in Space, Second Edition 2nd Edition (CRC Press) [21] Jean-Loup Ferrant, Mike Gilson, Sebastien Jobert, Michael Mayer, Laurent Montini, Michel Ouellette, Silvana Rodrigues, Stefano Ruffini Synchronous 138 WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP....

126 Ethernet and IEEE 1588 in Telecoms: Next Generation Synchronization Networks (Willey) [22] Peter Rybarczyk Expert Network Time Protocol (APress) [23] David Deeths, Glenn Brunette Using NTP to Control and Synchronize System Clocks (SUM Press) [24] Mills, D.L. Public key cryptography for the Network Time Protocol. Electrical Engineering Report , University of Delaware, May pp. [25] Mills, D.L. Clock discipline algorithms for the Network Time Protocol Version 4. Electrical Engineering Report , University of Delaware, March 1997, 35 pp. [26] Mills, D.L., and P.-H. Kamp. The nanokernel. Proc. Precision Time and Time Interval (PTTI) Applications and Planning Meeting (Reston, VA, November 2000). [27] Mills, D.L., J. Levine, R. Schmidt and D. Plonka. Coping with overload on the Network Time Protocol public servers. Proc. Precision Time and Time Interval (PTTI) Applications and Planning Meeting (Washington, DC, December 2004), [28] Mills, D.L. Improved algorithms for synchronizing computer network clocks. IEEE/ACM Trans. on Networks 3, 3 (June 1995), Mills, D.L. Precision synchronization of computer network clocks. ACM Computer Communication Review 24, 2 (April 1994) IEEE STANDARDS (Power System Applications) [29] IEEE C (2011) page 18 [30] IEEE C (2011) IEEE C a (2014) [31] P. Tavella, I. Sesia, G. Cerretto, G. Signorile, D. Calonico, E. Cantoni, C. De Stefano, V. Formichella, R. Costa, A. Cernigliaro, F. Fiasca, A.Perucca, A. Samperi, P. Defraigne, N. Ozdemir, M. Gandara, P. L. Puech, V. Hamoniaux, E. Varriale, Q. Morante, T. Widomski, J.Uzycki, K.Borgulski, P.Olbrysz, J.Kowalski, P. Cerabolini, L. Rotiroti, A. Simonetti, A. Colombo, V. Dhiri, E. Giulianini, M.T. Veiga, T. Suárez, M.Mangiantini A.E. Wallin, L. Galleani, D. Hindley, The Horizon 2020 DEMETRA project: DEMonstrator of EGNSS services based on Time Reference Architecture, presented at IEEE International Workshop on Metrology for Aerospace, June 2015, Benevento, Italy and available on IEEExplore. [32] P. Tavella at All DEMETRA consortium formed by Aizoon, ANTARES, CNES, Deimos, ELPROMA, INRIM, Metec, NPL, ORB, Politecnico of Torino, Thales Alenia Space, UFE, Vega UK, and VTT, The European project DEMETRA: demonstrating time dissemination services, presented at ION Precise Time and Time Interval Meeting Jan [33] T. Widomski, J. Uzycki, K. Borgulski, J. Kowalski, R. Bender, P. Olbrysz, Trusted Time Distribution with Auditing and Verification facilities Project TSI#2, submitted to Precise Time And Time Interval Systems And Applications Meeting January 2016, Monterey, California [34] P. Tavella at All DEMETRA consortium formed by Aizoon, ANTARES, Deimos, ELPROMA, INRIM, Metec, NPL, ORB, Politecnico of Torino, Thales Alenia Space, UFE, Vega UK, and VTT, "Experimental Time Dissemination Services Based on European GNSS Signals: the H2020 DEMETRA Project, paper presented at The 30th European Frequency and Time Forum, April [35] I. Sesia, P. Tavella, G. Signorile, A. Cernigliaro, F. Fiasca, P. Defraigne, L. Galleani, First steps towards a Time Integrity Service for EGNSS systems, in the DEMETRA project ", poster presented at the 30th European Frequency and Time Forum, April [36] P. Tavella at All DEMETRA consortium formed by Aizoon, ANTARES, Deimos, ELPROMA, INRIM, Metec, NPL, ORB, Politecnico of Torino, Thales Alenia Space, UFE, Vega UK, and VTT, Time Dissemination Services: The WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP

127 Experimental Results of the European H2020 DEMETRA Project, paper presented at the IEEE International Frequency Control Symposium, May 2016, New Orleans (Louisiana). [37] J. Delporte, D. Valat, T. Junique, FX Marmet, Progress on absolute calibrations of GNSS reception chains at CNES,, paper presented at the IEEE International Frequency Control Symposium, May 2016, New Orleans (Louisiana). [38] DEMETRA Consortium, The European Project DEMETRA, Timing services based on European GNSS: First experimental results, presented at IEEE International Workshop on Metrology for Aerospace, June 2016, Florence, Italy. [39] DEMETRA Consortium, DEMETRA a time service demonstrator,presentation presented at International Timing & Sync Forum, Prague, 1-3 November [40] Pascale Defraigne, ORB On behalf of the DEMETRA consortium "Demonstrator of Time Services based on European GNSS Signals: The H2020 DEMETRA Project," paper presented at ION PTTI 2017 Conference, January 31 - February 2, 2017, Monterey, California. [41] E.Varriale, Q. Morante, Thales Alenia Space Italia S.p.A, Synchronet service demonstration results in demetra h2020 project: a scalable high performances synchronisation solution, paper presented at ION PTTI 2017 Conference, January 31 - February 2, 2017, at the Hyatt Regency Monterey, Monterey, California. [42] Tavella, Voccaro, Widomski, Security Aspects Related To Synchronization At Power Gird DG-Energy, EC Brussel Security [43] T.Widomski Robust Synchronization, Trusted Time Distribution With Audit And Verification Facilities ESMA MiFID London/UK 28th of Feb WADY SYNCHRONIZACJI OPARTEJ O ODBIORNIKI GNSS I SIEĆ ETHERNET NTP/PTP....

128 GŁÓWNE FILARY ARCHITEKTURY BEZPIECZEŃSTWA W KONTEKŚCIE AKTUALNYCH ZAGROŻEŃ Kamil Kowalczuk PwC Advisory spółka z ograniczoną odpowiedzialnością sp. k. (dawniej PwC Polska Sp. z o.o.) GŁÓWNE FILARY ARCHITEKTURY BEZPIECZEŃSTWA W KONTEKŚCIE AKTUALNYCH ZAGROŻEŃ 141

129 142 GŁÓWNE FILARY ARCHITEKTURY BEZPIECZEŃSTWA W KONTEKŚCIE AKTUALNYCH ZAGROŻEŃ

130 GŁÓWNE FILARY ARCHITEKTURY BEZPIECZEŃSTWA W KONTEKŚCIE AKTUALNYCH ZAGROŻEŃ 143

138 WSZYSTKO CO CHCIELIBYŚCIE WIEDZIEĆ O PAKIETACH, A BOICIE SIĘ ZAPYTAĆ Maciej Kulesza, Łukasz Zawadowski (Mediarecovery) Prezentacja odpowie na dwa pozornie proste pytania: Czym są pakiety sieciowe, a co na pewno nimi nie jest oraz Jaka jest różnica między ruchem sieciowym a przepływami sieciowymi (netflow ami). W trakcie wystąpienia pokażemy, jaki jest potencjał pakietów sieciowych w procesach threat detection co możemy wykryć tylko i wyłącznie analizując ruch sieciowy. Skupimy się głównie na praktycznych przypadkach użycia, aby m.in. pokazać proces inwestygacji, odtworzyć atak, przeanalizować kampanię malwarową/phishingową, dokonać rekonstrukcji zdarzeń web, mail. WSZYSTKO CO CHCIELIBYŚCIE WIEDZIEĆ O PAKIETACH, A BOICIE SIĘ ZAPYTAĆ 151

139 152 WSZYSTKO CO CHCIELIBYŚCIE WIEDZIEĆ O PAKIETACH, A BOICIE SIĘ ZAPYTAĆ

140 AUTOMATYZACJA ZARZĄDZANIA BEZPIECZEŃSTWEM SCADA/ICS Michał Horubała (esecure) AUTOMATYZACJA ZARZĄDZANIA BEZPIECZEŃSTWEM SCADA/ICS 153

141 154 AUTOMATYZACJA ZARZĄDZANIA BEZPIECZEŃSTWEM SCADA/ICS

142 AUTOMATYZACJA ZARZĄDZANIA BEZPIECZEŃSTWEM SCADA/ICS 155

154 FOG COMPUTING ODPOWIEDZIĄ NA WYZWANIA CYFRYZACJI ENERGETYKI Kamil Kozak (Fogger Sp. z o.o., igrid Technology Sp. z o.o.) Ryszard Bednarz (igrid Technology Sp. z o.o.) Wstęp Internet Rzeczy, smart grid, cloud czy cyberbezpieczeństwo to pojęcia, które w ostatnim czasie wróciły z większą intensywnością do debaty, z jednej strony, o potrzebie szerszego otwarcia energetyki na innowacje z obszaru ICT i z drugiej strony, o potrzebie zmierzenia się z zagrożeniami i barierami w ich rozpowszechnieniu. Czy zatem to otwarcie w najbliższym czasie jest możliwe. IV rewolucja przemysłowa jest faktem a jej kluczowym obszarem zmian będzie energetyka. Wprowadzenie bezpiecznych rozwiązań w tym obszarze zadecyduje o skali i tempie przemian. Niewątpliwie oprócz strategicznej dyskusji nad skalą i głębokością zmian istotne będzie przeprowadzenie szeregu testów pilotażowych, pozwalających na zmianę obecnego status quo warstwy ICT stosowanej w sektorze energetycznym. Zważywszy na oczekiwaną skalę przemian i wyzwań stojących przed IV rewolucją przemysłową, uwzględniając jednocześnie zagrożenia i wymóg wysokiego poziomu cyberbezpieczeństwa związanego z pracą na infrastrukturze krytycznej, można ze stu procentową pewnością stwierdzić, że obecnie dostępne na rynku rozwiązania są niewystarczające! Rozpędzająca się IV rewolucja przemysłowa to przede wszystkim wykładniczy wzrost ilości przetwarzanych i analizowanych danych, dzięki którym jesteśmy w stanie podejmować szybsze i bardziej racjonalne decyzje biznesowe. To dane są kluczowym elementem nowoczesnych systemów klasy Smart Grid i to właśnie procedury związane z ich przetwarzaniem, magazynowaniem, transferowaniem i bezpieczeństwem powinny być podstawowym wyznacznikiem wspomagającym podjęcie decyzji kierunkowych o zastosowaniu w energetyce konkretnej technologii czy modelu architektonicznego. Waga decyzji kierunkowej wskazującej technologię bazową dla cyfryzacji tego sektora jest ogromna. W jej wyniku przez wiele lat nie będzie możliwa zmiana przyjętego rozwiązania i wprowadzenia innego. Będzie to miało kluczowy wpływ na tempo przemian, stymulację lokalnego rynku a przede wszystkim wydajność i bezpieczeństwo informatycznej infrastruktury krytycznej. Podjęcie właściwych decyzji kierunkowych należy zatem poprzedzić dobrym rozpoznaniem i zdefiniowaniem ich konsekwencji oraz zagrożeń jakie niosą ze sobą wybrana architektura, wykorzystywane elementy oprogramowania oraz aspekty prawne z nimi związane. Należy odpowiedzieć na pytania jakie warstwy systemu Smart Grid są kluczowe, gdzie powinny być geograficznie rozlokowane i jak zabezpieczone. W artykule zaprezentowano architekturę, kluczowe cechy oraz funkcjonalności jakie posiada warstwa infrastrukturalna fog computingu, w oparciu o którą można skutecznie przeprowadzić predykowany proces cyfryzacji sektora energetycznego. Podstawowym modelem architektonicznym, który spełnia przyszłe i specyficzne wymagania sektora energetycznego, jest rozproszona mgła obliczeniowa (ang. Fog Computing). Architektura ta została opisana w postaci modelu koncepcyjnego przez Amerykański Instytut Standardów i Technologii (NIST National Institute of Standards and Technology) w Marcu 2018 roku i stanowi punkt wyjścia do stworzenia nowego paradygmatu budowy systemów informatycznych dla infrastruktury krytycznej. FOG COMPUTING ODPOWIEDZIĄ NA WYZWANIA CYFRYZACJI ENERGETYKI 167

155 Fundamenty Infrastruktura energetyczna charakteryzuje się dużym geograficznym rozproszeniem i wysokim stopniem heterogeniczności - Rys. 1. Jej elementy są rozwijane i modernizowane od dziesiątek lat. Wiele elementów już od dawna jest monitorowana a nawet zdalnie kontrolowana. Wiedza zdobyta w tym wieloletnim procesie jest doskonałą podstawą do zdefiniowania założeń nowoczesnego systemu Smart Grid na miarę rosnących potrzeb rynku. Rys. 1. Rozproszona infrastruktura Obecnie istniejące rozwiązania kontrolno-pomiarowe i automatyka mają charakter lokalny i silosowy. Realizują konkretne zadanie na ściśle określonym terenie geograficznym. W większości przypadków składają się w warstwy kontrolno-pomiarowej (sensorycznej), oraz lokalnego systemu agregacji danych klasy SCADA. Rozwiązanie to jest bardzo naturalne i wynika z obecnie panującego paradygmatu budowy systemów informatycznych. Silosowość oznacza, że elementy systemów dedykowane są do realizacji jednego konkretnego zadania i nie istnieje pojęcie współdzielenia zasobów pomiędzy różnymi interesariuszami. Co w rzeczywistości skutkuje niepotrzebnym zduplikowaniem elementów infrastruktury. Przykładem może być chęć wykorzystania zbioru danych pomiarowych przez dwie rozłączne jednostki organizacyjne. Co przy obecnej architekturze i obostrzeniach związanych z bezpieczeństwem jest trudne w realizacji. Rys. 2. System zdecentralizowany Patrząc globalnie, mamy zdecentralizowaną infrastrukturę informatyczną Rys. 2 z wieloma ośrodkami decyzyjnymi które w żaden sposób nie są ze sobą połączone ani skorelowane. Rozwiązanie to jest wystarczające, dopóki nie trzeba przeprowadzić analizy lub podjąć decyzji biznesowej w oparciu o zbiory danych pochodzących z dwóch lub więcej rejonów. 168 FOG COMPUTING ODPOWIEDZIĄ NA WYZWANIA CYFRYZACJI ENERGETYKI

156 Należy się jednak zastanowić, dlaczego taka architektura została przyjęta w minionych latach. Powód jest dość prosty, biorąc pod uwagę, że systemy te pełnią rolę kontrolną wymagane były: niski czas reakcji na zdarzenia oraz autonomiczność lokalna. Oba te założenia są fundamentalnymi cechami pracy systemu dla infrastruktury krytycznej. Z punktu widzenia bezpieczeństwa operacyjnego kluczowe jest założenie o autonomiczności lokalnej. Założenie to oznacza, że systemy muszą działać współbieżnie i niezależnie. Innymi słowy, jeżeli jeden system przestaje działać nie ma to negatywnego wpływu na pozostałe systemy. Niski czas reakcji jest kluczowy, ponieważ pozwala na podjęcie decyzji biznesowej lub operacyjnej w krótkim czasie. Co jeszcze bardziej uzasadnia i potwierdza słuszność zastosowanej architektury. Pojawia się zatem pytanie, dlaczego mamy coś zmieniać w warstwie infrastrukturalnej i czy aktualny stan jest dobry i wystarczający? Tło biznesowe i historyczne Odpowiedzi należy szukać w sferze trendów oraz cykli rynkowych a wypracowane stanowisko poprzeć analizą aktualnych rozwiązań, Powszechny dostęp do Internetu, taniejąca technologia oraz postępująca automatyzacja to trendy mające znaczący wpływ na rozwój młodych pokoleń. Obsługa komputera i systemów informatycznych stają się podstawą wykształcenia przy równocześnie malejącej ilość specjalistów np. energetyków. Trend ten nieuchronnie wymusi przeprowadzenie cyfryzacji sektorów przemysłowych na skalę jakiej do tej pory nie widzieliśmy i to nie z powodu chęci postępu tylko z powodu potrzeby związanej z koniecznością poprawy jakości świadczonych usług przy malejących zasobach eksperckich. Oznacza to, że wspomagające systemy informatyczne staną się podstawowym narzędziem pracy dla młodego pokolenia i już dzisiaj istnieje potrzeba podjęcia decyzji kierunkowych jak się do tego przygotować. IV rewolucja przemysłowa to miliony podłączonych urządzeń, komputerów i smartfonów oraz przede wszystkim maszyn i urządzeń sensorycznych emitujących zbiory danych w oparciu, o które podejmowane będą decyzje. Rolą systemów informatycznych będzie wyłuskanie istotnych informacji w tempie pozwalającym na podjęcie decyzji operacyjnych a nie przeprowadzenia analiz historycznych. Rola pracowników następnego pokolenia zostanie sprowadzona do roli operatora systemu informatycznego i decydenta zatwierdzającego scenariusze wypracowane przez systemy informatyczne. Tylko dzięki takiemu działaniu możliwe będzie utrzymanie wzrostu poziomu świadczenia usług np. w sektorze energetycznym. Okazuje się, że nie tylko koniunktura w biznesie zmienia się w sposób cykliczny. Architektura oprogramowania i infrastruktura również podążają za zmianami wywołanymi postępem technologicznym i kosztami. Aktualna zdecentralizowana infrastruktura w energetyce jest pozostałością II fazy rozwoju systemów informatycznych w której pojęcie chmur obliczeniowych i centrów danych nie istniało. Poniższy rysunek (Rys. 3) przedstawia sinusoidalną zmianę trendów w architekturze systemów informatycznych z modelu scentralizowanego na rozproszony. Rys. 3. Architektura systemów informatycznych FOG COMPUTING ODPOWIEDZIĄ NA WYZWANIA CYFRYZACJI ENERGETYKI 169

157 I - pierwszy faza rozwoju systemów informatycznych w której komputery zajmowały całe pomieszczenia a centralizacja była jedynym możliwym rozwiązaniem. II - faza przenośnych jednostek obliczeniowych, powstanie sieci ethernet, zupełnie rozproszony model systemów informatycznych III - faza chmur obliczeniowych, ogromnych centrów danych i scentralizowanych systemów informatycznych IV - decentralizacja w celu usprawnienia prędkości obliczeń i odciążenia łączy komunikacyjnych Faza IV rozwoju systemów informatycznych to także kluczowy element IV rewolucji przemysłowej. Jeżeli wiemy, że nastąpi zmiana trendu w architekturze należy odpowiedzieć na pytanie jak powinien wyglądać docelowy system informatyczny i jakie stoją przed nim wyzwania. Status quo Obserwując trendy i cykle rynkowe możemy spodziewać się gwałtownego rozwoju i przyrostu warstwy sensorycznej a w ślad za tym ilości magazynowanych danych oraz zapotrzebowania na moc obliczeniową zdolną do przetwarzania tych zbiorów. Aktualna architektura zdecentralizowana (Rys. 2) w obliczu nadchodzącej skali problemu stanie się wysoce niewystarczalna i dalsze brnięcie w jej rozwój spowoduje wykładniczy wzrost problemów związanych z utrzymaniem integralności danych a przede wszystkim z bezpieczeństwem. Posiadanie wielu rozłącznych systemów wymusza prowadzenie rozłącznych polityk bezpieczeństwa dla każdego z systemów co zwiększa ryzyko wystąpienia niepożądanych zdarzeń. Wprowadzenie jednostek nadrzędnych w postaci centralnych operatorów (Rys. 4) zarówno informacji pomiarowej jak i utrzymania jest kierunkiem tymczasowo wystarczającym który w długim horyzoncie czasu obarczony jest sporym ryzykiem zahamowania rozwoju rynku. Rys. 4. Zintegrowany system zdecentralizowany Wprowadzenie centralnego operatora i spójnego magazynu danych rozwiązuje przytoczony wcześniej problem interoperacyjności i pracy na zbiorach danych pochodzących z różnych regionów. Nie rozwiązuje jednak problemu rozłącznych polityk bezpieczeństwa związanych z utrzymaniem całego systemu. Obarczony jest także ryzkiem wydajnościowym. Na chwilę obecną na terenie kraju nie istnieje centrum obliczeniowe które byłoby w stanie zebrać informacje pomiarowe z całego sektora 170 FOG COMPUTING ODPOWIEDZIĄ NA WYZWANIA CYFRYZACJI ENERGETYKI

158 energetycznego dla predykowanej ilości sensorów i systemów pomiarowych nawet dla procesów wolnozmiennych. Są tworzone także scenariusze wprowadzenia systemu scentralizowanego w oparciu o budowę i utrzymanie własnej infrastruktury twardej w postaci dużych serwerowni lub w oparciu o wdrożenie chmur obliczeniowych. Istnieje mocne lobby promujące rozwiązania scentralizowane dużych korporacji międzynarodowych usilnie starających się założyć vendor locking w nowo kształtującym się rynku Smart Grid. Należy odważnie odpowiedzieć na pytanie czy systemy te spełniają fundamentalne potrzeby i założenia jakie energetyka stawia sobie w horyzoncie najbliższych lat oraz jak wpisują się w politykę bezpieczeństwa publicznego kraju, jeżeli uznamy sektor energetyczny za sektor pod szczególnym nadzorem. Można przyjąć założenie, że duże centra obliczeniowe mogą do pewnego momentu okazać się wystarczające pod kontem wydajnościowym w kontekście nowej fali cyfryzacji. Jednak przy obecnym poziomie wydajności infrastruktury komunikacyjnej nie będą w stanie przeprowadzić szybkich analiz z powodu niemożliwości dostarczenia danych z dużej ilości sensorów w wymaganym z punktu widzenia analizy czasie. Skutkować to będzie niemożnością realizacji wspomnianego wcześniej wymagania, że nowoczesny system Smart Grid powinien wspierać proces operacyjny a nie tylko analityczny wykonywany po fakcie. Rys. 5. System scentralizowany Innym ważnym aspektem jest bezpieczeństwo danych, które w przypadku składowania danych na serwerach poza granicami budzi spore wątpliwości. Z kolei podjęcie decyzji o budowie lokalnych centrów danych na terenie kraju wymusi budowę także systemów redundantnych przy wątpliwych do uzasadnienia kosztach takich przedsięwzięć. Wprowadzenie systemu centralnego spowoduje, że warunek autonomiczności lokalnej nie będzie spełniony. Będzie trzeba wprowadzić specjalne procedury postępowania w przypadku zniszczenia lub awarii centralnego węzła, co rodzi szereg dodatkowych problemów którymi nie powinien być obarczony nowoczesny system informatyczny wspierający pracę całego sektora. Obie przytoczone architektury zdecentralizowana i scentralizowana nie spełnia fundamentalnych założeń bezpieczeństwa, skalowalności i interoperacyjności jakie powinna posiadać nowoczesna infrastruktura klasy Smart Grid w dobie IV rewolucji przemysłowej. Z tego właśnie powodu na rynku od wielu miesięcy toczą się debaty na temat przyszłości systemów rozproszonych. Jesteśmy świadkami burzliwego procesu adopcji systemów rozproszonych opartych o blockchain które szturmem zdobywają rynek transakcyjny i są realnym zagrożeniem dla wieloletniego status quo FOG COMPUTING ODPOWIEDZIĄ NA WYZWANIA CYFRYZACJI ENERGETYKI 171

159 na nim. Rok 2017 przyniósł narodziny rynku rozproszonego magazynowania danych w oparciu o blockchain, który powinien doprowadzić do całkowitego zniesienia monopolu dużych centrów danych na rzecz małych lokalnych dostawców infrastruktury. Dostawcy ci staną do otwartej rynkowej walki konkurencyjnej o lokalnych klientów będąc jednocześnie uczestnikami systemu o globalnym zasięgu a ich poważnym atutem będzie atrakcyjna dostępność zasobów oraz szybki dostęp do danych dla lokalnych użytkowników. Dokładnie w ten sam trend wpisuje się koncepcja zwana Mgłą obliczeniową (ang Fog Computing) która ma znieść potrzebę budowy rozległych centrów obliczeniowych na rzecz rozproszonych dostawców infrastruktury. Fog Computing jako realna alternatywa Model koncepcyjny Mgły Obliczeniowejł opisany przez Amerykański Instytut Standardów i Technologii NIST definiuje nowy model architektoniczny w którym kluczową rolę odgrywa rozproszona warstwa infrastrukturalna pracująca na lokalnych centrach danych i komputerach brzegowych. Jej zadaniem jest agregacja danych i szybkie przetwarzanie z wykorzystaniem dostępnych dynamicznie alokowanych zasobów. Koncepcja Mgły obliczeniowej rozwiązuje opisywane wyżej problemy i idealnie odpowiada na wymagania i kierunki rozwoju dla systemów Smart Grid. Wprowadza ujednolicony mechanizm zarzadzania infrastrukturą niwelując problemy związane z utrzymaniem zdefiniowane na poziomie systemów zdecentralizowanych. Jednocześnie nie posiada jednostki centralnej pełniącej rolę kontrolera dzięki czemu spełnia założenia autonomiczności lokalnej. Opisana przez NIST koncepcja Fog Computingu dokładnie nakreśla kierunek, w którym podąży rynek i jakim oczekiwaniom mają sprostać systemy IT w dobie totalnej cyfryzacji. Rys. 6. Mgła obliczeniowa Smart Grid to wyzwanie technologiczne, którego celem jest połączenie w spójnie działający system informatyczny całej infrastruktury energetycznej zarówno tej nowoczesnej, zautomatyzowanej jak też starszej w celu optymalizacji produkcji i dystrybucji energii na danym obszarze geograficznym. igrid Technology i Fogger podjęły się realizacji tego ambitnego zadania poprzez wprowadzenie do infrastruktury dodatkowej rozproszonej warstwy obliczeniowej spełniającej wymagania NIST, na poziomie której jest prowadzona integracja całej infrastruktury. 172 FOG COMPUTING ODPOWIEDZIĄ NA WYZWANIA CYFRYZACJI ENERGETYKI

160 Dlaczego system Fogger jest przełomowy dla Industry 4.0? Wynika to już z jego podstawowych funkcjonalności, z których najważniejsze to: Świadomość lokalizacji i niskie opóźnienie Wezły mgły obliczeniowej należą do rozległej sieci klasy p2p w której potrafią zlokalizować najbliższe zasoby obliczeniowe i magazyny danych. Pod pojęciem najbliższe rozumiemy takie z którymi mają najmniejsze opóźnienie komunikacyjne. Przy jednoczesnym wprowadzeniu dynamicznej alokacji zasobów i bezstanowych obliczeń wykonywanych na żądanie Mgła obliczeniowa pozwoli przetworzyć dane dużo szybciej niż obecne systemu chmurowe. Lokalna alokacja zasobów skutkuje drastycznym obniżeniem kosztów związanych z transmisją danych i odciąża łącza komunikacyjne. Siec p2p Sieci rozproszone to przede wszystkim inny model komunikacji, oparty o połączenia peerowe w których węzły mogą łączyć się z wieloma innymi węzłami w sieci i nawiązywać między sobą komunikację nawet z zastosowaniem innych węzłów jako pośredników, jeżeli nie są w stanie nawiązać bezpośredniego połączenia. Fogger implementuje szereg funkcjonalności umożliwiających zestawianie pewnych sieci rozproszonych działających nawet bez dostępu do Internetu. Adresowanie danych Dostępne systemy chmurowe i większość systemów informatycznych pracują z wykorzystaniem powszechnie znanych protokołów internetowych których podstawą jest adresacja IP. Aby odczytać lub zapisać jakiś zbiór danych musimy znać adres serwera, na którym chcemy przeprowadzić tą operację. Fogger natomiast implementuje wzorzec adresacji danych, w którym każdy zbiór danych posiada unikatowy identyfikator, przy pomocy którego odpytujemy całą sieć i nie potrzebujemy wiedzy jaki węzeł dany zbiór posiada. Jeżeli wprowadzimy mechanizmy redundancji kopiując wybrane zbiory na kilka węzłów to w momencie ich odczytywania będziemy mogli je automatycznie odebrać z kilku źródeł. Podejście to pozwala na wprowadzenie opisywanej wcześniej autonomiczności lokalnej w której system dział poprawnie nawet bez dostępu do Internetu a dane są ciągle dostępne. Dynamiczna alokacja zasobów Podstawowym wyzwaniem stawianym przed mgłą obliczeniową jest szybkie dopasowywanie się do aktualnych wymagań obliczeniowych i zwalnianie zasobów, gdy nie są już potrzebne. Fogger implementuje wzorzec Serverless computing, w którym algorytmom obliczeniowym przydzielane są zasoby w najbliższej wolnej serwerowni i w momencie kiedy są potrzebne. Zarządzanie infrastrukturą Rozległa infrastruktura o tysiącach węzłów w różnych lokalizacjach może być ciężka w utrzymaniu bez odpowiednich narzędzi wspierających ten proces. Fogger implementuje koncepcję prywatnego Blockchaina służącego jako rozproszony mechanizm kontroli i zarządzania Mgłą obliczeniową. To właśnie dzięki niemu bez wprowadzania jednostki centralnej można w sposób pewny kontrolować wszystkie zasoby. Agnostycyzm sprzętowy Dobrze zaprojektowana mgła obliczeniowa powinna umożliwiać wprowadzenie węzłów sprzętowych dowolnego producenta bez względu na ich moc obliczeniową czy architekturę sprzętową. Fogger spełnia te wymagania. FOG COMPUTING ODPOWIEDZIĄ NA WYZWANIA CYFRYZACJI ENERGETYKI 173

161 Wyżej wymienione funkcjonalności to tylko niektóre z kluczowych jakie powinna mieć dobrze zaprojektowana mgła obliczeniowa. Wprowadzenie do energetyki takiego spójnego środowiska umożliwi wybudowanie skalowalnego systemu informatycznego i infrastruktury niezależnej od zewnętrznych dostawców. Istniejące na rynku rozwiązania chmurowe powinny być wykorzystywane jako dodatkowe zbiorniki danych i jednostki obliczeniowe nie mające krytycznego znaczenia dla stabilności i bezpieczeństwa systemu jako całości. Podsumowanie W artykule zaprezentowano rewolucyjne podejście do budowy infrastruktury informatycznej dla sektora krytycznego jakim jest energetyka, w oparciu o ideę Fog Computingu. Manifest Fog Computing umożliwi energetyce wiarygodnie i bezpiecznie magazynować dane pomiarowe na dużą skalę. Żaden nawet najlepiej przemyślany algorytm teoretyczny nie wytrzyma zderzenia z szybką analizą realnych danych, będzie przy tym wymagał wielokrotnych iteracyjnych poprawek o wątpliwym efekcie końcowym. Nie gromadząc danych już dzisiaj ryzykujemy skazaniem się na status cyfrowego III świata w nieodległej przyszłości, ale jest też jeszcze możliwe, że staniemy się jako kraj jednym z liderów cyfrowej rewolucji, której energetyka jest podstawą. 174 FOG COMPUTING ODPOWIEDZIĄ NA WYZWANIA CYFRYZACJI ENERGETYKI

162 ZASTOSOWANIE NOWYCH TECHNOLOGII KOMUNIKACJI RADIOWEJ LORA, SIGFOX, NB IOT, LTE CAT. M1 DO ODCZYTU LICZNIKÓW ENERGII ELEKTRYCZNEJ PREZENTACJA PRAC B+R Marcin Pastuszka (TAURON Dystrybucja SA) Jarosław Sokół (TAURON Dystrybucja Pomiary Sp. z o.o.) 1. Zastosowanie nowych technologii komunikacji radiowej LoRa, SigFox, NB IoT do odczytu liczników energii elektrycznej W spółce Tauron Dystrybucja Pomiary we współpracy z Tauron Dystrybucja S.A. oraz podwykonawcami: Politechniką Opolską oraz Firmą Integrated Solutions został zrealizowany projekt badawczo rozwojowy B+R pod nazwą: Realizacja prac rozwojowych polegających na analizie technologii odczytu liczników energii elektrycznej z wykorzystaniem nowych technologii transmisji danych w zakresie optymalizacji kosztów odczytu danych pomiarowych liczników komunalnych energii elektrycznej. Przedmiotem badań były trzy technologie komunikacyjne, LoRA, SigFox oraz NarrowBand IoT. Są to nowe technologie, obecnie stosowane w obszarze Internetu Rzeczy IoT (ang. Internet of Things). Projekt miał na celu sprawdzenie możliwości wykorzystania tych technologii do zdalnego odczytu liczników energii elektrycznej. W pierwszym etapie projektu B+R powstało opracowanie, w którym porównano trzy technologie radiowe transmisji danych. Porównanie miało na celu określenie perspektyw rozwoju prezentowanych technologii, zestawienie ich podstawowych parametrów technicznych oraz przeanalizowanie uwarunkowań umożliwiających ich wykorzystanie do zdalnego odczytu liczników energii elektrycznej. W opracowaniu dla celów porównawczych dokonano również analizy dostępnych na rynku rozwiązań odczytu liczników innych mediów (wody, ciepła, gazu) wykorzystujących badane bezprzewodowe technologie przesyłania danych pomiarowych. Opracowano założenia oraz prototyp struktury i architektury funkcjonalnej, ponadto poruszono temat bezpieczeństwa danych. Rys 1. Ogólny model architektury systemu zdalnego odczytu liczników energii elektrycznej ZASTOSOWANIE NOWYCH TECHNOLOGII KOMUNIKACJI RADIOWEJ LORA, SIGFOX, NB IOT,

163 W drugim etapie projektu inżynierowie Tauron Dystrybucja Pomiary w Tarnowie przy ścisłej współpracy z podwykonawcami uruchomili instalacje odczytowe dla wszystkich trzech technologii, celem wykonania testów odczytu danych pomiarowych z licznika energii elektrycznej. W ramach testów oprócz warstwy sprzętowej, skoncentrowano się na dostosowaniu prototypowej platformy odczytowej, która umożliwia wizualizacje gromadzonych wybranych danych pomiarowych. W kolejnym kroku przeprowadzono testy zasięgowe w Tarnowie oraz w Warszawie. Potencjalne zastosowania technologii do odczytów inteligentnych liczników energii zostało podzielone ze względu na wymagania głownie dotyczące ilości transmitowanych danych, jak również łatwość dostępności infrastruktury oraz na koszty urządzeń końcowych. Rys. 2. Zestawienie kluczowych parametrów badanych technologii Technologie Lora, Sigfox oraz NB IoT są obecnie intensywnie rozwijane i wdrażane w wielu krajach na świecie i w Europie. Ich zaletą jest niski pobór energii podczas transmisji. W zakresie bezpieczeństwa komunikacji technologia NB IoT wykorzystuję szyfrowanie i autentykację sieci operatora, istnieje jednakże możliwość dodatkowego szyfrowania całej transmisji danych. Technologia Lora bazuję na sesjach, gdzie każda sesja zaczyna się kluczem. W technologii Sigfox domyślne dane nie są szyfrowane, ale każde urządzenie posiada statyczne ID. Na świecie najwięcej wdrożeń NB IoT, LoRa i Sigfox wprowadzono we Francji, Wielkiej Brytanii i Holandii, ale sieci testowe w tych technologiach pracują też w wielu innych krajach np. Portugalii, Belgii i USA. Obecne plany są takie, aby zasięgiem objąć minimum 60 krajów do 2020 roku. Powyższe technologie LPWA aktywnie zostają wdrażane przez takie firmy jak Ericsson, Holenderski KPN, Grupa Vodafone, Deutsche Telecom, hiszpańska Telefonica, francuski Orange. Na terenie Polski na dzień dzisiejszy wszystkie wymienione technologie są w początkowym stadium rozwoju, co przekłada się na aktualne możliwości powszechnego zastosowania rozwiązań opartych na technologii NB IoT, Sigfox oraz Lora. Wskutek rozwoju infrastruktury, technologie te są interesującą alternatywą dla komunikacji PLC stosowanych przez OSD, a szczególnie technologia NB IoT, pozwalająca na kompletny odczyt licznika energii elektrycznej, z wykorzystaniem protokołu DLMS/COSEM. 176 ZASTOSOWANIE NOWYCH TECHNOLOGII KOMUNIKACJI RADIOWEJ LORA, SIGFOX, NB IOT,...

164 Rys. 3. Testy Laboratoryjne nowych technologii w Laboratorium AMI w Tarnowie. Wnioski końcowe Technologie NB IoT, Sigfox oraz LoRa są intensywnie rozwijane i wdrażane w wielu krajach na świecie i w Europie. Na terenie Polski na dzień dzisiejszy wszystkie wymienione technologie są w początkowym stadium rozwoju infrastruktury, co w różnym stopniu przekłada się na aktualne możliwości stosowania rozwiązań opartych na technologii NB IoT, Sigfox oraz LoRa. Technologia LoRa na dzień dzisiejszy oferuje największą elastyczność infrastruktury sieciowej oraz informatycznej, jednak powiązane jest to z koniecznością poniesienia największych nakładów finansowych na wdrożenie technologii. Do uruchomienia systemu liczników energii elektrycznej z funkcjonalnością zdalnego odczytu na większym obszarze wymagane jest zbudowanie infrastruktury sieciowej hardwareowej - szkieletu sieci, oraz infrastruktury informatycznej - serwerów, baz danych, usług IT. Jest to duże przedsięwzięcie, które daje pełną niezależność od innych podmiotów (np.: operatorów sieci) oraz możliwość rozpoczęcia realizacji systemu praktycznie z dnia na dzień. W przyszłości dla dużej skali przedsięwzięcia prawdopodobnie to rozwiązanie będzie generowało najmniejsze koszty związane z utrzymaniem infrastruktury i usług. Elastyczność rozwiązania to także w przyszłości możliwość współpracy z firmami, które rozwiną infrastrukturę sieciową i informatyczną technologii LoRa na terenie kraju. Możliwe wówczas będzie wykonanie "outsourcingu" usług i infrastruktury sieciowej, w dowolnym zakresie. Technologia LoRa bazuje jednak na modułach radiowych, których struktura i sposób działania są opatentowane. Licencję na produkcję modułów radiowych posiada tylko jedna firma (Semtech). W przyszłości fakt ten może przełożyć się na wyższe ceny urządzeń wykorzystujących tą technologię, oraz ograniczyć dostępność rozwiązań. Technologia Sigfox jest rozwiązaniem kompleksowym, oferującym infrastrukturę sieciową, oraz szeroki wachlarz usług informatycznych (bazy danych, chmura, zabezpieczenia danych, interfejsy dla klientów IT). Na dzień dzisiejszy możliwość wykorzystania tej technologii w Polsce do systemu liczników energii elektrycznej z funkcjonalnością zdalnego odczytu stoi pod znakiem zapytania. Oficjalne mapy zasięgu te technologii umieszczone na stronie firmy Sigfox wskazują jej obecność na ZASTOSOWANIE NOWYCH TECHNOLOGII KOMUNIKACJI RADIOWEJ LORA, SIGFOX, NB IOT,

165 obrzeżach Polski zachodniej i południowej, jednak firma nie udostępnia możliwości aktywacji modułów developerskich na terenie kraju. Według zapewnień firmy Sigfox, cały obszar Polski powinien być objęty zasięgiem do końca roku. Zaletą tej technologii są najniższe koszty związane z przygotowaniem systemu pomiarowego. Cała infrastruktura oraz usługi informatyczne będą dostępne od ręki. Problemem może być jednak fakt, że usługi oraz cała infrastruktura sieciowa są pod opieką jednej firmy (Sigfox). Nie ma możliwości zmiany operatora w tej technologii. Może się to negatywnie przekładać (po upowszechnieniu technologii) na kształtowanie się cen usług. Istnieje również pewne prawdopodobieństwo, że technologia wprowadzana jedynie przez jednego operatora nie zdąży się wystarczająco rozwinąć przed upowszechnieniem się innych alternatywnych technologii IoT i finalnie w Polsce Sigfox będzie zmuszony do wycofania się, ze świadczenia usług. Sigfox oferujący kompleksowe usługi w ramach globalnej sieci jest technologią najmniej elastyczną, pod kątem możliwości rozwoju urządzeń, które je wykorzystują. Ewolucja funkcjonalności urządzeń IoT na bazie Sigfox, jest ograniczona do wprowadzonych przez firmę limitów związanych z dziennym transferem danych oraz do niskiej przepustowości kanału transmisyjnego. Technologia NB IoT ma największy potencjał szybkiego rozwoju na obszarze Polski. Prawdopodobnie ta technologia najszybciej spośród analizowanych rozwiązań obejmie zasięgiem cały kraj. Wynika to z faktu, że infrastruktura sieciowa (sprzętowa) wymagana przez tą technologię już istnieje i pokrywa cały obszar Polski. Operatorzy sieci komórkowych, którzy ją wykorzystują muszą natomiast zaimplementować usługę od strony softwareowej. Zaletą technologii NB IoT jest również to, że technologia będzie dostępna u wielu operatorów. Pozwala to założyć, że ceny usług w ramach NB IoT będą konkurencyjne. Dodatkową zaletą jest wykorzystanie pasma licencjonowanego i brak potencjalnych problemów z zakłóceniami występującymi w kanałach transmisyjnych. Ponadto technologia NB IoT ma największą spośród rozpatrywanych technologii pojemność, jeżeli chodzi o ilość podłączonych do stacji bazowej urządzeń. Wsparcie technologii przez wielu operatorów pozwala również przypuszczać, że technologia ta będzie dobrą inwestycją długofalową, o umiarkowanych kosztach eksploatacji. Podsumowując na dzień dzisiejszy zdaniem autorów opracowania jedynie NB IoT rozwinie się na tyle, że będzie mogła być masowo stosowana w systemach liczników energii elektrycznej z funkcjonalnością zdalnego odczytu. Koszty związane z wdrożeniem systemu będą znacznie niższe (wymagane będzie utworzenie infrastruktury informatycznej). Infrastruktura sieciowa będzie utrzymywana przez zewnętrznych operatorów, którzy będą pobierali opłaty abonamentowe od urządzeń IoT włączonych do sieci. Opłaty abonamentowe powinny się kształtować na średnim poziomie, regulowanym przez zasady wolnorynkowe. 2. Zastosowanie nowych technologii komunikacji radiowej LTE-M do odczytu liczników energii elektrycznej TAURON Dystrybucja S.A. przy współpracy z TAURON Dystrybucja Pomiary Sp. z o.o., Integrated Solutions oraz PySENSE zrealizował projekt pt.: Pilotaż technologii LTE-M w zakresie implementacji w systemach transmisji danych układów pomiarowych, mający na celu analizę wykorzystania technologii LTE Cat. M1 w systemach zdalnej transmisji układów pomiarowych zlokalizowanych na terenie działania sieci dystrybucyjnej TAURON Dystrybucja. 178 ZASTOSOWANIE NOWYCH TECHNOLOGII KOMUNIKACJI RADIOWEJ LORA, SIGFOX, NB IOT,...

166 Wstęp Internet Rzeczy (IoT) ma być kolejną rewolucją w systemach komunikacji mobilnej a podłączone urządzenia mają odgrywać główną rolę we wzroście całego rynku komórkowego. Przewiduje się, że do 2025 roku będzie podłączonych aż 30 miliardów urządzeń IoT. Technologia LTE-M jest nowym rozwiązaniem idealnie odnajduje się w zakresie IoT, jako technologia potrafiąca wspomagać dostępu do sieci komórkowej wyspecyfikowaną w ramach wydania 13 standardu 3GPP. Została opracowana, jako odpowiedź na bardzo szybko rosnącą potrzebę wdrożenia dużej liczby urządzeń transmisyjnych wymagających niskiego poboru energii oraz dostępu do sieci w trudno dostępnych miejscach. Technologia LTE-M umożliwia dostarczenie niedrogich urządzeń dla masowej komunikacji tzw. Machine-Type Communication (MTC) oraz szerokiej gamy aplikacji Internetu Rzeczy (IoT) dostarczając jednocześnie większe zasięgi i mniejsze zużycie energii niż w przypadku standardowych technologii LTE czy starszych standardów takich jak GSM czy UTMS. Główne załażenia projektu W ramach prowadzonego Projektu zostały określone główne założenia, według których były prowadzone prace zespołu: Technologia transmisji danych wykorzystana do zdalnego opomiarowania układów pomiarowych Grupy TAURON musi być standardem; Weryfikacja technologii transmisji danych musi zostać zrealizowana z wykorzystaniem fizycznych urządzeń transmisji danych (prototyp); Podstawą do testów w układzie produkcyjnym jest uzyskanie pozytywnych wyników technologii transmisji danych w warunkach laboratoryjnych; Testy produkcyjne muszą zostać przeprowadzone na obecnie działającej infrastrukturze pomiarowej, telekomunikacyjnej oraz informatycznej. Nie dopuszcza się jakichkolwiek zmian w produkcyjnym działaniu elementów systemu pomiarowego. Czy jest LTE-M? Technologia LTE-M jest standardem, który wyewoluował w ramach specyfikacji 4G 3GPP wydanie 133 i może być zaimplementowany prawie we wszystkich pasmach częstotliwościowych wykorzystywanych w ramach technologii LTE wyższych kategorii tj. 1, 3 lub 4. W Polsce i całej Europie do wdrażania technologii LTE-M wykorzystywane są głównie pasma 800 MHz (B20), 900 MHz (B8) i 1800 MHz (B3). LTE-M wspiera zarówno modulację częstotliwościową FDD jak i czasową TDD z wykorzystaniem wspólnej struktury pod-ramki o długości 1ms. Mając tak krótką długość pod-ramki umożliwiło to minimalizację opóźnień w transmisji do poziomów milisekund, co jest bardzo ważne w systemach transmisji w czasie rzeczywistym. Zwiększony zasięg, niskie zużycie energii czy też mniejsza złożoność urządzeń końcowych do standardowych rozwiązań LTE zostały zaimplementowane w wydaniu 13 specyfikacji 3GPP. ZASTOSOWANIE NOWYCH TECHNOLOGII KOMUNIKACJI RADIOWEJ LORA, SIGFOX, NB IOT,

167 Schemat komunikacji LTE Podstawowy schemat komunikacji w LTE został przedstawiony na poniższej grafice. Urządzanie końcowe (UE) łączy się do sieci stacji bazowych (E-UTRAN). Stacje bazowe E-UTRAN łączą się do tzw. sieci CORE a sieć CORE jest połączona z publiczną siecią internetową za pomocą protokołu IP. Rysunek 1. Podstawowy model komunikacji w sieci LTE Kanały komunikacyjne W ramach sieci LTE istnieje możliwość wykorzystania różnych, logicznych kanałów komunikacyjnych, które są multipleksowane w ramach jednego kanału radiowego. Różne kanały komunikacyjne są na końcu w ramach sieci routowane do innych komponentów końcowych tj. MME lub S-GW. Protokoły LTE Większość komunikacji w Internecie bazuje na stosie protokołów TCP/IP. Czy jest to telefon komórkowy czy licznik energii elektrycznej najczęściej komunikacja pomiędzy systemem a urządzeniami odbywa się za pomocą powyższego stosu. W ramach systemu LTE funkcje TCP/IP dostarczane są w ramach stosu protokołów komórkowych i znajdują się na samej górze tego stosu. 180 ZASTOSOWANIE NOWYCH TECHNOLOGII KOMUNIKACJI RADIOWEJ LORA, SIGFOX, NB IOT,...

168 Bezpieczeństwo W świecie masowego wdrażania komunikacji z urządzeniami bezpieczeństwo transmitowanych danych oraz dostępu do urządzeń staje się kluczową kwestią, która powinna być rozważana, jako priorytetowa podczas doboru odpowiedniej technologii transmisyjnej jak i budowy całego systemu komunikacji. Architektura Bezpieczeństwa LTE Główne komponenty LTE wykorzystywane do ochrony danych oraz autentykacji użytkowników/urządzeń to: Tokeny kart SIM i UICC Autentykacja urządzeń i sieci Ochrona interfejsu radiowego (Uu) Ochrona sieci i infrastruktury (S1-MME, S1-U) Szczegółowa architektura bezpieczeństwa LTE zdefiniowana jest w specyfikacji 3GPP TS gdzie można znaleźć odniesienia do większej ilości standardów. Technologia LTE jest wyposażona w bardzo rozbudowane mechanizmy bezpieczeństwa, ale niestety w większości przypadków wiele z nich jest opcjonalnych i nie są włączane domyślnie przez operatorów, więc szczególnie przy dużych wdrożeniach warto omówić z potencjalnym dostawcą usług komórkowych, jakie dokładnie mechanizmy bezpieczeństwa zostały zaimplementowane na wszystkich warstwach sieci LTE. Należy również zwrócić uwagę na fakt istnienia nierozwiązanych problemów, które nie dotyczą tylko LTE, ale wszystkich technologii radiowych tj. LPWA mówimy tutaj głównie o zagłuszaniu radiowych urządzeń końcowych jak i zmasowanym (symulowanym) odpytywaniem stacji bazowych. Oczywiście specyfikacja LTE cały czas ewoluuje w ramach odpowiednich grup roboczych i pojawiają się nowe usprawnienia i procedury bezpieczeństwa, co najprawdopodobniej pozwoli zniwelować potencjalne zagrożenia do minimum. Testy odczytu danych pomiarowych z liczników energii elektrycznej Zgodnie z założeniami projektowymi analizowana technologia nie może wprowadzać jakichkolwiek zmian w aktualnie działającej infrastrukturze. Technologia LTE-M pozwala na wykorzystanie dotychczasowej infrastruktury odczytowej bazującej na adresacji IPv4 (w przyszłości IPv6), protokołu TCP/IP oraz protokołów w warstwie aplikacyjnej tj. protokołu komunikacji DLMS czy IEC1107. Wszystkie systemy pomiarowe klasy AMR wykorzystywane w TAURON Dystrybucja wykorzystują model komunikacyjny zakładający, że jednostki komunikacyjne stanowiące integralną część licznika lub montowane, jako dodatkowe urządzenia do interfejsu np. RS485 działają, jako serwery TCP/IP nasłuchując w trybie ciągłym połączeń przychodzących od systemu pomiarowego. System pomiarowy w tym modelu działa, jako logiczny klient TCP/IP nawiązujący komunikację z modemami w ustalonym przez konfigurację harmonogramie odczytowym. Obydwa komponenty: modem i system pomiarowy działają w ramach prywatnej sieci, co umożliwia bezpośrednie połączenie klienta z serwerem poprzez prywatny adres IP. Funkcjonalność prywatnej sieci możliwa jest poprzez wykorzystanie prywatnych punktów dostępowych APN w sieci mobilnej. Separują one przesył danych od Internetu ZASTOSOWANIE NOWYCH TECHNOLOGII KOMUNIKACJI RADIOWEJ LORA, SIGFOX, NB IOT,

169 poprzez wykorzystanie tunelów IPSec lub dedykowanych łączy dzierżawionych pomiędzy siecią zakładu energetycznego, w której ulokowany jest systemów odczytowy a operatorem komórkowym dostarczającym karty SIM do urządzeń/modemów końcowych. Technologia LTE-M w odróżnieniu od innych rozwiązań LPWA umożliwia wykorzystanie dotychczasowej infrastruktury działającej w zakładzie energetycznym (aktualnie wykorzystywanej topologii sieci oraz prywatnych APNów) bez potrzeby przeprojektowywania całego modelu komunikacyjnego. Przed wykonaniem testów z rzeczywistymi układami pomiarowymi zostały wykonane w ramach projektu testy technologii z wykorzystaniem zestawów ewaluacyjnych EVK firmy Telit oraz kart i sieci LTE-M dostarczonej przez firmę Orange. Integralną częścią takiego zestawu ewaluacyjnego jest moduł komunikacyjny Telit ME910C1-E1 pozwalający m.in. na transmisję danych w sieciach LTE niskich kategorii. Zestaw ewaluacyjny udostępnia pełny stos konfiguracyjny modemu w postaci komend AT a co za tym idzie znacznie upraszcza przygotowanie różnych konfiguracji testowych. Oprócz testowania zestawów ewaluacyjnych zostały przygotowane i przeprowadzone testy z wykorzystaniem modemów LTE-M firmy PySENSE oraz liczników Landis+Gyr dostarczonych przez firmę TAURON Dystrybucja. W ramach testów były testowane funkcje związane z transmisja danych profilowych, danych rozliczeniowych, dzienników zdarzeń oraz parametryzacji liczników w protokołach DLMS oraz IEC ZASTOSOWANIE NOWYCH TECHNOLOGII KOMUNIKACJI RADIOWEJ LORA, SIGFOX, NB IOT,...

170 Ostatnim z testów licznikowych, które były przeprowadzone w ramach projektu było zestawienie komunikacji w ramach produkcyjnego systemu pomiarowego klasy AMR działającego w TAURON Dystrybucja oraz komercyjnego punktu poboru energii. Tego typu test musiał być zrealizowany w ramach infrastruktury sieciowej działającej w TAURON a co za tym idzie potrzebne było uruchomienie usługi LTE-M na kartach już wykorzystywanych komercyjnie przez OSD. Już sama łatwość uruchomienia tej technologii na dowolnych kartach bez potrzeby zmiany ustawień sieciowych np. adresacji pokazuje, że wdrożenie na większą skalę nie stanowiłoby żadnego problemu. Tak naprawdę wszystkie karty SIM, które w tym momencie wykorzystywane są przez Grupę TAURON może zostać uruchomiona usługa dostępu do technologii LTE-M oczywiście w zależności od tego, kto jest dostawcą usług komórkowych. W ramach testów został wykorzystany produkcyjny system pomiarowy klasy AMR o nazwie Gridstream CONVERGE oraz licznik energii elektrycznej typu ZMD zamontowany w produkcyjnym układzie pomiarowym TAURON Dystrybucja Pomiary w Gliwicach przy ulicy Portowej 14. Test pokazał, że modem z technologią LTE-M bez problemu radzi sobie z transmisją danych z trudno dostępnym miejscach jak metalowa szafka pomiarowa a sama transmisja danych profilowych z całej doby odbyła się bardzo szybko i zajęła dosłownie kilka sekund. Testy zasięgowe W ramach pilotażu LTE-M w TAURON Dystrybucja zostały wykonane również jednostkowe testy transmisji dla wybranych lokalizacji gdzie uruchomione są stacje bazowe LTE-M na częstotliwości 800 MHz. Testy miały za zadanie sprawdzenia czy uda się nawiązać transmisję danych w trudno dostępnych miejscach takich jak piwnice czy stare budynki o grubych konstrukcjach, które najczęściej uniemożliwiają przeprowadzenie transmisji danych w technologiach komórkowych. Testy zostały przeprowadzone w trzech lokalizacjach na terenie Krakowa i Gliwic w niedużej odległości od budynków TAURON Dystrybucja. Do testów wykorzystany został komputer z podłączonym zestawem ewaluacyjnym Telit EVK2 z zamontowany modułem Telit ME910C1-E2 umożliwiający prostą konfigurację i testy transmisyjne za pomocą komend AT wysyłanym do zestawu z poziomu standardowego terminala szeregowego. ZASTOSOWANIE NOWYCH TECHNOLOGII KOMUNIKACJI RADIOWEJ LORA, SIGFOX, NB IOT,

171 Każdy z testów zakładał wysłanie do modemu odpowiedniej sekwencji komend AT umożliwiającej uzyskanie informacji o zalogowaniu się do sieci, zdobyciu informacji diagnostycznych, wysłania pakietów kontrolnych ICMP czy też nawiązaniu sesji TCP/http do zewnętrznego serwera. Test komunikacji na poziomie -1 w budynku TAURON Dystrybucja W ramach ostatniego z testów zasięgowych zostało przeprowadzone badanie transmisji danych na poziomie -1 w siedzibie głównej TAURON Dystrybucja S.A. przy ul. Podgórskie 25A w Krakowie. Miejsce testów zostało wybrane ze względu na trudne warunki radiowe objawiające się brakiem zasięgu w przypadku wszystkich technologii komórkowych dostępnych m.in. w telefonach komórkowych. Jednym słowem nie ma możliwości ani połączeń głosowych ani danych a telefony pokazują brak zasięgu sieci. 184 ZASTOSOWANIE NOWYCH TECHNOLOGII KOMUNIKACJI RADIOWEJ LORA, SIGFOX, NB IOT,...

172 Jak pokazał test technologia LTE-M umożliwia rejestrację w miejscach gdzie inne technologie komórkowe mają z tym problem. Podczas testu parametr AT+CSQ był na poziomie 11,4 co jest bardzo dobrym wynikiem jak na tak trudne warunki radiowe. Wnioski ogólne Technologia LTE-M jest technologią młodą i ciągle rozwijaną w ramach grupy roboczej 3GPP. Jednak jak pokazuje rozwój rynku i zapotrzebowanie na obsługę milionów urządzeń przemysłowych połączonych ramach sieci Internetu rzeczy przed LTE-M jest świetlana przyszłość i coraz więcej operatorów komórkowych decyduje się na wdrożenie tej technologii zamiast inwestować w inne rozwiązania LPWA. Wynika to przede wszystkich z faktu, możliwość szybkiego wdrożenia i dostosowania systemów zarządzania urządzeniami, które już istnieją w ramach infrastruktury po stronie klientów. Dzięki temu nie ma potrzeby całkowitej reorganizacji modelu pozyskiwania danych z urządzeń telemetrycznych a kwestie topologii sieciowej tj. struktura adresów IP oraz sam model komunikacji np. za pomocą protokołu TCP/IP nie wymaga modyfikacji. Z tego typu sytuacją mamy też do czynienia w przypadku zakładów energetycznych w Polsce gdzie większość infrastruktury odczytowej AMR oraz infrastruktury sieciowej związanej m.in. z adresacją bazuje na mechanizmach TCP/IP klient-serwer. W tym przypadku zastosowanie technologii LTE-M pozwoli uniknąć dodatkowych kosztów związanych z przebudowaniem systemów AMR oraz dostosowaniem warstwy pomiarowej. Jest to jedna z głównych przewag technologii nad innymi rozwiązaniami LPWA. Poniżej znajdują się najważniejsze punktu stanowiące o przewadze tej technologii nad innymi rozwiązaniami LPWA. Prędkość transmisji do 1Mb/s Opóźnienia ms Działanie na baterii do 10 lat w zależności od aplikacji Wdrożenie w paśmie częstotliwości LTE Bardzo dobra penetracja w budynkach (extended coverage) Obsługa połączeń głosowych VoLTE Funkcje oszczędzania energii PSM, edrx Bezpieczeństwo na bardzo wysokim poziomie w porównaniu do innych technologii Łatwość wdrożenia (brak potrzeby budowy i zarządzania własną siecią) ZASTOSOWANIE NOWYCH TECHNOLOGII KOMUNIKACJI RADIOWEJ LORA, SIGFOX, NB IOT,

173 W Polsce technologia LTE-M jest w tym momencie głównie rozwijana przez Orange Polska w paśmie 800 MHz, co daje duży potencjał, jeśli chodzi o odległości i szybkie uruchomienie sieci na skalę ogólnopolską. Prawdopodobnie inni operatorzy również są na etapie testów pilotażowych tej technologii i prędzej czy później zdecydują się na jej wdrożenie w ramach wykupionych częstotliwości komórkowych. Implikacją tego przedsięwzięcia jest potrzeba wymiany ok. 5,4 mln liczników w grupie taryfowej G1x oraz C1x na układy pomiarowe umożliwiające realizację potrzeb technicznych związanych z założeniami Ustawy Rynku Mocy oraz inteligentnego oprogramowania jak miedzy innymi: Układy pomiarowy pozwalające na rejestrację profilu dobowo-godzinowego (a nawet 15-minutowego) Licznik muszą umożliwiać dwu stronną transmisję danych pomiarowych, diagnostycznych oraz umożliwiać zdalne zarządzanie całym układem pomiarowym Urządzenia pomiarowe powinny umożliwić wykorzystanie dotychczasowej infrastruktury odczytowej wykorzystywanej przez spółki dystrybucyjne bazującej na protokołach TCP/IP oraz DLMS/HLS w modelu klient-serwer. Licznik powinien umożliwiać zdalną aktualizację taryfy dla pojedynczego klienta oraz możliwość zdalnego włączania i rozłączania rozłącznika. Wbudowany moduł komunikacyjny musi umożliwiać pełne zarządzanie z implementacją takich funkcji jak zdalna konfiguracja, wymiana oprogramowania czy też monitoring, jakości sieci. Tego typu funkcje powinny być zaimplementowane w ramach ustandaryzowanego protokołu tj. np. LwM2M. Szyfrowanie całej komunikacji pomiarowej i diagnostycznej z zastosowaniem mechanizmów szyfrowania bazujących na min. 128-bitowych kluczach kryptograficznych tj. DLMS/HLS. Biorąc pod uwagę powyższe wymagania z założenia trzeba wykluczyć technologie LPWAN nie udostępniające warstwy adresacji IP oraz możliwości transportu paczek TCP/IP. Technologie, które są brane pod uwagę są to rozwiązania bazujące na stosie protokołów 3GPP wdrażanych przez operatorów komórkowych, czyli technologia LTE- M oraz NB-IoT. Wybór pomiędzy tymi dwoma technologiami wymaga zrozumienia kluczowych różnic pomiędzy nimi tj. prędkość transmisji, opóźnienia czy też możliwość podłączenia większej ilości urządzeń transmitujących dane w tym samym czasie. Podsumowując technologia LTE-M jest w tym momencie najbardziej uniwersalnym rozwiązaniem umożliwiającym budowę zarówno prostych jak i złożonych systemów pomiarowych wykorzystujących standardową infrastrukturę komunikacyjną bazującą na modelu klient-serwer TCP/IP. Ponadto technologia LTE-M aktualnie jest jedną z lepszych rozwiązań dla wdrożenia dużej ilości urządzeń końcowych bez potrzeby inwestowania w nową infrastrukturę serwerową dostosowaną do endemicznych rozwiązań. 186 ZASTOSOWANIE NOWYCH TECHNOLOGII KOMUNIKACJI RADIOWEJ LORA, SIGFOX, NB IOT,...

174 JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z WDROŻEŃ SYSTEMÓW BI W FIRMACH ENERGETYCZNYCH Grzegorz Sopoliński, B.Nagórski (SOL-BIT Sp. z o.o.) 1. Wprowadzenie Wraz z nastaniem ery Internetu w latach 90 XX w nastąpiła eksplozja gromadzonych, przetwarzanych i przesyłanych danych. Bazy relacyjne doskonałe do zastosowań transakcyjnych i ewidencyjnych okazały się niewystarczające do przetwarzania ogromnych zbiorów danych, w szczególności zbiorów o charakterze niestrukturalnym: dokumentów, stron, plików logów, pomiarów. Powstałyi ciągle powstają systemy zarządzania baz danych Open Source o zbiorczej nazwie NoSQL, która ma podkreślić nierelacyjnych charakter przetwarzania danych, Bazy te charakteryzuje wysoka wydajność i są dedykowane do przetwarzania analitycznego. W 2005 Roger Mougalas wprowadził termin Big Data w odniesieniu do dużych zbiorów danych, które nie można było przetworzyć za pomocą klasycznych rozwiązań i narzędzi BI. Z pojęciem Big Data wiążą się V-charakterystyki. Pierwotne 3V zdefiniował Gartner Group. 1. Volume (Wielkość) Wielkość danych jest podstawową charakterystyką Big Data. Nie chodzi nawet o wielkości bezwzględne wyrażane w TB lub PB, lecz o takie zbiory danych które ledwo mieszczą się w pamięci dużych nowoczesnych instalacji komputerowych lub muszą być przetwarzane strumieniowo. Wykładniczym wzrost generowanych, przesyłanych i składowanych danych związany jest z rozwojem Internetu i coraz większą przyłączoną do niego liczbą urządzeń. 2. Velocity (Szybkość) Szybkość generowania danych i przekazywania informacji wzrasta. Wdrożenie systemów telemetrycznych, Internetu Rzeczy (IoT), dane spływające z czujników urządzeń mobilnych powoduje że generacja danych odbywa się z niespotykaną dotąd szybkością. 3. Variety (Różnorodność) W porównaniu do rozwiązań BI przetwarzających danych strukturalne z relacyjnych baz danych i plików płaskich, Big Data przetwarza pełną paletę formatów danych strukturalnych i niestrukturalnych takich jak video, dźwięk, pliki graficzne, pliki logów, html, dokumenty. 4. Veracity (Wiarygodność) Wraz z dużym wolumenem szybko generowanych danych pojawia się pytanie o autentyczność, weryfikowalność i zaufanie do danych. Nie zawsze odpowiedzi na te pytania są pozytywne i musi to być uwzględnione w analizach danych. 5. Value (Wartość) Oznacza wartość informacyjną i możliwość wykorzystania informacji jaka niesie ze sobą Big Data. Aplikacje Big Data dotyczą wszystkich dziedzin życia. Z pozoru bezużyteczna informacja w jaki element strony użytkownicy klikają najczęściej, można wykorzystać do badania preferencji klientów i ich wzorców zachowań, a także wykorzystać komercyjnie a nawet politycznie. Ogromna ilość informacji przeradza się w jakość i wartość, świadomość tego faktu powoli upowszechnia się społecznie. JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z

175 Wiele wzorców projektowych Big Data przenika do świata BI i na odwrót. Dlatego w dalszej części tekstu będę odnosił się do nich pod wspólna nazwą BI/Big data. 2. Pozyskanie danych 2.1. Praktyka definiowania zakresu informacyjnego BI Ewolucja celów systemów analitycznych Rozwiązania BI powinny wspierać realizację celów biznesowych przedsiębiorstwa. Identyfikacja i definicja celów powinna nastąpić na poziomie zarządu i zostać uszczegółowiona na niższych szczeblach zarządzania. Od momentu swojego powstania BI służył jako narzędzie do monitorowania wartości wskaźników, realizacji celów, odchyleń. Niemniej było to działanie reaktywne - nastawione na automatyzację procesu przeliczania danych, procesu tradycyjnie realizowanego z sukcesem za pomocą "zestawu narzędzi" takich jak komputer osobistym, arkusz kalkulacyjny i pracownik biurowy. Dzięki technikom analizy danych możemy ocenić i sklasyfikować klientów pod względem ryzyka biznesowego, a także przewidzieć ich zachowania, w szczególnym przypadku narażenia nas na straty finansowe. Model prognostyczny/klasyfikacyjny budujemy w oparciu o istniejące dane, testujemy jego jakość prognozy/klasyfikacji na podstawie danych testowych. Kiedy dysponujemy już modelem możemy jego użycie wbudować w nasze produkcyjne systemy operacyjne (np. dzięki architekturze mikroserwisów), w szczególności w systemy samoobsługowe, klasyfikując klientów i oferując im zmienne warunki oferty. W zależności od danych jakimi dysponujemy o kliencie, model klasyfikacyjny pozwoli wybrać odpowiednie działania handlowe/windykacyjne. System następnie podejmie zautomatyzowane działania. Zastosowanie rozwiązań BI/Big Data ewoluuje, nie mówimy już tylko o pozyskiwaniu i analizowaniu danych i serwowaniu ich decydentom w atrakcyjnej formie, lecz o udostępnieniu automatycznego procesu decyzyjnego w systemach transakcyjnych. Zestaw raportów Wymaganie analityczne dotyczące BI przyjęło się tradycyjnie definiować jako zbiór raportów. To bardzo wygodne podejście ułatwia opracowanie wymagań, a także oszacowanie pracochłonności projektów wdrożenia BI i dość precyzyjnie definiuje zakres. Niemniej podejście to obarczone jest wadami. Cykl życia raportu ma zmienną długość życia. W trakcie wdrożenie lub po jego zakończeniu okazuje się że część raportów nie jest już używanych, za to pojawiają się zapotrzebowania na nowe raporty, dla których "brakuje" danych w systemie BI. Wynika to często z faktu że model danych BI tworzony był wyłącznie w oparciu o struktury istniejące w raportach, więc przestał być aktualny. Zasadnym wydaje się więc, żeby zbiór wymagań raportowych potraktować jak jedne z dodatkowych wymagań, a nie wymagań główne czy też jedyne. Model korporacyjny danych Punktem wyjściowym do tworzenia modelów danych w BI powinien być Korporacyjny Model Danych. Model pozwalający spełnić wymagania historyczne, wymagania bieżące oraz zmiany w wymaganiach, które mogą nastąpić i które można przewidzieć w najbliższej przyszłości. Model korporacyjny powinien zostać uzupełniony o dodatkowe atrybuty wynikające z analizy metadanych systemów źródłowy i zewnętrznych źródeł danych. Powinniśmy przestać myśleć o modelu danych kategoriach inżynierskich, a raczej postrzegać dane i ich modele w kategoriach aktywów informacyjnych. Aktywów, 188 JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z...

176 których przetwarzanie pozwoli uzyskać dodatkową wartość biznesową: dopasować lepiej ofertę do klienta, prognozować sprzedaż, przepływy pieniężne itd. Powinniśmy uwzględnić w modelu wartość jaką mogą wygenerować dane, uwzględnić koszt ich pozyskania i przetwarzania oraz opcjonalność/obligatoryjność ich posiadania Architektury referencyjne systemów BI/ Big Data W architekturach BI/Big Data za jedną z architekturę referencyjnych przyjęło uważać się architekturę Lambda, której diagram funkcjonalny przedstawiono na poniższym rysunku. Rysunek 1. Architektura Lambda Źródła danych (ang. Data Source) są to systemy, z których można pozyskać dane. Mogą one dostarczać dane z organizacji oraz spoza organizacji. Dane mogą być w postaci strukturalne lub niestrukturalnej. Warstwa Batch (ang. Batch Layer) zajmuje się przetwarzaniem danych w trybie wsadowym. Dane są pobierane z systemów źródłowych, przekształcane (czyszczone, konsolidowane, agregowane) i przekazywane do warstwy udostępniającej dane. Operacje te są wykonywane przez oddzielne warstwy. Częstotliwość przetwarzanie zależy od wymogów biznesowych, może to być przetwarzanie raz na dzień, tydzień czy miesiąc, ale mogą to być wielokrotne przetwarzania w ciągu doby. Warstwa Speed (Speed Layer) zajmuje się przetwarzaniem napływających danych w trybie ciągłym. Dane w tej warstwie są pobierane ze strumienia, przetwarzane i publikowane. Niskie opóźnienia w dostępie do danych są okupione brakiem dostępu do części danych historycznych przez co nie wszystkie analizy są możliwe do wykonania. Warstwa udostępnia widoki do podglądu danych w czasie rzeczywistym. Warstwa dostępu (Serving Layer) zajmuje się udostępnianiem danych uzyskanych z warstw: Batch oraz Speed dla: aplikacji analitycznych i aplikacji raportujących aplikacji operacyjnych, aplikacji do Data Mining i analiz statystycznych wykorzystywane bezpośrednio przez analityków i programistów. JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z

177 Ze względu na czas przetwarzania danych w Big Data klasyfikujemy przetwarzanie jako: Rodzaj przetwarzanie Czas przetwarzania Macro batch 15 min < t Micro batch 2 min < t =< 15 min Near Real Time Decision Support 2 s < t =< 2 min Near Real Time Event Processing 50 ms < t =< 2 s Real Time 0 s < t =< 50 ms 2.3. Kadry Wdrożenie i obsługa BI wymaga specjalistów o zróżnicowanych kompetencjach. Jak w całej branży IT, pozyskanie odpowiednio kompetentnego i wydajnego zespołu stanowi trudność. Koszty utrzymania zespołu są znaczące. Również rotacja członków zespołu ma istotny wpływ na eksploatacje środowiska. Planując wdrożenie BI należy uwzględnić kwestie związane z pozyskaniem i utrzymaniem zespołu. Z względu na istotne koszty warto rozważyć: Konsolidację systemów BI do jednego rozwiązania centralnego w grupie kapitałowej. Inwestycję w narzędzia zwiększające produktywność członków zespołu: konsole administracyjne, oprogramowanie do monitorowania, zarządzania, strojenia wydajności. Zakontraktowanie usług firm zewnętrznych w zakresie rozwoju, utrzymania i gdy konieczne administracji systemem. Wykorzystanie zewnętrznej infrastruktury lub usług przetwarzania (Cloud Computing), w szczególności na etapie pilotażowym, kiedy opłacalność inwestycji nie jest jeszcze dobrze oszacowana Wzorce użycia BI BI samoobsługowy Historycznie BI wywodzi się z systemów wspomagania decyzji DSS z lat 70 XX w. Pierwotnie był to zbiór zestawień do wydruku przygotowanych przez programistów. Z czasem podejście to okazało się niewystarczające, użytkownicy z oczywistych względów potrzebowali wydajnego, wiarygodnego i w miarę aktualnego zbioru danych (Hurtowni Danych) oraz narzędzi informatycznych pozwalających im w sposób samodzielny (bez udziału IT) na przygotowanie własnych zestawień i raportów. Rozwiązanie ewoluowało w stronę portalu informacyjnego, wizualizacji graficznych i KPI. Dzięki temu można było podjąć próby analizy eksploracyjnej i wykorzystania technik graficznych. Miało to również swoje złe strony, forma danych i grafika przytłoczyła treść danych, a proces decyzyjny dalej pozostał intuicyjny. BI analityczny Narzędzie statystyczne zawiera implementację wielu procedur i algorytmów badających relacje pomiędzy danymi. Znalezienie silnej i wiarygodnej relacji, prowadzi do odkrywania "prostych" reguł decyzyjnych używanych w biznesie, medycynie, procesach technologicznych. Posługiwanie się narzędziami statystycznymi wymaga przygotowania teoretycznego i praktyki. Dlatego narzędzie te nie są tak popularne. Jednakże trudno przecenić ich rolę w procesie podejmowania decyzji. W odniesieniu do dużych zbiorów danych wykorzystywane są techniki eksploracji danych znane jako Data Mining. W odróżnieniu od klasycznej analizy statystycznej nie stawiamy hipotez a priori, poszukujemy wzorców i współzależności pomiędzy danymi nie przyjmując z góry żadnych założeń ani oczekiwań. Kiedy takie zależności 190 JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z...

178 odnajdziemy budujemy i oceniamy modele predykcyjne/klasyfikacyjne pozwalające przewidzieć zachowania klientów, wielkości sprzedaży, awarie itp. Kiedy posiadamy już model możemy go wdrożyć i zastosować. Data mining to zagadnienie interdyscyplinarne i łączy elementy przetwarzania baz danych, statystyki i sztucznej inteligencji (AI). W technikach Data Mining akceptujemy podejście czarnej skrzynki (np. użycie wielowarstwowej sieci neuronowej, której działania nie potrafimy opisać prostym modelem). Ponieważ dla części decydentów nie jest to akceptowalne, zazwyczaj zestawia się klasyczne algorytmy klasyfikacyjne/prognostyczne np. drzewa decyzyjne z działaniem sieci neuronowych. Przy czym przeważnie modele oparte o sieci neuronowe charakteryzując się lepszą jakością prognozy/klasyfikacji. BI operacyjny BI Operacyjny to odpowiedź na potrzebę analizy aktualnych danych rejestrowanych w systemach transakcyjnych. Analizy i raporty wykorzystywane są operacyjnie z niewielkim (nieznaczącym) opóźnieniem w zbieraniu danych. BI operacyjny wykorzystywany jest w przypadku gdy potrzebne w procesach decyzyjnych są dane krótkoterminowe, codziennie i często generowane. Często BI operacyjny zintegrowany jest ze aplikacjami transakcyjnymi. Praktyką ostatnich lat jest rekomendowanie klientom oferty produktowej na podstawie modelów klasyfikacyjnych/predykcyjnych wykonywanych przez Big Data i zintegrowanych z serwisem klienckim za pomocą architektury mikro-serwisów Struktury vs dane Projektując rozwiązania BI/Big Data zmuszeni jesteśmy projektować różne struktury danych. Oczywiście najważniejsze są dane, ich struktura jest cechą drugorzędną. Dobór i projekt struktury zależy od tego jakimi algorytmami i w jakich technologiach zamierzamy przetwarzać dane, to cecha charakterystyczna dla systemów BI/Big Data Cykle ładowania danych Trend związany ze skróceniem cykli przetwarzania danych jest bardzo silny, praktycznie potrzebujemy dostępu do bieżących danych. Dążymy do przetwarzania informacji on-line. Z punktu widzenie technologii ilość informacji i skrócone czasy przetwarzania stanowią duże wyzwanie. W systemach BI ciągle dominuje przetwarzanie wsadowe, ze względu na skrócony czas przetwarzania nazywane mikro-wsadowym. W nowo budowanych systemach zasilania wykorzystuje się mechanizmy replikacji dzienników baz danych, w celu ciągłego zasilania i propagacji zmian z systemów źródłowych do systemu BI. Dużo zapożyczeń wzorców projektowych pochodzi z systemów Big Data, gdzie dane napływają w sposób ciągły i są zbyt duże żeby je składować i archiwizować Ładowanie danych detalicznych vs zagregowanych W trakcie budowy Hurtowni Danych i projektu jej zasilania pojawia się strategiczne pytanie: czy przechowywać dane zagregowane czy też dane detaliczne. Dane detaliczne wymagają dużych i kosztownych przestrzeni dyskowych i wydłużonego czas na przetwarzanie danych. Jednakże nie występuje efekt utraty informacji, możliwa jest zmiana algorytmów naliczania danych lub możliwość zaprezentowania danych w innych przekrojach analitycznych. Natomiast dane zagregowane maja mniejsze wymagania na przestrzeń dyskową i moc obliczeniową, ich przechowywanie i przetwarzanie kosztuje mniej. Agregacja danych JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z

179 niesie ze sobą utratę informację i ograniczenie możliwości przetwarzania choćby drążenia danych. O ile przetwarzanie danych detalicznych jest możliwe tzn. mieszczą się na dyskach a ich przetwarzanie zajmuje rozsądny czas, rekomendujemy użycie danych detalicznych. Niestety nie zawsze jest to możliwe np. w przypadku dużej ilości danych pomiarowych, generowanych z dużą częstotliwością Interfejsy dedykowane vs replikacja baz W procesie zasilania Hurtowni Danych najczęściej praktykuje się dwa podejścia: Replikacja bazy danych systemów źródłowych lub ich podzbiorów. Do replikacji można wykorzystać klasyczny dostęp do baz danych za pomocą interfejsów ODBC lub JDBC jak również mechanizm replikacji logów bazy danych. Budowa interfejsu dedykowanego zawierające przeliczone i przetworzone dane. Interfejs dedykowany może zostać zaimplementowany jako perspektywa bazodanowa - dane są aktualne na moment wykonania zapytania lub jako dedykowana odrębna struktura danych: tabele bazodanowe lub plik płaski lub komunikaty w systemie kolejkowym. W przypadku odrębnych struktury wymagany jest proces, przygotowania i naliczenia danych. Proces ten jest kontrolowany z poziomu systemu źródłowego. Interfejs dedykowany jest formą "kontraktu" pomiędzy stronami, pozwala na "przerzucenie" odpowiedzialności za jakość i poprawność danych na przygotowującego interfejs. W przypadku replikacji logów bazodanowych, proces zasilania odbywa się ciągle, następują szybka propagacja zmian, a wydajność przetwarzania w systemach źródłowych nie jest naruszona. Replikacja baz danych oprócz swoich oczywistych zalet i przewagi technicznej nad interfejsami dedykowanymi może sprawiać problemy związane z restrykcjami w politykach licencyjnych producentów oprogramowania. Przykłady restrykcji w politykach licencyjnych: Dane w bazie danych są własnością firmy, struktury danych są własnością producenta oprogramowania. Pobranie danych z bazy danych przez interfejs programowy wymaga licencji Narzędzie ETL Wraz z rozwojem systemów BI i Hurtowni Danych konieczne stało się wdrożenie i wykorzystanie specjalizowanych narzędzie do ładowania i transformacji danych. Oprócz podstawowej funkcjonalności (ładowanie danych), narzędzia ETL zapewniają możliwość audytu i logowania operacji a także błędów ładowania. Dzięki temu możliwa jest diagnostyka procesu ładowania. Celem wdrożenia narzędzi ETL jest uniezależnienie się od zespołu programistów, łatwe utrzymanie i automatyczne udokumentowanie procesu przetwarzania danych oraz ułatwiona diagnostyka procesu ładowania. Czas i zasoby przeznaczone na rozwój i administracje ETL są ograniczone. W takiej sytuacji rozwiązaniem jest takie zaprojektowanie procesu ETL i dostarczenia takich narzędzi administracyjnych i diagnostycznych, żeby zmniejszyć nakład na diagnostykę i administrację systemu. Oznacza to że należy: Zaprojektować proces ETL żeby był powtarzalny i odwracalny w dowolnym momencie. Zaprojektować tak proces ETL żeby jego uruchomienie pozostawało bez konsekwencji dla użytkowników pracujących na aktualnych danych prezentacyjnych. 192 JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z...

180 Zapewnić żeby dane źródłowe/interfejsowe przetwarzane przez ETL nie uległy zniszczeniu. Opracować procedury weryfikacji i walidacji danych źródłowych przed ich przetwarzaniem, tak żeby użytkownik/administrator otrzymała precyzyjną informację w formie czytelnego zestawienia, które dane źródłowe i w jaki sposób trzeba poprawić. Zapewnić rozbudowaną obsługę wyjątków i mechanizmów kontrolnych sprawdzających liczby przetworzonych rekordów i sumy kontrolne na każdym etapie ładowania, zapobiegających załadowaniu nieprawidłowych danych. Zapewnić prosty interfejs uruchamiania zadań i kontrolowania zadań w harmonogramie, tak żeby mogła obsłużyć go osoba bez technicznego przygotowania. Zapewnić prosty interfejs diagnostyki przetwarzania (z możliwością wyświetlenia informacji diagnostycznej i kodów źródłowych) dla obsługi technicznej i programistów. Zapewnić aplikację dla utrzymania/edycji metadanych referencyjnych, posiadającą funkcjonalność wersjonowania danych w czasie. Zapewnić prosta i szybką ścieżkę nawigacji do komunikatów o błędach Narzędzia Data Quality i Data Cleansing Narzędzia do zapewnienia jakości danych pozwalają na ocenę jakości danych poprzez zastosowanie automatycznych predefiniowanych reguł. Możliwe jest też definiowanie własnych bardziej złożonych reguł danych. Przygotowane reguły sprawdzania danych można wykorzystać i zintegrować z procesem ETL. Integracja narzędzi Data Quality i ETL nie jest bezproblemowa. W praktyce użycie narzędzi Data Quality oznacza wysokie koszty. Alternatywą ją badanie jakości danych i implementacja reguł jakości danych, przez zespół programistów zajmujących się ETL. Oprogramowanie do czyszczenia danych dotyczy najczęściej czyszczenia danych adresowych. Oprogramowanie to potrafi dopasować badany rekord danych do słowników referencyjnych korzystając z algorytmów dopasowania rozmytego (ang. fuzzy match). Strategia związana z zapewnieniem jakości danych jest dość prosta ale wymagająca w implementacji. Jakość danych należy zapewnić implementujące reguły integralności i poprawności danych w systemach źródłowych, w pierwszej kolejności w bazie danych, następnie w aplikacji Metadane Metadane pełnią kluczową rolę w systemach BI. Opisują struktury Hurtowni Danych, struktury systemów źródłowych, stanowią specyfikacje warstwy semantycznej użytkownika, występują w specyfikacji struktur raportów a także zawierają informację o procesach zasilania, ich konfiguracji i przebiegu. System BI nie istnieje bez swoich metadanych! Z powodu braku akceptacji standardów wymiany metadanych między producentami oprogramowania, zarządzanie metadanymi to prawdziwy problem i w zasadzie główny czynnik kosztowy wdrożenia systemów BI. Często ze względu na istotność biznesową metadanych, tworzy się wyodrębnione systemy (tzw. systemy słownikowe) służące do centralnego zarządzania i propagacji tych danych. W istocie problem metadanych biznesowych nie dotyczy tylko BI, dotyczy całego ekosystemu informatycznego w firmie. Dokonując ewaluacji i wyboru narzędzi dla środowiska BI, oprócz ważnych elementów funkcjonalnych, zwróćmy też uwagę na niedoceniany aspekt: integrację i wymianę metadanych pomiędzy narzędziami, które kupujemy. JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z

181 3. Wykorzystanie danych Kosztowne i pracochłonne pozyskiwanie danych oraz ich przetwarzanie wykonuje się w jednym zasadniczym celu: wykorzystania pozyskanych informacji w taki sposób, żeby zdobyć przewagę konkurencyjną. Przewagę informacyjna związana jest z posiadaniem informacji, którymi nie dysponuje nasza konkurencja. Dysponując nią, możemy podjąć działania, które zabezpieczą nasz udział w rynku, przychody, pozwolą na pozyskanie nowych klientów, utrzymanie starych itd. Oczywiście zbieramy dane, które w momencie ich powstania są już danymi historycznymi bo dotyczą przeszłych zdarzeń. Jednakże analizując historię możemy opracować model prognostyczne/klasyfikacyjne, które pozwolą lepiej oszacować wartość przyszłych zdarzeń np. zużycia prądu. Przykład prognozy zostanie podany w dalszym tekście. Poniżej przedstawimy typowe scenariusze użycia BI, zaczynając od klasycznej rachunkowości, a kończąc na prognozowaniu Wykorzystanie BI w księgowości BI w księgowości używany jest powszechnie, w szczególności techniki OLAP związane z drążeniem danych. Interesuje nas jakie salda bądź obroty kont księgowych, składają się na pozycje sprawozdań finansowych. W przypadku kont interesuje nas jakie zapis księgowe i związane z nimi zdarzenie gospodarcze składają się na obroty. Umożliwia to łatwą weryfikacje sprawozdania finansowego. Wykonywane przetwarzanie danych charakteryzuje się małym obciążeniem, pracujemy na danych wstępnie zagregowanych, dane przetwarzane są w cyklach podatkowych: zamknięcie miesiąca, zamknięcie roku. Użytkownicy pracując używając gotowe, predefiniowane raporty, nie tworzą własnych zestawień Wykorzystanie BI w Kontrolingu Kontroling współpracuje z kadrą zarządzającą, jest doradcą i partnerem w zarządzaniu. Wykorzystuje dane pochodzące z ewidencji księgowej (dokumenty finansowe) jak również dane pochodzące z ewidencji pozafinansowej takiej jak: karty czasy pracy, zużycie energii, zużycie materiałów, użycie maszyn, środków transportu do celów realizacji zleceń usługowych lub produkcyjnych. Dział Kontrolingu jest "najlepszym" użytkownikiem systemu BI w organizacji. Typowe wzorce przetwarzania danych to: agregacja danych, agregacja danych narastająco, alokacje danych z użyciem kluczy podziałowych, wyliczanie średnich, odchyleń, udziału procentowych, proste formuły wyliczeniowe, a czasami również rozwiązywanie układu równań liniowych. Dane przetwarzane to najczęściej dane wyliczeniowe i szacowane. Wyniki przetwarzania bardzo często są wizualizowane za pomocą wykresów. Zestawienie i raporty nie mają stałego formatu i charakteru, przygotowywane są ad-hoc dla potrzeby analizy konkretnego zagadnienia. Narzędzia BI wspierają pracę Kontrolingu przez możliwość pozyskania aktualnych danych produkcyjnych, dowolnego ich zestawienia i prezentacji Wykorzystanie BI w sprzedaży Prognozowanie zużycia Precyzyjne prognozowanie zużycia pozwala na zakup energii elektrycznej na giełdzie z zastosowanie instrumentów związanych z atrakcyjniejszymi cenami zakupu. Precyzyjna prognozy pozwalają unikać zakupów na drogim rynku SPOT. 194 JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z...

182 Do prognozowania zużycia wykorzystuje się analizę szeregów czasowych i wielowarstwowe sieci neuronowe. Zużycie charakteryzuje się sezonowością i trendem, jego prognozowanie nie sprawia problemu. Prognozowanie cen Motywacje do sporządzania prognozy cen są takie same jak dla prognoz zużycia. Jakość prognozy cen przy stosowaniu zbliżonych algorytmów jest niższa niż jakość prognozy zużycia. Zdecydowanie wykorzystuje się wielowarstwowe sieci neuronowe. Prognozowanie cen jest ogólnie trudne. Migracje klientów (churn) Jedną z metoda analiz danych jest przewidywanie migracji klientów (churn) poprzez odkrywanie wzorców zachowań klientów. Pozwala to działom sprzedaży z wyprzedzeniem podjąć działania żeby zapobiec temu procesowi jak również dostosować ofertę do potrzeb klienta. Migracje klientów w Data Mining to zagadnienie klasyfikacyjne wykorzystuje się do niego techniki: Drzew Decyzyjnych, Regresje Logistyczną i oczywiście wielowarstwowe sieci neuronowe. Często dokonuje się segmentacji klientów po to żeby zróżnicować ich obsługę i osiągnąć lepszą rentowność. Wykorzystuje się do tego celu algorytmy analizy skupień, której celem jest pogrupowanie badanych obiektów tak żeby stopień powiązań obiektów w ramach grupy był jak największy, a jak najmniejszy z obiektami z pozostałych grup Wykorzystanie BI w eksploatacji Systemy BI używane są do składowania danych, wizualizacji i udostępniania wyników pomiarowych dla pomiarów ciągłych wykonywanych przez systemy telemetryczne. Przydatne są również do wyszukania anomalii w danych pomiarowych, które mogą się świadczyć o błędach pomiarów lub awariach. Wykorzystuje się też dane pomiarowe do prognozowania awarii, w trakcie działania systemu, co pozwala dyspozytorom podjąć decyzje z wyprzedzeniem i uniknąć kosztownych nieplanowanych przestojów i związanych z nimi strat finansowych Prognozowanie Prognozowanie popytu jest ważnym wyzwaniem dla biznesu, w tym również dla przedsiębiorstw energetycznych. Utworzenie rynku energii elektrycznej spowodowało, że jakość prognoz ma bezpośredni wpływ na wyniki finansowe przedsiębiorstw energetycznych. Prognozowanie zapotrzebowania na energię elektryczną jest związanie z budową odpowiedniego modelu. W ramach niego należy uwzględnić takie czynniki jak: dane historyczne, wahania sezonowe, czynniki atmosferyczne, zaplanowane zdarzenia np. przerwy technologiczne u kluczowych odbiorców. Podejścia do prognozowania: Metody naiwne. Metody te wykorzystują proste aproksymacje. Modele są bardzo proste w implementacji i zrozumieniu. Ich wadą mogą być duże błędy prognoz związane z brakiem uwzględnieniem istotnych czynników, Modele regresyjne. Modele oparte na regresji pozwalają przewidywać wartość zmiennych w zależności od wartości innych zmiennych. Poziom skomplikowania wpływa na skuteczność prognoz, ale jednocześnie powoduje zwiększone zapotrzebowanie na ilość danych oraz sprawia większe problemy z interpretacją wyników, JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z

183 Modelowanie szeregów czasowych. Modele oparte o szeregi czasowe mogą opierać się zarówno o pojedyncze jaki i o złożone wzorce sezonowości. Model te są dobrze opisane matematycznie i dają przyzwoite rezultaty. Głębokie sieci neuronowe. Jest stosunkowo młodym sposobem podejściem do prognozowania. Uzyskane prognozy są dokładne, ale podejście to wymaga dużych mocy obliczeniowych, a modele są trudne do interpretacji. Agregacja prognoz. Agregacja prognoz w uproszczeniu polega na scaleniu wyników wielu prognoz i otrzymanie lepszego wyniku niż każda z zastosowanych prognoz oddzielnie Przykład prognozy - zapotrzebowanie na moc KSE Szereg czasowy to sekwencja pomiarów wykonywana w równych odstępach czasu. W danych szeregu można wyodrębnić składnik systematyczny i losowy. Analizę szeregu czasowego wykonuje się w dwóch celach: wykrycie natury zjawiska: trend i sezonowość, oraz przewidzenie przyszłych wartości szeregu czasowego. Trend opisuje ogólny kierunek rozwoju (liniowy lub nieliniowy) a sezonowość opisuje okresowe systematyczne zmiany. Sezonowość może być złożona i jak w przypadku zapotrzebowania na moc dotyczyć cykli dobowy, tygodniowych i rocznych. Jako przykład wybrano szereg czasowy zapotrzebowania na moc Krajowego Systemu Energetycznego w okresie lipiec dane godzinowe. Dane pochodzą z portalu Polskich Sieci Elektroenergetycznych. Wybraliśmy stosunkowo, krótki okres tak żeby pominąć wpływ sezonowości rocznej. Wykorzystaliśmy modelowanie szeregów czasowych - metoda TBATS. Metoda ta stosowana jest do analizy szeregów czasowych o złożonej sezonowości. Algorytm uwzględnia trend długookresowy i niejednorodność wariancji w czasie. Poniższe rysunki prezentują analizę otrzymanej sezonowości oraz tygodniową prognozę. Rysunek 2. Zapotrzebowanie na moc lipiec 2018 observed - dane surowe, rzeczywiste, level - wartość po wyeliminowaniu czynników sezonowego, season 1 - sezonowość okres dobowy (24h), season 2 - sezonowość okres tygodniowy(168h) 196 JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z...

184 Rysunek 3. Tygodniowa prognoza zapotrzebowania na moc sierpień 2018 MAE RMSE MAPE MASE Training set Test set Oceniając jakość prognozy używamy następujące wskaźniki (od najprostszych): średni błąd bezwzględny MAE [MW] (ang. mean absolute error), MAPE średni bezwzględny błąd procentowy (ang. mean absolute percentage error) RMSE pierwiastek błędu średniokwadratowego ( ang. root mean squared error) średni bezwzględny błąd skalowany złożony wskaźnik, zaprojektowany do MASE (ang. mean absolute scaled error) oceny poprawności prognoz gdzie X - wartość rzeczywista, F - wartość prognozowana, t - indeks szeregu czasowego, n- liczba pomiarów. Oceniając wyniki widzimy że średni bezwzględny błąd prognozy wynosi 3,85%. Dla porównania przy stosowaniu metod naiwnych osiągamy błędy prognozy powyżej 9%. Natomiast przy stosowaniu wielowarstwowych sieci neuronowych MAPE wynosi około 2,8%. Nie wynika to bezpośrednio z przykładu ale im dłuższy okres prognozowany tym mniejsza jakość prognozy. Jakość prognozy wpływa istotnie na planowanie przyszłych przychodów (również ich rentowności) a także powiązane przepływy pieniężne. 4. Podsumowanie 4.1. Wyzwania i zagrożenia Branża energetyczna narażona jest na działanie czynników zewnętrznych: prawnych, regulacyjnych, a także na działania podmiotów z innych sektorów gospodarki w szczególności z sektora finansowego. JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z

185 Właśnie w sektorze finansowym upatrywałbym zewnętrznego zagrożenia dla branży energetycznej i nie są to tylko tradycyjne zagrożenia związane z brakiem finansowania, naruszeniem płynności, dochodzą również zagrożenia związane z uwolnieniem handlu energii i obligiem sprzedaży energii a w szczególności praw majątkowych na towarowej giełdzie energii. Oznacza to konkurencję, która ma większy kapitał i potrafi lepiej dokonywać transakcji Stan adaptacji technologii BI/Big Data Z naszych obserwacji wynik że branża energetyczna podejmuje nieustannie działania w zakresie budowy repozytoriów danych i wdrożenia narzędzi analitycznych. Jednakże te działania nie mają jasno określonej długoterminowej perspektywy - mapy drogowej rozwoju. Być może wpływ na to ma duża fluktuacja kadr i efekt braku "pamięci organizacji". Na podstawie własnych doświadczeń wdrożeniowych postanowiliśmy przygotować zestawienie pokazujące stopień adaptacji rozwiązań BI/Big Data w branży energetycznej i branży finansowej. Nie są to badania reprezentatywne, niemniej łatwo można ocenić stopień adaptacji rozwiązań na swoim własnym przykładzie. Obszar Technologia Energetyka Bankowość Przechowywanie Operational Data Store + + Data Mart + + Corporate Data Warehouse -/+ + Big Data/Hadoop - + Rozwiązania hybrydowe - - Cloud Computing - - Przetwarzanie Wsadowy ETL + + Replikacja logów -/+ + Przetwarzanie strumieniowe - + Przetwarzanie in-memory - -/+ Hierarchical Storage Management - + Wykorzystanie Raporty predefiniowane + + BI Samoobsługowy -/+ + BI Operacyjny - -/+ Analityka Analizy statystyczne -/+ + Narzędzi Data Mining i eksploracyjne - + Machine Learning, Deep Neural Networks - -/+ Legenda: + wdrożenia produkcyjne -/+ wdrożenia Proof Of Concept/pilotażowe, wdrożenia w trakcie - brak wdrożenia lub brak danych 4.3. Wnioski Przed wszystkim należy zmienić nastawienie do zbiorów danych, należy je potraktować jako aktywa informacyjne (a nie jako uboczny produkt pracy systemów), zacząć je wykorzystywać i czerpać z tego korzyści. Konieczne jest też pozyskanie, utrzymanie kompetentnych analityków i wyznaczeni im precyzyjnych długoterminowych biznesowych celów związanych z wykorzystaniem BI/Big Data. Jeśli któryś z czynników należałoby podkreślić i wyróżnić to właśnie jakość Kadr. Zespoły zajmujące się analityką biznesową i systemami BI/Big Data to nie tylko administratorzy, architekci, programiści czy analitycy to również statystycy a także matematycy - absolwenci specjalności data science. Inwestycje w kadry, 198 JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z...

186 a w szczególności w budowę komplementarnego, kompetentnego i doświadczonego zespołu są istotnie wyzwaniem. O ile może przekazać w outsourcing wdrożenie czy też obsługę administracyjną, to jednak utrzymanie zespołu doświadczonych analityków jest kluczowe dla rozwoju i konkurencyjności firmy. Przewaga konkurencyjna to nie towar na półce, lub usługa, która można zamówić u dostawcy. Model biznesowy i wynikającą z niego przewagę biznesową trzeba wypracować samemu. Narzędzia do tego istnieją od lat, wystarczy je wykorzystać. JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z

187 200 JAK EFEKTYWNIE POZYSKAĆ, PRZECHOWYWAĆ I WYKORZYSTAĆ DANE. DOŚWIADCZENIA Z...

188 SYNCHRONIZACJA CZĘSTOTLIWOŚCI I CZASU JAKO NIEZBĘDNY ELEMENT NOWOCZESNYCH SIECI ENERGETYCZNYCH Dariusz Pietrzyk (Bitstream) SYNCHRONIZACJA CZĘSTOTLIWOŚCI I CZASU JAKO NIEZBĘDNY ELEMENT NOWOCZESNYCH