Szybkość instynktu i rozsądek rozumu$

Transkrypt

1

2 Szybkość instynktu i rozsądek rozumu$ zastosowania rozwiązań BigData$ Bartosz Dudziński" Architekt IT!

3 Już nie tylko dokumenty Ilość Szybkość Różnorodność 12 terabajtów milionów Tweet-ów tworzonych codziennie 5 transakcji biznesowych / sekundę 4 TB/stanowisko/dzień typowy system wideomonitoringu % tworzonej petabajtów milionów informacji nowej informacji codziennie rekordów dotyczących rozmów / dzień to treści niestrukturalne

4 Energetyka zajmuje ważne miejsce wśród adresatów rozwiązań BigData$ Generowanie Transmisja Dystrybucja Pracownicy Klienci 500 milionów Odczytów liczników w typowym projekcie inteligentnych liczników Dostawcy Zamówienia Handel Utrzymanie Regulacje 80% przyrostu Dla danych smart grid, prognoz pogody oraz dokumentów Marketing GIS Mierniki Sensory Social Media 4 petabajty Danych do modelowania pogody do optymalizacji elektrowni wiatrowych

5 Dane pomiarowe są jednym z głównych wolumenów danych$ Systemy SCADA nadzoru sieci elektroenergetycznej Inteligentne liczniki energii elektrycznej

6 Natłok informacji kłopotliwy dla człowieka$ Zdarzenia o niskim priorytecie nabierają znaczenia w kontekście innych zdarzeń/pomiarów Konieczność szybkiego i rozsądnego podejmowania decyzji w kontekście aktualnej konfiguracji sieci Kilka systemów SCADA obsługujących różne obszary sieci na przykład wysokie, średnie i niskie napięcie Ogromna skala informacji podlegająca analizie przy podejmowaniu decyzji

7 Reguły eksperckie na dobry początek$ Przetwarzanie strumienia W procesie przetwarzania strumienia danych SCADA realizowane są reguły korelacji zdarzeń i pomiarów w celu przewidywania zagrożeń Reguły korelacji oparte są na danych SCADA oraz bieżących danych o konfiguracji sieci sieci Systemy zewnętrzne

8 Czego oczy nie widzą tego nie ma$ Wizualizacja Przetwarzanie strumienia Ostrzeżenia są wizualizowane przejrzyście wraz z kontekstowymi danymi pomiarowymi oraz agregacjami Ostrzeżenia wzbogacone są o proponowane sposoby rozwiązania problemu sieci Systemy zewnętrzne

9 Gromadzimy doświadczenie$ Wizualizacja Przetwarzanie strumienia Dane przetwarzane strumieniowo są magazynowane w bazie w celu dalszego przetwarzania Dane SCADA sieci Systemy zewnętrzne

10 Zmieniamy doświadczenie w wiedzę$ Wizualizacja Przetwarzanie strumienia Budowa modeli Dane predykcyjnych sieci SCADA Zgromadzone dane są przetwarzane w celu wygenerowania modeli predykcyjnych przewidywania zagrożenia Systemy zewnętrzne

11 Wiedzę stosujemy bezzwłocznie $ Wizualizacja Przetwarzanie strumienia Budowa modeli predykcyjnych Modele predykcyjne stosowane są w procesie przetwarzania strumieniowego bieżące przewidywanie zagrożenia Dane sieci SCADA Systemy zewnętrzne

12 Przy tym wolumenie trzeba użyć odpowiednich narzędzi$ Cognos Real Time Monitoring Wizualizacja Przetwarzanie strumienia InfoSphere Streams Budowa modeli predykcyjnych SPSS Tools Dane SCADA sieci PureData For Analytics Informix Time Series Systemy zewnętrzne

13 Odpowiednie narzędzia do zadania$ InfoSphere Streams Grid obliczeniowy bazujący na modelu przetwarzania strumieniowego pozwalający na przetwarzania rozproszone sięgające milionów komunikatów na sekundę. PureData For Analytics Zoptymalizowana sprzętowo relacyjna baza danych dedykowana do prowadzenia analityki na dużych zbiorach danych. SPSS Tools Narzędzia budowy modeli predykcyjnych ściśle zintegrowane z PureData for Analytics (możliwość przenoszenia przetwarzania na PDfA) oraz InfoSphere Streams (wykonywanie modeli predykcyjnych) Cognos Real Time Monitoring Wydajne elastyczne narzędzie do wizualizowanie danych szybkozmiennych. Informix Time Series Dedykowane narzędzie bazujące na bazie danych Informix przeznaczone efektywnego ładowania danych, przechowywania oraz ich przetwarzania. Wykorzystywany w rozwiązaniach dla rynku energetycznego.

14 Należy poszerzać horyzonty$ Wizualizacja Przetwarzanie strumienia Budowa modeli predykcyjnych Dane SCADA Dane Meteo GIS sieci Dane Operacyjne Systemy zewnętrzne

15 Dane wszechstronnego zastosowania$ Optymalizacja kosztów obsługi sieci poprzez przewidywanie czasu życia i prawdopodobieństwa awarii Wizualizacja Optymalne zarządzanie brygadami Przetwarzanie strumienia Wykrywanie anomalii w kontekście sprzętu, przestrzeni, warunków pogodowych Dokładniejsze przewidywanie Budowa modeli zapotrzebowania na energię predykcyjnych Dokładniejsze przewidywanie Dane SCADA sieci możliwości dostarczenia energii dla energii odnawialnej Dane Dane Meteo Operacyjne GIS Systemy zewnętrzne

16 Dane z inteligentnych liczników są bezcenne$ Segmentacja klientów pod kątem profilu zużycia energii Wykrywanie kradzieży prądu oraz nadużyć Dane sieci Liczników Dane Meteo GIS Wykrywanie anomalii w kontekście przestrzeni, warunków pogodowych Dane Operacyjne Bardziej szczegółowa identyfikacja klienta i odpowiedź na zapotrzebowanie

17 Rozmiar ma znaczenie przy dużym wolumenie$ Dane sieci Liczników Dane Meteo GIS 5 milionów liczników x 95 pomiarów dziennie (co 15 minut) 475 mln pomiarów dziennie Oznacza to około pomiarów na sekundę Dane Operacyjne Zalecane jest stosowanie prostych protokołów i formatów danych Na przykład protokołu MQTT

18 Podsumowanie$ IBM dostarcza narzędzie pozwalające na przetwarzanie BigData Narzędzie te są stosowane w realnych projektach wdrożonych produkcyjnie Technologia znajduje coraz to nowe zastosowania biznesowe IBM prowadzi szereg poważnych wdrożeń pilotażowych między innymi w sektorze energetycznym Kto pierwszy połączy wiedzę dziedzinową z wiedzą analityczną zyskuje rynkową przewagę konkurencyjną

19 Dziękuję