Szybkość instynktu i rozsądek rozumu$ zastosowania rozwiązań BigData$ Bartosz Dudziński" Architekt IT!
Już nie tylko dokumenty Ilość Szybkość Różnorodność 12 terabajtów milionów Tweet-ów tworzonych codziennie 5 transakcji biznesowych / sekundę 4 TB/stanowisko/dzień typowy system wideomonitoringu 15 500 80% tworzonej petabajtów milionów informacji nowej informacji codziennie rekordów dotyczących rozmów / dzień to treści niestrukturalne
Energetyka zajmuje ważne miejsce wśród adresatów rozwiązań BigData$ Generowanie Transmisja Dystrybucja Pracownicy Klienci 500 milionów Odczytów liczników w typowym projekcie inteligentnych liczników Dostawcy Zamówienia Handel Utrzymanie Regulacje 80% przyrostu Dla danych smart grid, prognoz pogody oraz dokumentów Marketing GIS Mierniki Sensory Social Media 4 petabajty Danych do modelowania pogody do optymalizacji elektrowni wiatrowych
Dane pomiarowe są jednym z głównych wolumenów danych$ Systemy SCADA nadzoru sieci elektroenergetycznej Inteligentne liczniki energii elektrycznej
Natłok informacji kłopotliwy dla człowieka$ Zdarzenia o niskim priorytecie nabierają znaczenia w kontekście innych zdarzeń/pomiarów Konieczność szybkiego i rozsądnego podejmowania decyzji w kontekście aktualnej konfiguracji sieci Kilka systemów SCADA obsługujących różne obszary sieci na przykład wysokie, średnie i niskie napięcie Ogromna skala informacji podlegająca analizie przy podejmowaniu decyzji
Reguły eksperckie na dobry początek$ Przetwarzanie strumienia W procesie przetwarzania strumienia danych SCADA realizowane są reguły korelacji zdarzeń i pomiarów w celu przewidywania zagrożeń Reguły korelacji oparte są na danych SCADA oraz bieżących danych o konfiguracji sieci sieci Systemy zewnętrzne
Czego oczy nie widzą tego nie ma$ Wizualizacja Przetwarzanie strumienia Ostrzeżenia są wizualizowane przejrzyście wraz z kontekstowymi danymi pomiarowymi oraz agregacjami Ostrzeżenia wzbogacone są o proponowane sposoby rozwiązania problemu sieci Systemy zewnętrzne
Gromadzimy doświadczenie$ Wizualizacja Przetwarzanie strumienia Dane przetwarzane strumieniowo są magazynowane w bazie w celu dalszego przetwarzania Dane SCADA sieci Systemy zewnętrzne
Zmieniamy doświadczenie w wiedzę$ Wizualizacja Przetwarzanie strumienia Budowa modeli Dane predykcyjnych sieci SCADA Zgromadzone dane są przetwarzane w celu wygenerowania modeli predykcyjnych przewidywania zagrożenia Systemy zewnętrzne
Wiedzę stosujemy bezzwłocznie $ Wizualizacja Przetwarzanie strumienia Budowa modeli predykcyjnych Modele predykcyjne stosowane są w procesie przetwarzania strumieniowego bieżące przewidywanie zagrożenia Dane sieci SCADA Systemy zewnętrzne
Przy tym wolumenie trzeba użyć odpowiednich narzędzi$ Cognos Real Time Monitoring Wizualizacja Przetwarzanie strumienia InfoSphere Streams Budowa modeli predykcyjnych SPSS Tools Dane SCADA sieci PureData For Analytics Informix Time Series Systemy zewnętrzne
Odpowiednie narzędzia do zadania$ InfoSphere Streams Grid obliczeniowy bazujący na modelu przetwarzania strumieniowego pozwalający na przetwarzania rozproszone sięgające milionów komunikatów na sekundę. PureData For Analytics Zoptymalizowana sprzętowo relacyjna baza danych dedykowana do prowadzenia analityki na dużych zbiorach danych. SPSS Tools Narzędzia budowy modeli predykcyjnych ściśle zintegrowane z PureData for Analytics (możliwość przenoszenia przetwarzania na PDfA) oraz InfoSphere Streams (wykonywanie modeli predykcyjnych) Cognos Real Time Monitoring Wydajne elastyczne narzędzie do wizualizowanie danych szybkozmiennych. Informix Time Series Dedykowane narzędzie bazujące na bazie danych Informix przeznaczone efektywnego ładowania danych, przechowywania oraz ich przetwarzania. Wykorzystywany w rozwiązaniach dla rynku energetycznego.
Należy poszerzać horyzonty$ Wizualizacja Przetwarzanie strumienia Budowa modeli predykcyjnych Dane SCADA Dane Meteo GIS sieci Dane Operacyjne Systemy zewnętrzne
Dane wszechstronnego zastosowania$ Optymalizacja kosztów obsługi sieci poprzez przewidywanie czasu życia i prawdopodobieństwa awarii Wizualizacja Optymalne zarządzanie brygadami Przetwarzanie strumienia Wykrywanie anomalii w kontekście sprzętu, przestrzeni, warunków pogodowych Dokładniejsze przewidywanie Budowa modeli zapotrzebowania na energię predykcyjnych Dokładniejsze przewidywanie Dane SCADA sieci możliwości dostarczenia energii dla energii odnawialnej Dane Dane Meteo Operacyjne GIS Systemy zewnętrzne
Dane z inteligentnych liczników są bezcenne$ Segmentacja klientów pod kątem profilu zużycia energii Wykrywanie kradzieży prądu oraz nadużyć Dane sieci Liczników Dane Meteo GIS Wykrywanie anomalii w kontekście przestrzeni, warunków pogodowych Dane Operacyjne Bardziej szczegółowa identyfikacja klienta i odpowiedź na zapotrzebowanie
Rozmiar ma znaczenie przy dużym wolumenie$ Dane sieci Liczników Dane Meteo GIS 5 milionów liczników x 95 pomiarów dziennie (co 15 minut) 475 mln pomiarów dziennie Oznacza to około 5 500 pomiarów na sekundę Dane Operacyjne Zalecane jest stosowanie prostych protokołów i formatów danych Na przykład protokołu MQTT
Podsumowanie$ IBM dostarcza narzędzie pozwalające na przetwarzanie BigData Narzędzie te są stosowane w realnych projektach wdrożonych produkcyjnie Technologia znajduje coraz to nowe zastosowania biznesowe IBM prowadzi szereg poważnych wdrożeń pilotażowych między innymi w sektorze energetycznym Kto pierwszy połączy wiedzę dziedzinową z wiedzą analityczną zyskuje rynkową przewagę konkurencyjną
Dziękuję