TECHNOLOGIE BIG DATA A BEZPIECZEŃSTWO INFORMATYCZNE WE KNOW YOU KNOW. silmine.com

13 + 13 LAT DOŚWIADCZENIA PONAD 480 ZREALIZOWANYCH PROJEKTÓW

PARTNERSTWO Naszą ambicją jest dostarczać klientom szeroki wachlarz usług w obszarze IT. W tym celu budujemy zarówno kompetencje wewnątrz firmy jak również pracujemy z partnerami: Hortonworks, SAS Institute. Jesteśmy partnerem Hortonworks - wiodącego dostawcy dystrybucji Apache Hadoop dostępnej w model open-source, a także SAS Institute światowego lidera w zakresie analityki biznesowej oraz największego niezależnego dostawcy oprogramowania Business Intelligence.

BIG DATA / HADOOP DATA SCIENCE ARCHITEKTURA ENTERPRISE BEZPIECZEŃSTWO INFORMATYCZNE - SIEM BEZPIECZEŃSTWO INFORMATYCZNE - HADOOP

BIG DATA/ HADOOP

BIG DATA/ HADOOP RZECZYWISTOŚĆ BIG DATA OTWIERA NOWE MOŻLIWOŚCI DLA BIZNESU

BIG DATA/ HADOOP TECHNOLOGICZNY GAME CHANGER DLA ZASTOSOWAŃ BIG DATA! DANE REDUNDANTNE. Brak ingerencji w procesy biznesowe i systemy transakcyjne. NIE ZASTĘPUJE HURTOWNI DANYCH. Dostarcza dane dla analityków szybko i z jednego miejsca. Ekosystem zaawansowanego oprogramowania, dedykowanego hardware oraz usług pozwala na efektywne kosztowo* gromadzenie i przetwarzanie bardzo dużej ilości danych w relatywnie krótkim czasie i/lub Real Time. * Oprogramowanie w modelu open source i low end hardware pozwala znacznie obniżyć TCO

BIG DATA/ HADOOP

DATA SCIENCE

ROZWÓJ ANALITYKI Rozwiązania innowacyjne Jak najlepiej postępować? Optimize Analityka 3.0 Co się stanie w przyszłości? Predict Czego możemy sięspodziewać? Forecast Dlaczego coś się dzieje? Statistical Analysis Rozwiązania typowe Alerts Jakie akcje należy wykonać? Raw data Clean data Standard reports Ad hoc reports Query drill down Gdzie dokładnie jest problem? Jak dużo, jak często i gdzie? Co się stało? Dane Informacje Wiedza Przewaga

ANALITYCZNY CYKL ŻYCIA

ARCHITEKTURA ENTERPRISE.

ARCHITEKTURA ENTERPRISE Identyfikacja potrzeb, możliwości i ograniczeń na poziomie biznesowym i technologicznym Opracowanie indywidualnej wizji rozwiązania Implementacja i utrzymanie uruchomionej infrastruktury

BEZPIECZEŃSTWO INFORMATYCZNE - SIEM.

CZYM JEST SILMINE SNIPER?

CO ZYSKUJESZ DZIĘKI SILMINE SNIPER?

JAK DZIAŁA SILMINE SNIPER? Zastosowane w SILMINE Sniper modularne podejście pozwala zarówno na skalowanie, jak i dostosowanie do Twoich indywidualnych potrzeb.

MODELE WSPÓŁPRACY

BEZPIECZEŃSTWO INFORMATYCZNE - HADOOP

SPECYFIKA KLASTRA PRZECHOWYWANIE PRZETWARZANIE Dane głębokie Projektowanie i ewaluacja modeli analitycznych Tani i bezpieczny storage Przetwarzanie real-time

SPECYFIKA KLASTRA Dane głębokie Projektowanie i ewaluacja modeli analitycznych Tani i bezpieczny storage Przetwarzanie real-time

ARCHITEKTURA KLASTRA HDP

BEZPIECZEŃSTWO KLASTRA

APACHE KNOX Gateway usług RESTowych Umożliwia separację sieciową klastra

APACHE RANGER Zabezpieczenie dostępu do klastra na poziomie użytkowników i grup Składa się z dwóch komponentów: Ranger Admin i Ranger Usersync Integracja z LDAP/AD lub konta UNIX-owe Audytowanie i raportowanie Agenty instalowane na serwerach Master Polisy dla HDFS, Hive, Hbase, Storm, Knox, Solr, Kafka, YARN Szybki czas propagacji uprawnień (rzędu kilku sekund)

APACHE RANGER

BEZPIECZEŃSTWO KLASTRA

BEZPIECZEŃSTWO KLASTRA Problem: Brak szyfrowania ruchu sieciowego pomiędzy węzłami klastra Rozwiązanie: Separacja sieciowa klastra i udostępnienie usług przez Knox Opis: Uruchomiono szyfrowane połączenia do paneli zarządzających i usługowych (Ambari, Ranger, Hue oraz Rest API przez KNOX) w oparciu o certyfikat dostarczony przez klienta. Konieczne okazało się konwertowane certyfikatów i kluczy pomiędzy różnymi formatami magazynów z powodu różnorodnej budowy klastra hadoopowego i różnych rozwiązań w zakresie świadczenia usług.

BEZPIECZEŃSTWO KLASTRA Opis: Problem: Ryzyko utraty danych w przypadku awarii Name Node Zwiększenie bezpieczeństwa klastra poprzez wdrożenie trybu High Availability (HA) dla Name Node ów. Rozwiązanie: Wdrożenie trybu HA dla Name Node

BEZPIECZEŃSTWO KLASTRA Opis: Klaster hadoop-owy posiada wiele Problem: Wiele punktów SPoF Rozwiązanie: RAID, redundacja usług, tryby HA dla usług punktów SPoF (Single Point of Failure) w obrębie usług (Yarn, Ranger, Hbase, bazy MySQL). Podniesienie bezpieczeństwa działania klastra można uzyskać stosując tryby HA dla usług oraz ochronę przed awarią systemu poprzez stosowanie zabezpieczeń sprzętowych, np. RAID, redundantne zasilacze, etc.

BEZPIECZEŃSTWO KLASTRA Problem: W separowanym środowisku brak zintegrowanego monitoringu węzłów Rozwiązanie: Udostępnienie monitorowanych parametrów z wykorzystaniem Nagios a Opis: Uruchomiliśmy dodatkowe monitorowanie zasobów Data Nodów (które normalnie są niewidoczne dla działu monitorowania) zbierane dane są przekazywane do Nagios a, a alerty są wysyłane poprzez dedykowany system zgłaszania eventów.

BEZPIECZEŃSTWO KLASTRA Opis: Problem: Szybko rosnące logi audytowe i systemowe Rozwiązanie: Przechowywanie logów w HDFS oraz wdrożenie systemu retencji logów Usunięcie problemu monitoringu systemu operacyjnego (szybko rosnące logi audytowe oraz systemowe) poprzez zmianę domyślnych lokalizacji plików składowanie na HDFS oraz wdrożenie autorskiego systemu retencji logów (w tym retencja logów audytowych Apache Ranger).

BEZPIECZEŃSTWO KLASTRA Problem: Pliki tworzone przez usługi ze zbyt wysokimi uprawnieniami dostępu Rozwiązanie: Zmiana domyślnych wartości poziomów uprawnień dostępu do plików dla problematycznych usług Opis: Pliki często posiadają niewłaściwe uprawnienia (np. posiadają maskę 777 gdzie akceptowana jest co najwyżej 750) modyfikacja obejmowała kod HUE. Konieczna okazała się także modyfikacja właścicieli plików np. w /usr/lib/oozie/share/lib po instalacji pliki były własnością nieistniejącego użytkownika '106'.

BEZPIECZEŃSTWO KLASTRA Opis: Problem: Hasła użytkowników technicznych zapisywane w plikach w sposób jawny Hasła użytkowników technicznych powinny być chronione. Wymaga to często modyfkacji kodu serwerów/klientów usług lub stosowanie własnych interfejsów dostępowych do usług (np. beeline) Rozwiązanie: Modyfikacje kodu serwerów lub stosowanie własnych interfejsów

DYSKUSJA

DZIĘKUJĘ ZA UWAGĘ Michal.Ledwon@silmine.com WE KNOW YOU KNOW.