Log management i analizy > to czego nie widać. Tomasz Sawiak

Transkrypt

1 Log management i analizy > to czego nie widać Tomasz Sawiak

2 Agenda O Firmie Obszary analizy logów Splunk co wyróżnia rozwiązanie Podejście do wdrożenia Use-casy

3 Safe Computing 1994 rok Motto: chronimy Twoje informacje grupa kapitałowa COMP ISO 9001: 2000 Doradztwo, projektowanie, implementacja zabezpieczeń informatycznych i informacji oraz przeprowadzanie audytów bezpieczeństwa informatycznego i informacji 3

4 Struktura usług SafeComputing Bezpieczeństwo aplikacji Systemy monitorowania bezpieczeństwa (ArcSight) Usługi monitorowania bezpieczeństwa Systemy kontroli treści Systemy monitorujące i zapobiegające wyciekowi danych (DLP) Systemy zarządzania ryzykiem i monitorowania podatności Usługi doradcze i analityczne Systemy kontroli zapór sieciowych Systemy sieciowej kontroli dostępu Usługi wdrożeniowe nowoczesnych technologii Systemy antywirusowe i antyszpiegowskie Systemy szyfrowania danych 4

5 Splunk Centrala: San Francisco, CA Regionalne centra w Hong Kongu i Londynie Powstała w 2004r, pierwsza wersja wydana w 2006r. ok. 500 pracowników łącznie w 8 krajach Przychody: $100M+ w 2011r. Roczny wzrost 112% 3500 Klientów Klienci w 84 krajach 50 z fortune 100 5

6 Źródła logów - obszary Zwiększająca się: ilość danych/logów, źródeł, typów 80-95% danych w organizacji jest nieustrukturyzowane Często logi pozostają dostępne tylko domenach funkcjonalnch swoich systemów Nieustanny rozwój nowych technologii nowe źródła Zawierają informacje o zachowaniu i aktywności użytkowników, systemów, urządzeń, sieci 6

7 Różnorodność i ilość technologii 7

8 Jakie są typy informacji w logach? Różne perspektywy analizy logów (rożne typy zdarzeń) 8

9 Brak standardu dla formatu logów Logi aplikacyjne ####<Sep 24, :52:38 PM PDT> <Warning> <EJB> <virt3> < myserver> <[ACTIVE] ExecuteThread: '224' for queue: 'weblogic.kernel.default (self-tuning)'> <<anonymous>> <> <> < > <BEA > <MessageDrivenBean threw an Exception in onmessage(). The exception was: javax.ejb.ejbexception: nested exception is: javax.ejb.objectnotfoundexception: Bean with primary key ' ' was not found by ' findbyprimarykey'.. javax.ejb.ejbexception: nested exception is: javax.ejb.objectnotfoundexception: Bean with primary key ' ' was not found by ' findbyprimarykey'. at com.sun.j2ee.blueprints.opc.customerrelations.ejb.mailorderapprovalmdb.onmessage(mailorderapprov almdb.java:140) at weblogic.ejb.container.internal.mdlistener.execute(mdlistener.java:429) at weblogic.ejb.container.internal.mdlistener.transactionalonmessage(mdlistener.java:335) at weblogic.ejb.container.internal.mdlistener.onmessage(mdlistener.java:291) at weblogic.jms.client.jmssession.onmessage(jmssession.java:4072) at weblogic.jms.client.jmssession.execute(jmssession.java:3962) at weblogic.jms.client.jmssession$useforrunnable.run(jmssession.java:4490) at weblogic.work.serverworkmanagerimpl$workadapterimpl.run(serverworkmanagerimpl.java:518) at weblogic.work.executethread.execute(executethread.java:209) at weblogic.work.executethread.run(executethread.java:181) Nieudokumentowany format logów Zmiany w aplikacjach skutkują często generowaniem nowych typów zdarzeń Tradycyjne narzędzia do zarządzania logami polegają na schemacie zdarzeń, które mogą się zmienić [Thu Sep 24 14:57: ] [error] [client ] ap_proxy: trying GET /petstore/ enter_order_information.screen at backend host ' /7001; got exception 'CONNECTION_REFUSED [os error=0, line 1739 of../nsapi/url.cpp]: Error connecting to host :7001', referer: purchase&itemid=est-14 9

10 Różnorodność i ciągłe zmiany 100 dostawców = 1000 formatów logów Intrusion Detection System :27:58 Local7.Notice Jul :39:18 '<?xml version="1.0" Oct :00:21 ASA VDN1 : %ASA : access list inbound encoding="utf-8" standalone="yes"?><events denied Cisco Security Agent Fri Sep 18_18:20:01_PDT_2009 peizhu-wxp :51: The process 'C: Sep :59: Ironport Security ns5gt-wlan: NetScreen device_id=ns5gtwlan [No Name]system-notification TCP_MISS/ GET 00257(traffic): start_time=" :59:28

11 Podejście Splunk a

12 Kompleksowe podejście do kolekcji i analizy logów Dowolna ilość logów, lokalizacja, źródło. Brak narzuconego schematu zdarzeń Brak tworzenia niestandardowych konektorów Brak RDBMS 12

13 Dashboardy i widoki dla różnych ról Audytorzy IT Połączenie logów systemowych z Analitycy (Marketing Właściciele kontekstem biznesowym& Business) pozwala na biznesowi systemów pokazanie nowego wymiaru analiz 13

14 Liniowa skalowalność systemu 14

15 Szerokie zastosowanie 15

16 Rosnąca społeczność użytkowników i aplikacji Ponad 200 Aplikacji dostępnych do wykorzystania dla Użytkowników 16

17 Application Management Apps 17

18 IT Operations Management Apps 18

19 Security & Compliance Apps 19

20 Podejście do wdrożenia 20

21 Ewolucja podejścia do analizy logów Wiadro na logi ewolucja proaktywne analizy, wsparcie biznesu w podejmowaniu właściwych decyzji 21

22 Dojrzałość proces monitorowania Nadanie analizom kontekstu biznesowego Doskonalenie procesów operacyjnych (KPI, KRI) Proaktywny monitoring Analizy ad hoc 22

23 Wartość logów dla biznesu i IT Kontekst biznesowy User IP Action Login Result Zachowanie klientów [25/Sep/2009:09:52: ] Wykorzystanie usług i type=user_login msg=audit( :199891): user pid=25702 uid=0 produktów auid= msg='acct="taylor": exe="/usr/sbin/sshd" (hostname=?, addr= , terminal=sshd res=failed)' Widok transakcji User Kontekst IP Product IT Category Utrzymanie SLA i dostępności systemów [25/Jan/2010:09:52: ] Zapewnienie bezpieczeństwa 23 /petstore/product.screen "GET?product_id=AV-CB-01 HTTP/1.1" 200wymogów 9967 " Spełnienie complance category.screen?category_id=birds" "Mozilla/5.0 (compatible; Konqueror/3.1; Szybkie analizy i rozwiązywanie problemów Linux) "JSESSIONID=xZDTK81Gjq9gJLGWnt2NXrJ2tpGZb1HyHHV8hJGYFj1DFByvL5L! "

24 Przykładowe use-casy Stworzenie centralnej konsoli (mash up) integrującej różne konsole systemów monitorowania główny widok dla Operation Center. Podstawowe narzędzie analizy logów dla IT operations, wypełnienie zaleceń audytowych Wykorzystanie monitorowania logów do redukcji kosztów związanych z przestojami (monitorowania SLA) Wykorzystanie analizy logów do wspomagania decyzji biznesowych 24

25 Use- casy Tworzenie raportów z wykorzystania licencji użytkowników w środowisku SAP Complance zmiana hasła po resecie w helpdesk Monitorowania na konta techniczne spoza dopuszczonych IP Monitorowanie wykonania kluczowych przetwarzań wsadowych w ciągu dnia Uzupełnienie ochrony AV monitorowanie odwołań do domen z blacklisty Logowania z IP na blackliście. 25

26 Wzbogacanie danych Nadanie kontekstu zdarzeniom Mapa sieci (network modeling) Uzupełnianie ID użytkownika o nazwę departamentu i dodatkowe informacje przy analizach Tworzenie blacklist (np. labsecura.com -> ssh honeypot) 26

27 Splunk> Ponad 3500 klientów (w 84 krajach) 27

28 Dziękujemy za uwagę flickr: juhansonin 28