Log management i analizy > to czego nie widać Tomasz Sawiak
Agenda O Firmie Obszary analizy logów Splunk co wyróżnia rozwiązanie Podejście do wdrożenia Use-casy
Safe Computing 1994 rok Motto: chronimy Twoje informacje grupa kapitałowa COMP ISO 9001: 2000 Doradztwo, projektowanie, implementacja zabezpieczeń informatycznych i informacji oraz przeprowadzanie audytów bezpieczeństwa informatycznego i informacji 3
Struktura usług SafeComputing Bezpieczeństwo aplikacji Systemy monitorowania bezpieczeństwa (ArcSight) Usługi monitorowania bezpieczeństwa Systemy kontroli treści Systemy monitorujące i zapobiegające wyciekowi danych (DLP) Systemy zarządzania ryzykiem i monitorowania podatności Usługi doradcze i analityczne Systemy kontroli zapór sieciowych Systemy sieciowej kontroli dostępu Usługi wdrożeniowe nowoczesnych technologii Systemy antywirusowe i antyszpiegowskie Systemy szyfrowania danych 4
Splunk Centrala: San Francisco, CA Regionalne centra w Hong Kongu i Londynie Powstała w 2004r, pierwsza wersja wydana w 2006r. ok. 500 pracowników łącznie w 8 krajach Przychody: $100M+ w 2011r. Roczny wzrost 112% 3500 Klientów Klienci w 84 krajach 50 z fortune 100 5
Źródła logów - obszary Zwiększająca się: ilość danych/logów, źródeł, typów 80-95% danych w organizacji jest nieustrukturyzowane Często logi pozostają dostępne tylko domenach funkcjonalnch swoich systemów Nieustanny rozwój nowych technologii nowe źródła Zawierają informacje o zachowaniu i aktywności użytkowników, systemów, urządzeń, sieci 6
Różnorodność i ilość technologii 7
Jakie są typy informacji w logach? Różne perspektywy analizy logów (rożne typy zdarzeń) 8
Brak standardu dla formatu logów Logi aplikacyjne ####<Sep 24, 2009 2:52:38 PM PDT> <Warning> <EJB> <virt3> < myserver> <[ACTIVE] ExecuteThread: '224' for queue: 'weblogic.kernel.default (self-tuning)'> <<anonymous>> <> <> <1253829158586> <BEA-010065> <MessageDrivenBean threw an Exception in onmessage(). The exception was: javax.ejb.ejbexception: nested exception is: javax.ejb.objectnotfoundexception: Bean with primary key '10011968' was not found by ' findbyprimarykey'.. javax.ejb.ejbexception: nested exception is: javax.ejb.objectnotfoundexception: Bean with primary key '10011968' was not found by ' findbyprimarykey'. at com.sun.j2ee.blueprints.opc.customerrelations.ejb.mailorderapprovalmdb.onmessage(mailorderapprov almdb.java:140) at weblogic.ejb.container.internal.mdlistener.execute(mdlistener.java:429) at weblogic.ejb.container.internal.mdlistener.transactionalonmessage(mdlistener.java:335) at weblogic.ejb.container.internal.mdlistener.onmessage(mdlistener.java:291) at weblogic.jms.client.jmssession.onmessage(jmssession.java:4072) at weblogic.jms.client.jmssession.execute(jmssession.java:3962) at weblogic.jms.client.jmssession$useforrunnable.run(jmssession.java:4490) at weblogic.work.serverworkmanagerimpl$workadapterimpl.run(serverworkmanagerimpl.java:518) at weblogic.work.executethread.execute(executethread.java:209) at weblogic.work.executethread.run(executethread.java:181) Nieudokumentowany format logów Zmiany w aplikacjach skutkują często generowaniem nowych typów zdarzeń Tradycyjne narzędzia do zarządzania logami polegają na schemacie zdarzeń, które mogą się zmienić [Thu Sep 24 14:57:33 2009] [error] [client 10.2.1.44] ap_proxy: trying GET /petstore/ enter_order_information.screen at backend host '127.0.0.1/7001; got exception 'CONNECTION_REFUSED [os error=0, line 1739 of../nsapi/url.cpp]: Error connecting to host 127.0.0.1:7001', referer: http://10.2.1.223/petstore/cart.do?action= purchase&itemid=est-14 9
Różnorodność i ciągłe zmiany 100 dostawców = 1000 formatów logów Intrusion Detection System 009-9-18 8:27:58 Local7.Notice Jul 28 2009 15:39:18 '<?xml version="1.0" 192.168.202.1 Oct 15 2008 00:00:21 ASA VDN1 : %ASA 5 106100: access list inbound encoding="utf-8" standalone="yes"?><events denied Cisco Security Agent Fri Sep 18_18:20:01_PDT_2009 peizhu-wxp02 64.104.161.154 2389 449 2009-06-01 19:51:28.343 The process 'C: Sep 24 2009 09:59:28 192.168.2.1 Ironport Email Security ns5gt-wlan: NetScreen device_id=ns5gtwlan [No Name]system-notification- 1253289166.13 306 1.1.1.1 TCP_MISS/200 4215 GET 00257(traffic): start_time="2009-09-24 http://photos-e.ak.fbcdn.net/hphotos-ak-snc1/ 09:59:28
Podejście Splunk a
Kompleksowe podejście do kolekcji i analizy logów Dowolna ilość logów, lokalizacja, źródło. Brak narzuconego schematu zdarzeń Brak tworzenia niestandardowych konektorów Brak RDBMS 12
Dashboardy i widoki dla różnych ról Audytorzy IT Połączenie logów systemowych z Analitycy (Marketing Właściciele kontekstem biznesowym& Business) pozwala na biznesowi systemów pokazanie nowego wymiaru analiz 13
Liniowa skalowalność systemu 14
Szerokie zastosowanie 15
Rosnąca społeczność użytkowników i aplikacji Ponad 200 Aplikacji dostępnych do wykorzystania dla Użytkowników 16
Application Management Apps 17
IT Operations Management Apps 18
Security & Compliance Apps 19
Podejście do wdrożenia 20
Ewolucja podejścia do analizy logów Wiadro na logi ewolucja proaktywne analizy, wsparcie biznesu w podejmowaniu właściwych decyzji 21
Dojrzałość proces monitorowania Nadanie analizom kontekstu biznesowego Doskonalenie procesów operacyjnych (KPI, KRI) Proaktywny monitoring Analizy ad hoc 22
Wartość logów dla biznesu i IT Kontekst biznesowy User IP Action Login Result Zachowanie klientów 10.2.1.44 - [25/Sep/2009:09:52:30-0700] Wykorzystanie usług i type=user_login msg=audit(1253898008.056:199891): user pid=25702 uid=0 produktów auid=4294967295 msg='acct="taylor": exe="/usr/sbin/sshd" (hostname=?, addr=10.2.1.48, terminal=sshd res=failed)' Widok transakcji User Kontekst IP Product IT Category Utrzymanie SLA i dostępności systemów 10.2.1.80 - - [25/Jan/2010:09:52:30-0700] Zapewnienie bezpieczeństwa 23 /petstore/product.screen "GET?product_id=AV-CB-01 HTTP/1.1" 200wymogów 9967 "http://10.2.1.224/petstore/ Spełnienie complance category.screen?category_id=birds" "Mozilla/5.0 (compatible; Konqueror/3.1; Szybkie analizy i rozwiązywanie problemów Linux) "JSESSIONID=xZDTK81Gjq9gJLGWnt2NXrJ2tpGZb1HyHHV8hJGYFj1DFByvL5L!-1539148667"
Przykładowe use-casy Stworzenie centralnej konsoli (mash up) integrującej różne konsole systemów monitorowania główny widok dla Operation Center. Podstawowe narzędzie analizy logów dla IT operations, wypełnienie zaleceń audytowych Wykorzystanie monitorowania logów do redukcji kosztów związanych z przestojami (monitorowania SLA) Wykorzystanie analizy logów do wspomagania decyzji biznesowych 24
Use- casy Tworzenie raportów z wykorzystania licencji użytkowników w środowisku SAP Complance zmiana hasła po resecie w helpdesk Monitorowania na konta techniczne spoza dopuszczonych IP Monitorowanie wykonania kluczowych przetwarzań wsadowych w ciągu dnia Uzupełnienie ochrony AV monitorowanie odwołań do domen z blacklisty Logowania z IP na blackliście. 25
Wzbogacanie danych Nadanie kontekstu zdarzeniom Mapa sieci (network modeling) Uzupełnianie ID użytkownika o nazwę departamentu i dodatkowe informacje przy analizach Tworzenie blacklist (np. labsecura.com -> ssh honeypot) 26
Splunk> Ponad 3500 klientów (w 84 krajach) 27
Dziękujemy za uwagę flickr: juhansonin 28