Odkryj Sekrety Efektywnego Business Intelligence Analizy zarządcze i szybkie raportowanie ad-hoc w Sybase IQ Marek Ryński Dyrektor Zarządzający, Dział Rozwoju Biznesu, Sybase Polska Warszawa, 3 października 27
Wizja Unwired Enterprise Unwired Enterprise to strategia usuwania barier w przepływie danych zapewniająca swobodny i bezpieczny przepływ informacji pomiędzy źródłami danych a miejscem ich wykorzystania. 2
Trendy rynku Rosnące ilości danych Ciągłe ładowanie danych Mieszane rodzaje zapytań ń (proste, skomplikowane, duże, ż małe, ł zaplanowane, ad-hoc, zagregowane, analityczne) Potrzeby pytania o dane atomowe (a nie o podsumowania, agregaty, kostki itp.) ELT (Ładuj potem transformuj) During the next three years, mixed workload performance will become the single most important performance issue in data warehousing. (Gartner Magic Quadrant 26) 3
Czego pragną ludzie biznesu Osoby nie związane ą z informatyką ą oczekują, że będzie ę ona stanowić nie tylko pasywne narzędzie wspierające operacje biznesowe, ale pozwoli również na interaktywne korzystanie ze zgromadzonych danych. Takie podejście zakłada: - nieograniczony dostęp do danych -możliwość konstruowania raportów i prowadzenia badań w dowolny sposób (zakres czasowy, merytoryczny, zależności, itp.) -szybkie i zawsze prawdziwe odpowiedzi i to wszystko na akceptowalnym poziomie kosztów. 4
i dlaczego z tego podejścia drwią informatycy y? Nieograniczony dostęp do danych? - wysokie koszty składowania wszystkich wymaganych przez biznes informacji (dyski, pamięci, procesory) - olbrzymie nakłady na licencje i sprzęt pozwalające na dostęp do danych wielu osobom Dowolny sposób konstruowania raportów? -ciągła przebudowa modelu danych, strojenie, budowa nowych związków. - utrzymywanie danych na poziomie transakcji (j.w) Szybkie i prawdziwe odpowiedzi? - albo dużo danych albo szybkie odpowiedzi, - albo raporty będą ę ą zdefiniowane z góry albo trzeba na nie poczekać - co to znaczy prawdziwa informacja? i to wszystko na akceptowalnym poziomie kosztów? 5
Consensus? Sybase IQ Consensus nie musi oznaczać rezygnacji ze swoich oczekiwań! Świadomość rozbieżności potrzeb biznesu i możliwości technicznych skłoniła Sybase do skonstruowania zupełnie nowego produktu. Takie podejście pozwoliło zbudować rozwiązanie optymalnie zaspokajające potrzeby analityczne ne bez konieczności ponoszenia dużych wydatków. 6
Niewiarygodne? Ależ to oczywiste! Vertical storage Credit Card State Transaction Amount VISA NY 6 MC CA 9 AMEX WA 5 VISA CA - - - VISA - Bitmap indexing STATE = NY - STATE = CA - Bitwise indexing Pionowe składowanie danych redukcja operacji We/Wy, odejście od skanowania całych tabel Kompresja redukcja operacji We/Wy, mała zajętość pamięci ę dyskowych y Pełne indeksowanie Bitmap BitWise Optymalizacja procesu ładowania danych 2 3 2 2 2 2 Równoległe operacje na komputerach wieloprocesorowych 7
Sybase IQ Tradycyjny yj y RDBMS vs Sybase IQ Konwencjonalny RDBMS Sybase IQ Dane x Dane / Indeksy 3x Indeksy Dane przechowywane w kolumnach Czego chcemy! Agregaty Indeksy i agregaty Dane przechowywane w rekordach 8
Sybase IQ Tradycyjny yj y RDBMS vs Sybase IQ Konwencjonalny RDBMS Sybase IQ Dane x Dane / Indeksy 3x Indeksy Agregaty Indeksy i agregaty Co dostajemy! Co nam daje Sybase IQ! Dane przechowywane jako kolumny poindeksowane Silna kompresja danych Tylko dane wymagane są odczytywane 3x-x razy mniejsza powierzchnia jest wymagana Zapytania szybsze x-x 9
Sybase IQ Jak to jest z przestrzenią ą dyskową? ą Sybase IQ Konwencjonalny DBMS Te same dane wej.: Konwencjonalny DW 3x-x larger niż Sybase IQ DW Podsumowania Agregaty -2TB Indeksy 2.4-6 TB Dane wej. : TB Źródło: pliki płaskie, ETL, replikacja LOAD LOAD.25-9TB.9 Aggr/Pods.: -.TB Indeksy:.5-.3TB Tabela (FP):.2-.5TB.5-3TB Tabela bazowa RAW data.9-.tb
Sybase IQ Elastyczność we wszystkich obszarach Zapytania Serwer zaprojektowany dla zapytań Ad-Hoc Nie są potrzebne extra indeksy Nie ma potrzeby dostrajania zapytań Zarządzanie operacyjne Nie są potrzebni regularni administratorzy Nie ma odświeżeń, reorganizacji, j, przebudowania statystyk y itp. Model danych Wspierane modele transakcyjne, analityczne i nietypowe Model w 3 postaci normalnej Model gwiazdy Model R-cube
Sybase IQ Zastosowania Data Aggregator g Analytics typowe zastosowanie jako motor korporacyjnej hurtowni danych Advanced Analytics Accelerator - zastosowanie Sybase IQ w hybrydowej architekturze razem z bazą transakcyjną w celu przyśpieszenia raportów i umożliwienia wyszukanych analiz oraz w celu odciążenia systemu transakcyjnego Operational Report Server - typowe zastosowanie jako motor departamentalnej hurtowni danych Retention Server - zastosowanie Sybase IQ jako dynamicznego i bardzo efektywnego archiwum danych historycznych oraz danych nieustrukturalizowanych 2
Sybase IQ akcelerator raportów Lepsze działanie szybsze odpowiedzi więcej danych Przełączenie aplikacji generującej zapytania Sybase PowerDesigner Przeniesienie modelu danych, Generowanie skryptów ładowania, Analiza danych y i typów yp indeksów SYSTEM ŹRÓDŁOWY Moduł Analityczny (Sybase IQ) Niskie ryzyko krótki czas wdrożenia przejrzysta architektura Oszczędności ę na sprzęcie w utrzymaniu Ładowanie i replikacja danych Sybase RepServer / Direct Connect / ETL 3 3
Sybase IQ Aplikacje klienckie BusinessObjects Actuate Cognos EP Series Crystal Decisions Crystal Reports Cold Fusion Corvu Microstrategy DSS Agent Informatica PowerCenter/PowerMart Ascential Datastage Macromedia ColdFusion Microsoft Access 2 SPSS Clementine MicroStrategy Brio (Hyperion Intelligence) English Wizard Hummingbird WhiteLight SAS SAP I wiele innych 4
SYBASE IQ silne strony naszej bazy Ponad 7 klientów na świecie, wykorzystujących Sybase IQ na różnych platformach i w zróżnicowanych środowiskach Wysoka wydajność zapytań Ad-hoc Wysoka wydajność w środowiskach o zróżnicowanym obciążeniu Skalowalność (zarówno jeżeli chodzi o rozmiar, jak i liczbę użytkowników) Wysoka wydajność ładowania masowego Kompresja Łatwość użytkowania Niski współczynnik TCO 5
Sybase IQ Co warto zapamiętać ę Składowanie kolumnowe Sybase IQ SQL Standardowe narzędzia Zaawansowany optymalizator Bezpieczeństwo Ładowanie w czasie rzeczywistym (24x7) Wydajność sprzętu Prosta administracja 6