Sybase IQ Multiplex: Dostarcza elastyczne możliwości skalowania dla wysokiej wydajności hurtowni danych klasy enterprise. Dokument techniczny

Transkrypt

1 Dokument techniczny Sybase IQ Multiplex: Dostarcza elastyczne możliwości skalowania dla wysokiej wydajności hurtowni danych klasy enterprise

2 SPIS TREŚCI 3 Wstęp 3 Rosnący popyt na informacje i analizę biznesową 4 Dodatkowe rozważania 4 Wydajność i elastyczność 5 Wyzwania przetwarzania równoległego na dużą skalę 5 Adresowanie potrzeb dzięki Sybase IQ Multiplex 5 Korzyści z podejścia kolumnowego 6 Multipleksing w Sybase IQ 6 Główne zalety i korzyści multipleksingu w Sybase IQ 6 Skalowalność 7 Wysoka dostępność i tolerancja na błędy 7 Oszczędność i wydajność w działaniu 7 Elastyczność 8 Wysoka wydajność 8 Sybase IQ Multiplex: Architektura 9 Cechy systemu 10 Sybase IQ Multiplex w działaniu 10 Tworzenie serwerów multipleksowych i administrowanie nimi 11 Monitorowanie 11 Równoważenie obciążeń 11 Przełączanie awaryjne i przywracanie po awarii 12 Sybase IQ Multiplex w rzeczywistym świecie 12 Studium przypadku: comscore 12 Podsumowanie 2

3 WSTĘP Coraz większe ilości danych w połączeniu z rosnącym popytem na godną zaufania wiedzę doprowadziły do zwiększonych inwestycji w technologie informacji biznesowej (business intelligence, BI), a w konsekwencji do tworzenia i wdrażania nowych aplikacji BI i analitycznych. Z tym trendem wiążą się oczekiwania co do większych możliwości analitycznych, wykraczających poza tradycyjne raportowanie. Równocześnie z potrzebą optymalizacji wydatków, maksymalizacji przychodów i odpowiedniego dostosowywania modeli i procesów biznesowych występuje popyt na różne typy systemów informacji biznesowej, raportowania i analizy, który to popyt napotyka na ograniczenia budżetowe, sprzętowe i usługowe. Jego wzrost warunkowany jest m.in. coraz większymi społecznościami użytkowników, większą ilością danych oraz zapotrzebowaniem na bardziej dogłębny wgląd w dane i udostępnianie odpowiednim osobom dodatkowych szczegółów w czasie zbliżonym do rzeczywistego. Aby organizacja mogła sprostać tym potrzebom, infrastruktura techniczna informacji biznesowej musi nie tylko zapewniać zdolność sprostania potrzebom związanym z analizą, lecz również dynamicznie dopasowywać się do wolumenów danych, oczekiwań związanych z raportowaniem i wymagań obliczeniowych wiążących się z wieloma różnymi scenariuszami korzystania z BI. Aby spełnić powyższe wymagania dotyczącewydajności i elastyczności, technologia musi skupiać się na metodach, technikach i narzędziach, które: Obsługują rosnącą i zróżnicowaną populację użytkowników Integrują w sposób wykonalny dane zarówno posiadające strukturę, jak i pozbawione struktury Dostosowują się do obsługi danych o dużym poziomie szczegółowości Spełniają wymagania organów kontrolnych dotyczące przechowywania danych Zapewniają wiedzę, na podstawie której można podejmować działania, poprzez wiele kanałów komunikacyjnych spełniających potrzeby związane z mobilnością oraz rozmaite schematy korzystania z wiedzy Serwer Sybase IQ został zaprojektowany po to, by spełniać owo rosnące zapotrzebowanie na raportowanie i analizy w organizacjach. Serwer ten, dostosowany do obsługi dużej liczby użytkowników i dużych ilości danych, jest w stanie zapewnić dostęp do informacji biznesowej z ogromną szybkością od dziesięciu do stu, a nawet tysiąc razy szybciej niż konwencjonalne relacyjne bazy danych. Sybase IQ wykorzystuje skalowalną pamięć, ekstremalnie szybkie procesory, nieograniczoną przestrzeń dyskową, kanały we/wy oraz podejście zwane multipleksingiem, w którym pojedyncze serwery wykonują konkretne funkcje, współdzieląc przestrzeń dyskową. Multipleksing umożliwia szereg różnych scenariuszy korzystania z systemu, takich jak: szybka równoległa analiza i raportowanie z jednoczesnym ładowaniem danych w czasie rzeczywistym z dużą szybkością, zadania wsadowe integracji danych oraz ładowanie danych i wysyłanie zapytań ad hoc przez klientów. W niniejszej publikacji omawiamy rosnący popyt na informację i analizę biznesową oraz przedstawiamy, jakie korzyści w postaci elastycznych i efektywnych kosztowo cech wydajności, zdolności, skalowalności i funckjonalności zapewnia architektura wielu procesorów zastosowana w Sybase IQ Multiplex. ROSNĄCY POPYT NA INFORMACJE I ANALIZĘ BIZNESOWĄ Z równoczesnego występowania stale rosnących wolumenów danych i niedawnych okresów spowolnienia gospodarczego możemy wyciągnąć interesujące wnioski dotyczące wartości informacji i analizy biznesowej (BI). Mimo większego konserwatyzmu w wydatkach na technologię, inwestycje w informacje biznesową rosną w miarę tworzenia i wdrażania nowych aplikacji BI i analitycznych, co przyciąga rzesze nowych użytkowników, zarówno w tradycyjnych granicach organizacji, jak i poza nimi. W konsekwencji pojawiają się odpowiednie oczekiwania co do wzrostu możliwości analitycznych, który nie narzucałby przedsiębiorstwom sztucznych ograniczeń na pamięć masową lub moc obliczeniową. Rosnące wykorzystywanie metod analitycznych i zaufanie do nich wykracza poza tradycyjne raportowanie. Z biegiem czasu systemy wspierania procesów decyzyjnych dojrzały dzięki rozwijaniu i ulepszaniu platform, narzędzi i technik potrzebnych do zwiększenia poziomu technologii BI na poziom znacznie wykraczający poza tradycyjne raportowanie. W dzisiejszych czasach środowisko BI obsługuje: coraz bardziej wszechobecne korzystanie z metod analitycznych wbudowanych w aplikacje operacyjne, szeroko rozpowszechnione panele kontrolne pokazujące wyniki działalności oraz metody komunikowania głównych mierników wydajności i produkcyjności danej organizacji. Rosnącemu popytowi towarzyszą nowe wyzwania. Równocześnie z potrzebą optymalizacji wydatków, maksymalizacji przychodów i odpowiedniego dostosowywania modeli i procesów biznesowych występuje popyt na różne typy systemów informacji biznesowej, raportowania i analizy, który to popyt napotyka na ograniczenia budżetowe, sprzętowe i usługowe. Ze wzrostem wiążą się też ryzyka, zwłaszcza dotyczące zapewnienia dostępności systemów i baz danych wymaganych do obsługi nowych potrzeb. Wzrost ten warunkują cztery czynniki: 1. Większa liczba użytkowników. Upowszechnienie BI skutkuje dwucyfrowymi w ujęciu procentowym przyrostami liczby użytkowników w tym użytkowników wirtualnych zautomatyzowanych aplikacji konkurujących o współdzielone zasoby z użytkownikami z krwi i kości. 3

4 2. Większa liczba danych. Każda nowa grupa użytkowników ludzi lub systemów oznacza nowe, liczne źródła danych i organicznie rosnące wolumeny danych, które trzeba przechowywać w infrastrukturze analitycznej. 3. Dodatkowe szczegóły. Bliźniacze potrzeby głębszego wglądu w dane i przechowywania danych pod kątem wymagań stawianych przez organy kontrolne powodują wzrost w tempie wykładniczym zajętości pamięci masowej przeznaczanej na analizę i BI. Potrzeba wydobycia nawet najbardziej głęboko ukrytej wiedzy ze zbioru danych w połączeniu z obowiązkowym ich przechowywaniem przez dłuższy czas przeciąża wiele infrastruktur pamięci masowej wskutek zalewania ich szczegółowymi danymi. 4. Większa szybkość. Skuteczność modeli predyktywnych spowodowała podniesienie stawek w wyścigu o dostarczenie danych do infrastruktury analitycznej w czasie zbliżonym do rzeczywistego. Dodatkowe względy Jednocześnie w realiach rozwijającego się biznesu występuje szereg zastosowań analizy i raportowania, w tym: Serwisy społecznościowe. Dla osób zajmujących się marketingiem pojawienie się nowej klasy aplikacji internetowych oznacza nieprzebrane i nieocenione zasoby informacji osobistych, społecznych i związanych z zachowaniami w społeczeństwie, za pomocą których można zasilać coraz bardziej skomplikowane modele marketingowe, sterować nowymi modelami biznesowymi, w związku z tym wszystkim pojawiają się też rozważania odnośnie kwesti prywatności. Ta szybko zmieniająca się dziedzina oznacza możliwości, lecz również znaczne wyzwania związane z zarządzaniem ogromem danych, a także odróżnianiem informacji, które można ujawnić, od informacji ściśle prywatnych. Przechowywanie danych. Przechowywanie danych cechujących się większym rozdrobnieniem jest nie tylko praktyczne, ponieważlecz stawiane przez organy kontrolne wymagania wymuszają potrzeby dodatkowej pamięci masowej i dłuższego okresu przechowywania danych. Prowadzi to do trudniejszych wyzwań dotyczących fizycznej pamięci masowej, jak również do tworzenia złożonych procesów długoterminowego przechowywania danych, obsługujących wymagania dotyczące zgodności z przepisami, audytów i ustawowego okresu przechowywania danych. BI przyjazne dla użytkownika: W ciągu ostatnich kilku lat społeczność użytkowników BI rozrosła się na cały łańcuch zarządzania, jednak zaległości informatyczne zmusiły użytkowników do samodzielnego zdobycia narzędzi do tworzenia i wdrażania własnych aplikacji BI oraz wyposażenia w nie populacji użytkowników końcowych. Jakkolwiek demokratyzacja BI niesie ze sobą duże korzyści to w środowisku aplikacji, w którym brakuje ładu, zaczynają występować braki wydajnościowe wynikające ze źle zaplanowanego systemu i niewłaściwej architektury danych. Wydajność i elastyczność Powyższe rozważania można podsumować prostym pytaniem: w jaki sposób firma może zaspokoić apetyt na szybsze, bardziej dogłębne metody analityczne działające na coraz większych i posiadających mniejsze opóźnienia repozytoriach analitycznych? Ściślej rzecz ujmując, infrastruktura techniczna informacji biznesowej musi nie tylko zapewniać zdolność spełniania potrzeb analitycznych, lecz również dynamicznie dopasowywać się do wolumenów danych, oczekiwań co do raportów i wymagań obliczeniowych związanych z różnymi scenariuszami korzystania z BI. Aby sprostać wymaganiom dotyczącym wydajności i elastyczności, technologia ta musi koncentrować się na metodach, technikach i narzędziach, które: Obsługują rosnącą wykładniczo i zróżnicowaną populację użytkowników w sposób jak najmniej inwazyjny Integrują w sposób wykonalny dane posiadające strukturę z szeregiem źródeł bez struktury (na przykład dane z sieci WWW i serwisów społecznościowych, zdjęcia, dokumenty, historie przeglądarek, analizy zapytań w wyszukiwarkach, strumienie komunikatów i inne dane nieposiadające struktury lub posiadające ją częściowo), aby zapewnić lepszy wgląd w klientów i kontrahentów Dostosowują się do poziomu szczegółowości danych niezbędnego do bardzo precyzyjnego przewidywania zachowań Spełniają rosnące wymagania organów kontrolnych, które to wymagania dotyczą przechowywania danych Zapewniają przewidywalną zdolność oceny i zarządzania ryzykiem, w kwesti katastrofalnego wyłączenia, które powoduje rozległe wstrzymanie działalności i jest związane z awarią krytycznegopodstawowego elementu architektury analitycznej Zapewniają wiedzę, na podstawie której można podejmować działania, poprzez wiele kanałów komunikacyjnych spełniających potrzeby związane z mobilnością i rozmaite schematy korzystania 4

5 WYZWANIE PRZETWARZANIA RÓWNOLEGŁEGO NA DUŻĄ SKALĘ Typową odpowiedzią na potrzebę spełnienia wymagań dotyczących wydajności jest przetwarzanie równoległe na dużą skalę, od dziesięcioleci uważane za standard w zarządzaniu dużymi ilościami danych. Dane rozdzielane są na osobne, niezależne od siebie serwery operujące jednocześnie na różnych częściach danych. W systemach przetwarzania równoległego na dużą skalę (MPP) może działać olbrzymia liczba procesorów rozwiązujących problemy z wykorzystaniem olbrzymich ilości pamięci połączonej z olbrzymimi wolumenami pamięci masowej i kanałów we/wy. Celem przetwarzania równoległego na dużą skalę jest zapewnienie skalowalności i wydajności. Jednak aby osiągnąć tę skalowalność, konieczne jest równoległe przetwarzanie wszystkich zapytań, ładowania danych i czynności konserwacyjnych na każdym węźle procesorowym serwera, co zapewnia optymalną wydajność. W architekturze typu shared-nothing, w której każdy serwer jest właścicielem swoich procesorów, pamięci, danych i dysków oraz zarządza nimi, serwery muszą same znajdować fragmenty danych potrzebne do udzielenia odpowiedzi na zapytanie, a wyniki częściowe są współdzielone i łączone w wynik końcowy. Podejście typu shared-nothing nie jest też pozbawione wad. Każde zapytanie, aby być wydajne, musi wykorzystywać wszystkie serwery, a każdy węzeł serwera musi być jednakowo szybki. Zdolność radzenia sobie z kombinacją różnych sposobów korzystania z serwera jest ograniczona, tak więc system trzeba zwykle przestawić na obsługiwanie tylko jednego rodzaju potrzeb użytkownika jednocześnie. Przy każdym zapytaniu współpracować ze sobą muszą wszystkie węzły, a utrata jednego z nich oznacza utratę całego systemu MPP shared-nothing. Wreszcie, mimo że system shared-nothing zapewnia doskonałą wydajność w sytuacjach, gdy dany problem można podzielić na części tak, aby wszystkie węzły pracowały równolegle, a potrzeba współdzielenia między nimi danych jest niewielka, to w przypadku zapytań wymagających wymieniania się danymi (takich jak złączenia wielokrotne), wydajność systemu spada. Wszystko idzie sprawnie, gdy administrator posiada wiedzę na temat scenariuszy wykorzystywania i wie, że pasują one do modelu MPP shared-nothing. Jednak większość środowisk nie ogranicza się do jednego lub dwóch typów użytkowników uruchamiających codziennie te same przewidywalne zapytania. Przeciwnie, w większości firm trzeba wspierać szerszą społeczność użytkowników: osoby podejmujące decyzje strategiczne, analityków operacyjnych i taktycznych, użytkowników zaawansowanych i typowych, a to wymaga mieszanych obciążeń związanych z raportami i analizą, od raportów zwiniętych (dla paneli kontrolnych i kart ocen), raportów wstępnie zaprojektowanych, raportów i analiz przygotowanych przez zaawansowanych użytkowników, zapytań ad hoc, analizy interaktywnej do interaktywnego drążenia wspierających zbiorów danych. Aby sprostać potrzebom tak szerokiej społeczności, nie można nakładać ograniczeń na typy aplikacji i zapytań ani na charakter obciążeń przydzielanych analitycznej platformie bazodanowej. ADRESOWANIE POTRZEB DZIĘKI SYBASE IQ MULTIPLEX Serwer Sybase IQ został zaprojektowany po to, by spełniać rosnące (i zróżnicowane) potrzeby dotyczące raportowania i analiz w organizacjach. Serwer ten, dostosowany do obsługi dużej liczby użytkowników i dużych rozmiarów danych, jest w stanie zapewnić bardzo szybki dostęp do informacji biznesowej od dziesięciu do stu, a nawet tysiąc razy szybciej niż konwencjonalne relacyjne bazy danych. W odróżnieniu od tradycyjnych relacyjnych baz danych przechowujących dane w wierszach, Sybase IQ wykorzystuje wysokiej wydajności strategię przechowywania danych zwaną partycjonowaniem pionowym, w której dane przechowywane są w kolumnach. W Sybase IQ zapytania analityczne przetwarzane są tak, aby sprawdzane były tylko potrzebne kolumny, podczas gdy konwencjonalne relacyjne bazy danych powolnie przerabiają całą tabelę wiersz po wierszu, zatykając kanały we/wy, pamięć i dyski. Na przykład jeśli w zapytaniu ad hoc wykorzystuje się dwie kolumny z 20 znajdujących się w tabeli, w Sybase IQ z dysku przez bufor we/wy do pamięci przesyłane są tylko te dwie kolumny. W tradycyjnych relacyjnych bazach danych (również zaprojektowanych dla celów ciągłego przetwarzania transakcji) przetworzyć trzeba cały wiersz. Sybase IQ wykorzystuje również bufor o pojemności 512 kb do przekazywania dużych ilości szczegółowych danych do pamięci, co zapewnia szybki dostęp do nich (w locie). Korzyści z podejścia kolumnowego Podejście kolumnowe niesie ze sobą zwłaszcza dla użytkowników poszukujących środowiska o wysokiej wydajności, zdolnego sprostać rosnącym potrzebom związanym z raportowaniem i analizą wiele zalet, takich jak: Uproszczona wydajność dostępu. Systemy oparte na wierszach posiadają ograniczoną zdolność obsługi zróżnicowanych zapytań w tym samym czasie, natomiast w systemach opartych na kolumnach wystarcza selektywnie przeszukać kolumny potrzebne dla danego zapytania. Dodatkowo szybkość dostępu do danych można zwiększyć, wykorzystując szeroko stosowane strategie buforowania. Szybkie złączenia i agregacje. Strumieniowy dostęp do danych wzdłuż kolumn umożliwia szybką ewaluację warunków złączenia, a także przyrostowe obliczanie wyników funkcji agregujących. Zastosowanie wielu jednostek przetwarzania równolegle pobierających i agregujących różne kolumny zwiększa ogólną wydajność zapytań. 5

6 Przydatność dla celów kompresji z wyliczaniem. Układ kolumnowy daje możliwości kompresowania danych mogące skutkować znacznym zmniejszeniem zapotrzebowania na pamięć dyskową przy jednoczesnym utrzymaniu wysokiej wydajności. Przy zastosowaniu podejścia z wyliczaniem nie występuje towarzyszące obciążenie dekompresją, a więc nie są ponoszone dodatkowe nakłady na obliczenia. Szybkie ładowanie danych. Typowy proces ładowania danych do hurtowni danych obejmuje wyodrębnienie danych do obszaru tymczasowego, wykonanie transformacji, załadowanie znormalizowanych reprezentacji do tablic faktów i wymiarów hurtowni oraz stworzenie kolekcji wymaganych indeksów i widoków. W układzie wierszowym wszystkie dane z każdego wiersza muszą być przechowywane razem, lecz w układzie kolumnowym można w praktyce segregować przechowywane dane według kolumn. Oznacza to, że każda kolumna może w zasadzie być przechowywana osobno, co umożliwia systemowi baz danych ładowanie kolumn równolegle z użyciem wielu wątków. MULTIPLEKSING W SYBASE IQ Sybase IQ wykorzystuje skalowalną pamięć, ekstremalnie szybkie procesory, nieograniczoną przestrzeń dyskową, kanały we/wy oraz podejście zwane multipleksingiem, w którym pojedyncze serwery wykonują konkretne funkcje, współdzieląc przestrzeń dyskową. Multipleksing różni się od tradycyjnego przetwarzania równoległego na dużą skalę typu shared-nothing, w którym próbuje się wykorzystywać równolegle wszystkie serwery do wykonania jednego zapytania, ładowania danych lub operacji konserwacyjnej oraz izoluje się dysk, pamięć i procesory każdego serwera. Multipleksing tymczasem umożliwia szereg różnych scenariuszy korzystania z serwera, takich jak szybka równoległa analiza i raportowanie z jednoczesnym ładowaniem danych w czasie rzeczywistym z dużą szybkością, wsadowe zadania integracji danych oraz ładowanie danych i wysyłanie zapytań ad hoc przez klientów. Wysoce skalowalna technologia siatki współdzielonych dysków umożliwia współbieżne ładowanie danych i wysyłanie zapytań poprzez niezależne węzły podłączone do wspólnego źródła danych. Taka elastyczność i dostępność pozwala na dzielenie dostępnych zasobów między różne wymiary wydajności i wykorzystania według typu użytkownika, społeczności użytkowników biznesowych, rodzaju obciążeń, a nawet na poziomie aplikacji. Chociaż podejście to umożliwia utrzymanie wzajemnej izolacji różnych społeczności użytkowników, jest wciąż na tyle elastyczne, aby zapewnić każdej ze społeczności odpowiedni poziom możliwości sprzętowych. KORZYŚCI I GŁÓWNE ZALETY MULTIPLEKSINGU W SYBASE IQ Multipleksing w Sybase IQ wspiera hybrydową architekturę klastrową, która wykorzystuje współdzieloną pamięć masową do przechowywania trwałych danych Sybase IQ oraz niezależne węzły pamięci masowej do katalogowania metadanych, danych tymczasowych i dzienników transakcji. Architektura ta umożliwia zarządzanie dużymi obciążeniami roboczymi na wielu węzłach. W ramach multipleksingu możliwe jest ładowanie danych z wielu węzłów zapisu i zezwolenie na wysyłanie jednoczesnych zapytań wielu użytkowników do współdzielonych obiektów bazy danych, do których mogą być w tym samym czasie zapisywane dane przez użytkowników. W tej części omawiamy szczegółowo szereg wartościowych korzyści, w tym następujące: Skalowalność Wysoka dostępność Oszczędność i łatwość przystosowywania Elastyczność Wysoka wydajność Skalowalność Rosnące wolumeny danych implikują potrzebę systemów bazodanowych obsługujących odpowiedni wzrost wydajności. Wielu dostawców argumentuje, że jedynym sposobem zwiększenia wydajności jest segmentacja i rozproszenie dużych baz danych. Z rozproszonymi bazami danych wiążą się jednak pewne konsekwencje, a konkretnie ich zwiększone zapotrzebowanie na pamięć masową w związku z duplikacją i częstszymi przerwami w działaniu spowodowanymi potrzebą okresowego korygowania i równoważenia rozproszonych tabel, tak aby spełniały oczekiwania dotyczące wydajności. Sybase IQ Multiplex jest całkowicie wolny od takich problemów. Dzięki umożliwieniu węzłom serwera uzyskiwania dostępu do wysoce wydajnego współdzielonego obrazu bazy danych zamiast do bazy rozproszonej, możliwe jest szybkie dodawanie nowych maszyn bez zakłócania pracy z jednoczesnym zapewnieniem prawie liniowych przyrostów wydajności. Innymi słowy, w Sybase IQ Multiplex można stale dodawać kolejne węzły obliczeniowe bez konieczności dodawania pamięci masowej i na odwrót. Oznacza to, że zarówno moc obliczeniowa, jak i pojemność pamięci masowej mogą być skalowane niezależnie od siebie, a to pozwala dostosować system do sprostania zmieniającym się potrzebom w miarę rozwoju środowiska analitycznego. W istocie możliwe jest skalowanie środowiska Sybase IQ tak, aby obsługiwało ono dziesiątki tysięcy użytkowników oraz współbieżne mieszane obciążenia robocze bez obawy o spadek szybkości ładowania danych czy wydajności zapytań. 6

7 Wysoka dostępność i tolerancja na błędy Dzięki połączeniu Sybase IQ Multiplex z równoważeniem obciążeń i nowszymi rozwiązaniami kontroli klastrów aplikacji realny staje się znaczny wzrost dostępności przy minimalnych nakładach dodatkowych. Architektura multipleksowa Sybase IQ umożliwia dodawanie serwerów niezależnie od dodawania pojemności pamięci masowej. Serwery te mogą być heterogeniczne, jeśli chodzi o liczbę procesorów, tj. poszczególne serwery multipleksu mogą posiadać różną ich liczbę. W Sybase IQ Multiplex dokonywana jest synchronizacja metadanych w celu harmonijnego współdzielenia obrazu bazy, co umożliwia węzłom zapytań zachowywanie się w sposób całkowicie niezależny. Przy ładowaniu i aktualizacji Sybase IQ Multiplex zapewnia koordynację aktualizacji, blokadę wersji i oczyszczanie, tak aby ładowanie mogło odbywać się na wielu serwerach w klastrze w oddzieleniu od aktualnie przetwarzanych zapytań. Sybase IQ Multiplex łączy węzły klastrów z technologią kopii lustrzanych SAN, która jest szeroko dostępna u czołowych dostawców pamięci masowej. Klaster Sybase IQ Multiplex może nie tylko zapewniać niezależną pojemność, lecz w środowisku SAN możliwe jest również przełączanie węzłów w klastrze z przechowujących główną bazę na kopie lustrzane, co udostępnia tryb gorącego czuwania znacznie zmniejszający ryzyko wyłączeń i zapewniający jeszcze większą niezawodność. Owa wysoka dostępność zapewnia wysoki poziom tolerancji na błędy: poszczególne maszyny mogą ulec awarii i zostać wyłączone z klastra, lecz żaden pojedynczy przypadek awarii w klastrze nie spowoduje wyłączenia go jako całości. Awaria jednego z węzłów nie ma wpływu na zapytania przetwarzane na innych węzłach. Awarie węzłów, jeśli w ogóle wystąpią, mogą być łatwo monitorowane, wykrywane i administrowane, tak aby przenosić niedokończone zadania na inne węzły. Oszczędność i wydajność w działaniu Multipleks Sybase IQ umożliwia wdrożenie wszechstronnego rozwiązania raportowania lub analizy, wykorzystującego zasoby właściwe dla danego użytkownika lub jego organizacji, w tym tani sprzęt i systemy operacyjne, bez konieczności zakupu dodatkowego oprogramowania do tworzenia klastrów. Skuteczne strategie przydziału i kompresji zmniejszają ogólny obszar zajmowany przez dane, gdyż tworzenie klastrów serwerów wokół jednej logicznej bazy danych zapisanej w środowisku SAN znacząco zmniejsza występowanie wysp danych typowych dla wielu wdrożeń systemów BI. W takich typowych środowiskach wymagana jest znaczna duplikacja współdzielonych tablic, pochłaniająca duże ilości dodatkowej pamięci masowej. Klastry Sybase IQ Multiplex wykorzystują wydajność pojemnościową zorientowanych kolumnowo baz danych, zmniejszając tendencję do ładowania tych samych danych do wielu hurtowni w tym samym oddziale lub dziale przedsiębiorstwa. Dzięki temu duże klastry serwerów mogą współdzielić jeden niezduplikowany, wydajny przestrzennie i przepustowo obraz bazy danych bez konieczności duplikacji tablic powodującej rozdęcie zajmowanej przestrzeni dyskowej. Sybase IQ Multiplex umożliwia współpracę w ramach klastra wielu generacjom maszyn. Środowisko to umożliwia nawet włączenie do niego zasobów obliczeniowych o różnej wydajności obliczeniowej, co daje w efekcie heterogeniczną siatkę. Główną jej zaletą jest fakt, że dodanie nowej generacji sprzętu jest niezależne od serwerów już działających w klastrze. Tak więc, jeśli okoliczności pozwalają na dodanie nowego, dużego serwera, nie ma potrzeby zastępowania nim starszych maszyn w klastrze, o ile są one jeszcze w stanie sprostać potrzebom. Zdolność izolowania zapytań na jednym lub więcej rdzeniach procesora w ramach pojedynczego serwera wydłuża czas życia każdego zasobu indywidualnego, co eliminuje przedwczesną przestarzałość starszych serwerów. Pozostaje to w wyraźnej opozycji do typowych platform rozproszonego przetwarzania zapytań, w których zapytania są rozbierane na wiele części i rozdzielane na wiele serwerów w klastrze. Schemat taki, mimo swojej początkowej atrakcyjności, staje się później obciążeniem, gdyż nowe, szybsze silniki zapytań muszą czekać na wykonanie podzapytań przydzielonych starszym silnikom. W związku z tym odczuwa się często silną potrzebę odesłania starszych elementów klastra do lamusa na długo przed końcem ich trwałości użytecznej, tak aby zmaksymalizować użyteczność i wydajność nowszych elementów. Multipleks Sybase IQ zapewnia pewien stopień elastyczności, który umożliwia łatwe i szybkie skonfigurowanie środowiska multipleksowego za pomocą przyjaznego dla użytkownika interfejsu graficznego lub linii komend. Multipleks Sybase IQ skaluje pojedynczy obraz bazy danych o wiele lepiej niż inne rozwiązania, a to dzięki wydajności zorientowanego na kolumny przechowywania danych. W konsekwencji administratorzy multipleksu Sybase IQ mogą często uniknąć żmudnego okresowego równoważenia i redystrybucji tablic i obiektów bazy danych między zasobami rozproszonymi. Elastyczność Typowe raporty i analizy wykonywane przez duży łączny odsetek społeczności użytkowników obejmują raporty zwinięte i wstępnie zaprojektowane, raporty i analizy przygotowane przez zaawansowanych użytkowników, zapytania ad hoc, analizy interaktywne, a także interaktywną eksplorację wspierających zbiorów danych. Środowiska obsługujące tego rodzaju mieszane obciążenie działaniami analitycznymi muszą przydzielać lub odbierać zasoby, 7

8 aby zapewnić sprawiedliwą i przewidywalną wydajność wszystkim użytkownikom, co wymaga elastycznych możliwości: ładowania danych, przetwarzania zapytań i wykonywania innych operacji. W ramach siatki Sybase IQ Multiplex możliwe jest dostarczenie nowego serwera do klastra zaledwie kilkoma kliknięciami myszy. Równie łatwo można usuwać węzły z klastrów i przydzielać je do wspierania innych aplikacji. Podobnie kilkoma kliknięciami można przełączać węzły z działania w trybie tylko do odczytu na tryb odczytu i zapisu, co pomaga przezwyciężać wąskie okienka ładowania wsadowego. Elastyczność ta zapewnia możliwość ciągłego reagowania w środowisku wielu użytkowników. Dzięki odizolowaniu od siebie serwerów, Sybase IQ Multiplex zapewnia bardziej spójne czasy ładowania i wykonywania zapytań, przydzielając obciążenia do niezależnych serwerów zamiast rozbierania ich i rozdzielania na współdzieloną farmę serwerów. Strategia taka przydaje się najbardziej wówczas, gdy obok rutynowych obciążeń spowodowanych zapytaniami spodziewane są obciążenia nieprzewidywalne lub wyrywkowe. Bez izolacji, hurtowe ładowanie dużych ilości danych, złożone zapytania ad hoc i inne złożone zadania miałyby mierzalny wpływ na zdolność reagowania na działania wszystkich użytkowników bazy. Proste i wydajne zarządzanie pojemnością nie jest ograniczone do potrzeb występujących w czasie pracy serwera. Dostępne zasoby i powiązaną z nimi wydajność można przydzielić działom, grupom użytkowników lub obciążeniom konkretnych aplikacji. Sybase IQ Multiplex umożliwia współpracę w klastrze maszynom o różnych wielkościach i wydajnościach, dzięki czemu administratorzy mogą łączyć maszyny małe i duże (od jedno- i dwurdzeniowych aż do maszyn z setkami rdzeni) i przydzielać je konkretnym działom i zadaniom ładowania. Izolacja i przydzielenie obciążeń grupom użytkowników i aplikacjom pozwala grupom lub działom osiąganie stałych poziomów usług. Możliwe jest również izolowanie zbiorów danych, a gdy wdrożone są odpowiednie środki bezpieczeństwa, można używać dodatkowych tablic (widocznych tylko na ich własnym węźle w klastrze) do przechowywania danych używanych tylko w jednej grupie, danych wrażliwych lub danych o charakterze tymczasowym, których cykl życia jest obciążeniem dla innych serwerów, jeśli dane te są widoczne. Wysoka wydajność Jeśli uznać, że podstawowym czynnikiem warunkującym rozwój systemów analitycznych baz danych jest potrzeba wysokiej wydajności, to w tym obszarze Sybase IQ Multiplex na pewno nie zawiedzie. Systemy z wieloma procesorami są w stanie zapewnić wysoki poziom wydajności, gdy dane trafiły już do środowiska. Jednakże piętą achillesową informacji biznesowej jest przenoszenie olbrzymich ilości danych do systemu analitycznej bazy danych poprzez kanały o ograniczonej przepustowości. Sybase IQ Multiplex zapewnia szybsze ładowanie wsadowe i w czasie rzeczywistym. Rozwijając koncepcję izolacji węzłów, serwer ten obsługuje klastry z wieloma serwerami zapisującymi, w których zapisu do bazy danych może dokonywać wiele serwerów w pojedynczym klastrze Sybase IQ Multiplex. W konsekwencji ładowanie można skalować liniowo przy minimalnych ograniczeniach co do tego, który serwer aktualizuje w danym czasie konkretną część bazy. Dodatkowo Sybase IQ Multiplex umożliwia równoległe ładowanie danych z różnorodnych źródeł, łącząc dane przechwycone wewnętrznie z danymi załadowanymi hurtowo z alternatywnych źródeł takich jak wyszukiwarki, serwisy społecznościowe i systemy ciągłego przetwarzania transakcji. Sybase IQ Multiplex korzysta z automatycznego modułu równoważącego obciążenia robocze, intensywnie starającego się zapobiegać sporom o zasoby systemowe między użytkownikami, zapewniając w ten sposób przewidywalną wysoką wydajność dla całego spektrum współbieżnych obciążeń. W konsekwencji Sybase IQ Multiplex umożliwia liniową skalowalność obliczeń wspierającą współbieżne zapytania, jednocześnie zapewniając liniową skalowalność obliczeń wspierającą współbieżne obciążenia. SYBASE IQ MULTIPLEX: ARCHITEKTURA Sybase IQ Multiplex to wysoce skalowalna technologia siatki współdzielonych dysków, umożliwiająca współbieżne ładowanie danych i wysyłanie zapytań poprzez niezależne węzły podłączone do wspólnego źródła danych. Siatka Sybase IQ Multiplex to w istocie grupa serwerów baz danych, na których uruchomiony jest serwer Sybase IQ, podłączonych do jednej współdzielonej bazy zawierającej trwałe dane. Umożliwienie współbieżności ładowania danych i zapytań bazuje na blokadzie zapisu i odczytu, zapewniającej każdemu użytkownikowi transakcyjnie spójny widok tych samych danych. Dzięki poleganiu na wysoce skalowalnej architekturze siatki nałożonej na klaster bazodanowy ze współdzielonymi dyskami (konkretniej rzecz ujmując, klaster asymetryczny pod względem zdolności i funkcji), architektura Sybase IQ Multiplex zapewnia szereg ogromnych korzyści przy wdrażaniu wysoce wszechstronnego i wydajnego środowiska raportowania lub analizy. Jak pokazano na rys. 1, występująca w multipleksie Sybase IQ hybrydowa architektura z dyskami współdzielonymi zapewnia: 8 Współdzieloną pamięć masową dla wszystkich danych trwałych, zwykle na współdzielonej macierzy (lub macierzach) dysków Niezależną pamięć masową dla wszystkich danych tymczasowych Częściowo niezależną pamięć masową dla metadanych katalogowych i dzienników transakcji, które są fizycznie niezależne, ale logicznie replikowane

9 Magazyn danych katalogowych Magazyn danych katalogowych Magazyn danych katalogowych Magazyn danych katalogowych Magazyn danych katalogowych IQ Współdzielony magazyn danych Sybase IQ Węzeł koordynujący Węzeł zapisujący Węzeł zapisujący Węzeł odczytujący Węzeł odczytujący Magazyn danych tymczasowych Magazyn danych tymczasowych Magazyn danych tymczasowych Magazyn danych tymczasowych Magazyn danych tymczasowych Komunikacja między węzłami Rys. 1. Siatka Sybase IQ Multiplex Technologia klastrów serwerów Sybase IQ Multiplex rozszerza skalowalność Sybase IQ, umożliwiając tworzenie wieloserwerowych klastrów skupionych wokół jednego łatwego w administrowaniu, współdzielonego obrazu bazy danych. Cechy systemu Siatka Sybase IQ Multiplex składa się z węzłów obliczeniowych oraz współdzielonej pamięci masowej (SAN), które komunikują się ze sobą za pomocą wzajemnych połączeń sieciowych. Siatka multipleksu jest asymetryczna, tzn. umożliwia wielu serwerom, z których każdy posiada dowolną liczbę rdzeni procesora, równoczesne modyfikowanie współdzielonych trwałych danych. Istnieją trzy typy węzłów serwera: Jeden węzeł koordynujący, zarządzający informacjami o węzłach klastra, globalnym zegarem transakcji, a także blokadami zapisu i odczytu dla każdej trwałej tablicy. Węzeł koordynujący zarządza również z grubsza wolną przestrzenią dyskową bazy, ostatecznym etapem wszystkich zatwierdzeń globalnych transakcji oraz propagacją informacji o zatwierdzonych transakcjach na wszystkie węzły. Węzeł ten odpowiada również za oczyszczanie starych stron wersji. Zero lub więcej węzłów zapisujących, zarządzających lokalnym zegarem transakcji i odpowiedzialnych za precyzyjne zarządzanie wolną przestrzenią dyskową bazy danych. Dodatkowo węzły zapisujące odczytują informacje o zatwierdzonych transakcjach z węzła koordynującego, wysyłają żądania blokad zapisu i odczytu dla trwałych tabel, wymaganych przez polecenia języka manipulacji tablicami (DML), modyfikują te tablice poleceniami języka DML oraz zrzucają zmodyfikowane strony, jeśli jest to wymagane przed końcowym etapem zatwierdzenia globalnej transakcji. Zero lub więcej węzłów odczytujących, zarządzających lokalnym zegarem transakcji i odczytujących informacje o zatwierdzonych transakcjach z węzła koordynującego. Wszystkie typy węzłów (odczytujący, zapisujący, koordynujący) posiadają zdolność tworzenia tablic tymczasowych, globalnych tablic tymczasowych i tablic wewnątrzsystemowych oraz manipulowania nimi. W ramach platformy multipleksu istnieć mogą węzły o heterogenicznej pojemności i pochodzeniu. Ponieważ węzeł koordynujący potrafi zarządzać konfiguracjami podziału węzłów w oparciu o dostępne zasoby, można niezależnie od siebie skalować węzły poziomo, a pamięć masową pionowo. Dostępna pamięć masowa dzielona jest na przestrzenie, które można przypisać węzłom, można też dodawać węzły do klastrów i usuwać je z nich, co zapewnia pożądaną zdolność elastycznego rozszerzania i kurczenia klastrów. Aczkolwiek każda tablica może być jednocześnie modyfikowana tylko przez jeden węzeł zapisujący, może ją jednocześnie odczytywać wiele węzłów odczytujących. W węźle multipleksu zapytania i obciążenia są w wysokim stopniu sparalelizowane dzięki dynamicznemu skalowaniu rdzeni procesora. W konsekwencji system jest w stanie osiągnąć bardziej efektywne równoważenie obciążeń w zbiorze dostępnych węzłów. 9

10 SYBASE IQ MULTIPLEX W DZIAŁANIU W tej części prezentujemy dodatkowe szczegóły techniczne związane z wersją 15 Sybase IQ Multiplex. Tworzenie serwerów multipleksowych i administrowanie nimi W Sybase IQ Multiplex zawarto szereg nowych funkcji. Jedna z nich to nowy interfejs SQL służący do konfiguracji serwera. Inne to nowa warstwa komunikacji między węzłami, a także prosta jednoetapowa procedura przełączania awaryjnego węzła koordynatora. Sybase IQ Multiplex umożliwia istnienie wielu węzłów zapisujących, z których każdy może modyfikować współdzielone dane IQ. Oprócz ulepszeń w Sybase Central dotyczących konfiguracji multipleksu i zarządzania nim pojawił się także nowy moduł zarządzania logowaniem. Konfigurowanie multipleksu Sybase IQ Multiplex udostępnia nowe polecenia języka DDL służące do manipulowania konfiguracją multipleksu: CREATE MULTIPLEX SERVER ALTER MULTIPLEX SERVER DROP MULTIPLEX SERVER Polecenia te można uruchamiać z poziomu dowolnego serwera w multipleksie, pod warunkiem że działa węzeł koordynujący. Wszelkie zmiany konfiguracji propagowane są na wszystkie serwery w multipleksie. Transakcje w multipleksie Sybase IQ Multiplex umożliwia zarówno transakcje lokalne, jak i globalne: Transakcja lokalna zdefiniowana jest jako transakcja, która nie modyfikuje obiektu współdzielonego. Transakcja lokalna może być typu tylko do odczytu lub odczytu i zapisu, lecz jest w stanie modyfikować tylko dane w obiektach lokalnych. Transakcje lokalne można wykonywać na dowolnym węźle multipleksu, a ich efekty są widoczne tylko dla tego węzła. Transakcja globalna to dowolna transakcja, która modyfikuje dane w obiektach współdzielonych lub zmienia schemat któregoś z obiektów trwałych. Transakcje globalne można wykonywać tylko w węźle koordynującym lub zapisującym. Efekty transakcji globalnej są widoczne na wszystkich węzłach multipleksu. Aby można było wykonać transakcję globalną, musi być uruchomiony węzeł koordynujący. Komunikacja między węzłami Nowy model komunikacji między węzłami (INC) obsługuje dwustronną komunikację serwerów z węzłem koordynującym w ramach multipleksu oraz zapewnia infrastrukturę do niezawodnego monitorowania multipleksu, wysyłania komunikatów i propagacji danych, w tym: Dwustronne monitorowanie pulsu w celu utrzymania statusu łącza do serwera (połączenie, brak odpowiedzi, wygasłe) w czasie rzeczywistym Wewnętrzne wykonywanie poleceń pomiędzy serwerami Nowa komunikacja pomiędzy węzłami w całości zastępuje DBRemote przy replikacji danych konfiguracyjnych multipleksu. Magazyny lokalne W wersji Sybase IQ 15.X nie występują magazyny lokalne, jednak podobny poziom izolacji węzłów jak we wcześniejszych wersjach Sybase IQ można osiągnąć za pomocą zarządzania loginami i przestrzeni tablic. Brak jest zależności SQL Remote przy konfiguracji multipleksu i synchronizacji danych wersji zastępuje je komunikacja między węzłami. Zarządzanie wersjami Za pomocą migawek można tworzyć nowe wersje stron w obiektach IQ przy każdej ich modyfikacji. Wersje stron zachowywane są tak długo, jak istnieją aktywne transakcje, które mogą się do nich odwoływać. Nowe transakcje widzą tylko najnowszą wersję z chwili zainicjowania transakcji. Strony bazy danych należące do starszych wersji, do których nie można już się odwoływać, są odzyskiwane jako wolna przestrzeń. Węzły multipleksu zgłaszają zmiany w używanych wersjach stron węzłowi koordynującemu za pomocą modelu komunikacji między węzłami. 10

11 Monitorowanie Sybase IQ Multiplex udostępnia szereg statystyk pozwalających monitorować dostępność i wydajność systemu. Statystyki ogólne przekazują szczegóły dotyczące węzłów w multipleksie, a także charakterystykę korzystania z nich, w tym następujące wielkości: Liczba zatwierdzonych wersji: liczba wersji tablic na serwerach. Łączna przestrzeń używana przez wersje (w MB): łączna przestrzeń zajęta przez wszystkie wersje tablic. Identyfikator najstarszej wersji: identyfikator najstarszej wersji tablicy na serwerze. Liczba aktywnych wersji: łączna liczba aktywnych wersji tablic zapisu na serwerach. Łączna utworzona przestrzeń aktywnej wersji (w MB): wielkość danych utworzonych przez aktywne transakcje zapisu. Łączna przestrzeń aktywnej wersji do usunięcia (w MB): wielkość danych zastąpionych przez aktywne transakcje zapisu. Jeśli transakcje te zostaną zatwierdzone, dane do usunięcia stają się starą wersją i ostatecznie są usuwane. W przypadku wycofania transakcji tworzone dane są zwalniane. Inne funkcje monitorowania obejmują: Statystykę serwera i jego topologii, przedstawiające obraz całej siatki multipleksu wraz z włączonymi do niego węzłami i ich odpowiednimi połączeniami, w tym nazwę węzła, jego aktualny stan, rolę w konfiguracji multipleksu i bieżący status serwera w multipleksie. Statystyki połączeń, podające szczegółowo nazwy użytkowników podłączonych do każdego z serwerów, a także identyfikatory połączeń i momenty ich ustanowienia. Statystyki transakcji obejmujące unikatowe numery identyfikacyjne dla wybranych transakcji, ich aktualne stany, datę utworzenia oraz fakt ukończenia. Statystyki buforów, takie jak liczba odczytów z buforu na sekundę dla buforów katalogowych, głównych i tymczasowych. Równoważenie obciążeń W wykorzystywanym przez Sybase IQ Multiplex podejściu typu shared-disk dynamicznie zarządza się obciążeniami związanymi z zapytaniami w poszczególnych węzłach i równoważy je. Środowisko to nadaje się do mieszanych obciążeń związanych z zapytaniami, ponieważ zewnętrzny moduł równoważący jest w stanie skierować przychodzące zadania do właściwych węzłów. W węźle docelowym zadania są automatycznie paralelizowane, a obciążenia dodatkowo równoważone. Połączenie zewnętrznego równoważenia obciążeń między węzłami z równoważeniem wewnątrz węzłów daje w wyniku doskonały i przewidywalny mechanizm izolacji obciążeń roboczych, który działa w sposób wysoce skalowalny i wszechstronny we współbieżnym, mieszanym środowisku obciążeń. Równoważenie obciążeń jest skuteczniejsze niż typowe architektury MPP typu shared-nothing, zapewniając tym samym lepszą współbieżność, samoobsługowe zapytania ad hoc oraz niezależną skalowalność zasobów obliczeniowych i pamięciowych. Przełączanie awaryjne i przywracanie po awarii Sybase IQ dysponuje funkcją automatycznego monitorowania przełączania awaryjnego i przywracania po awarii. Przy wykonywaniu dowolnej aplikacji spójność działania jest zachowana nawet wtedy, gdy wystąpią awarie węzłów. Na przykład jeśli podczas transakcji odczytu węzeł odczytujący wyłączy się lub przestanie odpowiadać, fakt ten nie wpłynie na inne węzły odczytujące i zapisujące, a węzeł koordynujący usunie informacje o wersjach używanych przez węzeł, który uległ awarii. Jeśli to węzeł koordynujący ulegnie awarii lub nie odpowiada, fakt ten nie wpłynie na węzeł odczytujący. Podobnie w przypadku transakcji zapisu: jeśli węzeł zapisujący ulegnie awarii lub przestanie odpowiadać, fakt ten nie wpłynie na inne węzły odczytujące i zapisujące. Węzeł koordynujący usunie blokady tablic założone przez węzeł zapisujący, który uległ awarii, a także informacje o wersjach używanych przez ten węzeł. Jeśli węzeł koordynujący ulegnie awarii podczas zapisu, wszystkie transakcje globalne zostaną wycofane. Ogólnie mówiąc, jeśli węzeł koordynujący ulegnie awarii lub nie odpowiada, fakt ten nie wpływa na węzły odczytujące, następuje natomiast wycofanie wszystkich transakcji globalnych, a informacje o wersjach używanych przez wszystkie węzły zostaną automatycznie odzyskane, gdy węzeł koordynujący stanie się ponownie dostępny lub nastąpi przełączenie awaryjne na wskazany zastępczy węzeł koordynujący. 11

12 STUDIUM PRZYPADKU: COMSCORE comscore, dostawca opartych na danych usług infrastruktury i rozwiązań dla rynku e commerce, zdał sobie po rozpoczęciu działalności sprawę, że marketing internetowy przestał skupiać się na liczbie odwiedzających, a zaczął się skupiać na zyskowności. Aby poradzić sobie z nową sytuacją, comscore wykorzystał serwer Sybase IQ Multiplex do przygotowania aplikacji platformy wiedzy o klientach. Platforma ta zapewnia całościowy widok zachowań i preferencji klientów odwiedzających rozmaite witryny internetowe. Usługa monitoruje zachowania dotyczące przeglądania stron i zakupów w każdej witrynie odwiedzanej przez tych konsumentów, którzy zgodzili się na analizowanie swoich zachowań. Ten typ zbierania, agregacji i analizy danych wymagał architektury bazodanowej umożliwiającej oprogramowaniu płynną obsługę szybkiego wzrostu i dużych ilości danych, a przy tym zapewniającej zadowalające czasy odpowiedzi na szeroką gamę wysyłanych przez użytkowników intensywnych zapytań dotyczących danych. Sybase IQ Multiplex umożliwił stworzenie efektywnego kosztowo rozwiązania o wysokiej wydajności, opierającego się o szereg urządzeń pamięci masowej o dużym wolumenie, heterogenicznej mieszance komputerów, która nie tylko zapewnia ciągłe pomiary w czasie rzeczywistym, tysięcy sposobów, na które można korzystać z Internetu, lecz również ulepsza eksplorację danych i szybciej zwraca wyniki. SYBASE IQ MULTIPLEX W RZECZYWISTYM ŚWIECIE W miarę wzrostu wolumenów danych, zwłaszcza w kontekście statystyki internetowej, analizy internetowej, analizy tekstowej i analizy serwisów społecznościowych oraz związanych z tym działań takich jak analiza skłonności, przetwarzanie strumieni i przetwarzanie złożonych zdarzeń, oczekiwać należy, że popyt na metody analityczne będzie się zwiększał i zmniejszał w ciągu dnia, tak aby obsłużyć mieszane obciążenia związane z zapytaniami i zaspokoić różne rodzaje aplikacji użytkowników, takie jak: Tradycyjne raportowanie: Ponieważ znaczna większość społeczności użytkowników, użytkowników biznesowych, użytkowników nieregularnych i uprzywilejowanych użytkowników z przedsiębiorstw wykorzystuje zasadniczo raportowanie bazujące na olbrzymich ilościach danych, będące wynikiem zagregowanego raportowania transakcji, przetwarzania analitycznego online (OLAP) według rozmaitych wstępnie zdefiniowanych wymiarów lub raportów podsumowujących przekazywanych za pomocą kart ocen albo paneli kontrolnych, dla większości z tych działań przetwarzanie obejmuje w większości wstępnie zdefiniowane raporty lub selektywne zapytania ad hoc wykonywanie przez użytkowników biznesowych, tworząc środowisko o zróżnicowanym stopniu popytu na wydajność w ciągu dnia. Agregacja danych: Coraz większa liczba organizacji gromadzi dane z wielu źródeł i udostępnia je na potrzeby setek lub tysięcy jednoczesnych zapytań ad hoc w celu obsługi usług danych, w których występuje styczność z klientem. Aplikacje agregujące dane wykonują takie zadania jak generowanie raportów i analiz z zarządzanych danych oraz zbieranie, organizowanie i dostarczanie wiadomości, pogody, danych finansowych, transportowych i wielu innych rodzajów danych strumieniowych. Z kolei zarówno zagregowane zbiory danych, jak i wyniki analiz są strumieniami przychodzącymi dla organizacji agregujących. Złożona i zaawansowana analiza: Mimo że w dzisiejszych czasach zbiór użytkowników zaawansowanych jest względnie niewielki, rozwijanie i używanie przez nich złożonych metod analitycznych stanowią dwa istotne rodzaje zastosowań. Wszystko wskazuje na to, że wielkość i znaczenie tych zastosowań rośnie oraz że istnieje znaczące dążenie do ich coraz szybszego rozwijania. Aby rozwijać modele ilościowe, duże zbiory danych poddaje się analizie statystycznej, eksploracji i innym złożonym, intensywnym obliczeniowo algorytmom. Modele te są następnie używane jako metody oceny, punktowania lub segmentacji stosowane, do danych wejściowych i danych w magazynach danych, w celu ulepszania procesów wspierania decyzji. Ze względu na swój konfigurowalny charakter, Sybase IQ Multiplex szczególnie dobrze nadaje się do zaspokojenia potrzeb dotyczących mieszanych obciążeń roboczych, które coraz częściej pojawiają się w innowacyjnych firmach. PODSUMOWANIE Reasumując, można stwierdzić, że Sybase IQ Multiplex został zaprojektowany w taki sposób, aby poradzić sobie z lawinowo rosnącym zapotrzebowaniem konkurujących na rynku organizacji na informację biznesową i analizę. Dzięki umożliwieniu szybkiej analizy równoległej wykorzystującej konfigurowalną architekturę hybrydową (w tym serwery obliczeniowe i magazynowe), Sybase IQ Multiplex obsługuje szybko rosnącą populację użytkowników o szerokim spektrum potrzeb aplikacyjnych. Sybase IQ Multiplex wykorzystuje wiele węzłów odczytujących i zapisujących oraz umożliwia wysyłanie zapytań przez wielu użytkowników jednocześnie do współdzielonych obiektów danych zapisanych przez jednego użytkownika, co daje znaczne korzyści w postaci zwiększonej pojemności, skalowalności systemu, wysokiej dostępności i elastyczności. Korzyści te idealnie wspierają scenariusze analizy połączonych danych posiadających strukturę i nieposiadających struktury, wykorzystujące ładowanie danych w czasie rzeczywistym z dużą prędkością, zadania wsadowe integracji danych oraz ładowanie danych i wysyłanie zapytań ad hoc do klientów, zapewniające wiedzę, na podstawie której można podejmować działania, poprzez wiele kanałów komunikacyjnych spełniających potrzeby związane z mobilnością i zapewniających rozmaite schematy korzystania z wiedzy. Sybase, Inc. Worldwide Headquarters One Sybase Drive Dublin, CA U.S.A SYBASE 12 Sybase Products Poland Sp. z o.o. Ul. Wołoska 5 budynek Taurus Warszawa Copyright 2011 Sybase, an SAP Company. Wszelkie prawa zastrzeżone. Nieujawnione prawa zastrzeżone na podstawie amerykańskich przepisów o prawach autorskich. Sybase i logo Sybase są znakami towarowymi Sybase, Inc. lub jego spółek zależnych. wskazuje na rejestrację w Stanach Zjednoczonych Ameryki. SAP i logo SAP są znakami towarowymi lub zarejestrowanymi znakami towarowymi SAP AG w Niemczech oraz w kilku innych krajach. Wszystkie inne znaki towarowe są własnością ich właściwych właścicieli. 02/11