Sybase Adaptive Server Enterprise

Transkrypt

1 Dokument techniczny Sybase Adaptive Server Enterprise Nowości w wersji I

2 II

3 WSTĘP W ostatnich latach obserwuje się skokowy przyrost ilości danych przetwarzanych przez organizacje. Nie jest to spowodowane jedynie potrzebą przechowywania danych o charakterze historycznym, które trzeba składować w hurtowniach danych dla potrzeb analitycznych, ale też koniecznością zarządzania w systemach danymi o charakterze operacyjnym i transakcyjnym. Zmiana ilościowa z baz operacyjnych o wielkości kilkuset gigabajtów, którymi przedsiębiorstwa zarządzały jeszcze 10 lat temu, na wielkości mierzone w terabajtach nastąpiła niemal z dnia na dzień. Badania prowadzone w korporacjach reprezentujących rozliczne branże wskazują na roczny przyrost ilości danych operacyjnych rzędu 25-30%. Terabajt stał się dziś standardową jednostka miary wielkości operacyjnej bazy danych. System Adaptive Server Enterprise 15 firmy Sybase został zaprojektowany właśnie w celu sprostania wymogom jakie stawiają przed użytkownikiem środowiska operujące dużymi (terabajtowymi) zbiorami danych. Takie środowiska muszą stawić czoła wyzwaniom w zakresie wydajności i skalowalności w najbardziej wymagających systemach notowań giełdowych, jednocześnie zapewniając dostęp do raportów w ciągu dnia i na zamknięcie, pełniąc funkcję narzędzi wspomagających proces decyzyjny. Właśnie możliwość jednoczesnego przetwarzania zadań różnego typu (mixed workloads), zapewnienie bezkolizyjnego działania systemu transakcyjnego i generowania raportów operacyjnych jest domeną ASE serii 15. ASE w tej wersji wprowadził wiele znaczących rozwiązań technologicznych, jak ulepszony aparat przetwarzania zapytań czy obsługa partycji semantycznych. Wszystkie zmiany służą bezproblemowej obsłudze baz danych liczonych w terabajtach. Wersja 15 ASE została wprowadzona we wrześniu 2005 r. Od tamtej daty w serii pojawiły się kolejne: ASE , ASE i ASE 15.5, w których dodawano nowe funkcjonalności, których domagali się programiści aplikacji i administratorzy baz danych, takie jak definiowane przez użytkownika funkcje SQL, wyzwalacze zastępujące (instead of triggers), blokowanie tabel systemowych na poziomie wiersza, tabele xml, rozliczne ulepszenia w systemie szyfrowania, nowe funkcje statystyczne oraz wiele innych, wpływających na wydajność oraz wspomagających monitorowanie i diagnostykę systemu. W ASE pojawiło się najnowszej generacji narzędzie do obsługi Javy, wprowadzając możliwość wykorzystania standardowego środowiska Java Runtime Environment (JRE) i komponentów JVM (np. J2SE) bezpośrednio w ASE. W celu ulepszenia procesu replikowania dodano replikację poleceń SQL, która w połączeniu z technologia Sybase Replication Server znacznie przyspiesza replikację zadań wsadowych. Ponadto narzędzie QPTune oraz tryb kompatybilności (z ASE 12.5x) dla procesora zapytań umożliwił łatwiejsze przeprowadzenie migracji do wersji ASE 15. W wersji ASE 15.5 wprowadzono w pełni zintegrowaną funkcjonalność do obsługi baz umieszczonych w pamięci operacyjnej (in-memory database). Rozwiązanie pozwalające na płynną i pełną integrację bazy umieszczonej w pamięci z tradycyjną bazą dyskową było pierwszym tego typu rozwiązaniem na rynku. Baza typu In-Memory jest wykorzystywana do buforowania danych (np. danych zgodności i referencyjnych w transakcjach handlowych), przetwarzania dużych ilości danych marketingowych, zadań wsadowych, gdzie liczy się (i musi zostać zachowany) tylko końcowy rezultat przetwarzania. Baza In-Memory jest również wykorzystywana jako szybki bufor dla obiektów tymczasowych ASE. Sybase wprowadził też wersję klastrową ze współdzielonym dyskiem (Shared-disk Cluster Edition) odpowiadając na zapotrzebowanie dotyczące ciągłej dostępności do danych w systemach o krytycznym znaczeniu. Rozwiązanie wprowadzone w Cluster Edition było efektem wielu lat pracy działu badań i rozwoju. Nakłady poniesione na innowacje zostały nagrodzone masowym pozyskiwaniem nowych klientów i wzrostem udziału w rynku firmy Sybase. WPROWADZENIE DO ASE 15.7 Po przejęciu w 2010 r. Sybase przez spółkę SAP, lidera na rynku aplikacji biznesowych, popyt na produkty ASE gwałtownie wzrósł. Aplikacje wchodzące w skład SAP Business Suite oraz inne, wcześniej działające w technologii SAP Netweaver, są obecnie obsługiwane przez ASE. Dla Sybase ASE rozpoczął się bardzo ciekawy okres. Najnowsza wersja Sybase ASE linii ASE 15.x, oznaczona jako ASE 15.7 jest wersją bogatą w nowe funkcjonalności. W tym dokumencie opisano krótko kilka nowych cech, funkcji i właściwości ASE 15.7, oraz korzyści jakich mogą spodziewać się klienci po tej wersji. Znaczące ulepszenia zostały wprowadzone w następujących dziedzinach: optymalizacja przestrzeni przechowywania danych; efektywność programowania aplikacji; wydajność; rozbudowane funkcje diagnostyki i monitorowania; zarządzanie bezpieczeństwem danych. 1

4 Wersja ASE 15.7 wprowadza udogodnienia w następujących obszarach: optymalizacja przestrzeni przechowywania danych; efektywność programowania aplikacji; wydajność; ulepszony system diagnostyki i monitorowania; zarządzanie bezpieczeństwem. OPTYMALIZACJA PRZESTRZENI SKŁADOWANIA DANYCH Wzrost ilości przetwarzanych danych stanowi dla przedsiębiorstw poważne wyzwanie: przepisy wymuszające dłuższy okres przechowywania danych, wzrastająca liczba transakcji, coraz więcej danych o charakterze nieuporządkowanym (obrazy, tekst, pliki audio i wideo), sytuacje wymagające przechowywania danych przez dłuższy okres ze względu na wspomagania procesu decyzyjnego. Mimo, że w ogólności ceny przestrzeni dyskowej spadają, jednak wzrost ilości danych nadal pozostaje problemem, którego rozwiązaniem zajmują się centra danych. Koszty związane z danymi nie są jednorodne i i nie ograniczają się do kosztów jednej tylko kopii. Rzeczywistość przedstawia się zupełnie inaczej: jednostka danych przekłada się na minimum 3 do 5 kopii w samym centrum danych plus dodatkowe kopie poza centrum. Kopie danych produkcyjnych przechowywane są w systemach testowych i deweloperskich, archiwach i kopiach zapasowych, w systemach wspomagających procesy decyzyjne oraz systemach odzyskiwania danych w przypadku awarii. Jeśli weźmie się pod uwagę koszty transferu danych, utrzymania łącz szerokopasmowych, koszty pracy, licencji oprogramowania itp. okaże się, że koszty przechowywania danych nagle rosną, a stwierdzenie, że przestrzeń dyskowa jest dziś tania jak nigdy staje się nie całkiem adekwatne do sytuacji. A przecież w powyższym rozważaniu nie uwzględniono jeszcze kosztów operacji we/wy i pamięci podręcznej potrzebnej w procesie przetwarzania danych! W ASE 15.7 wprowadzono następujące udogodnienia związane z optymalizacją przestrzeni dyskowej: kompresja zarówno danych standardowych, jak i typu LOB (large objects); przechowywanie dużych obiektów (LOB) w wierszach danych; tworzenie niezmaterializowanych nienullwych kolumn bez kopiowania danych; możliwość zmniejszenia wielkości logu transakcyjnego. Kompresja Wcześniejsze wersje ASE pozwalały na kompresowanie backupowanych danych, co ograniczało koszty przechowywania danych offline. W ASE 15.7 wprowadzono mechanizm kompresji w obrębie samej bazy, na danych operacyjnych. Mogą jej podlegać zarówno standardowe dane relacyjne, jaki i dane nieustrukturyzowane (LOBy). Wstępne testy wskazują, że kompresja ta może osiągnąć współczynnik od 50 do 80%. W ASE 15.7 w celu osiągnięcia wysokiego współczynnika kompresji wykorzystywane są różne strategie: kompresja w obrębie pojedynczego wiersza, redukująca puste/zerowe miejsca w kolumnach o określonej długości. Na poziomie strony/bloku danych stosuje się kompresję zarówno stron słownika, jak i indeksu. Powtarzające się dane i bloki danych są zastępowane jednokrotnym odniesieniem, co skutkuje ogromnymi oszczędnościami w zakresie zdublowanych danych. Dane można kompresować na poziomie bazy, tabeli lub partycji, co pozwala użytkownikowi dokonać wyboru metod kompresji dla danych aktywnych i nieaktywnych. ASE 15.7 obsługuje również kompresje obiektów typu LOB w obrębie bazy danych. Wziąwszy pod uwagę, że te obiekty (jak sama nazwa wskazuje) mogą być bardzo duże, nawet do 2 GB, ich kompresja skutkuje znaczną oszczędnością przestrzeni dyskowej. Stosowane są bezstratne algorytmy FastLZ i Zlib. Pierwszy z nich w mniejszym stopniu obciąża jednostkę centralną, drugi z kolei zapewnia większy współczynnik kompresji. Użytkownik może wybrać poziom, na którym dokonywana jest kompresja: baza danych, tabela lub kolumna. Przechowywanie obiektów LOB w wierszach Od nowoczesnych aplikacji biurowych coraz częściej wymaga się możliwości przetwarzania danych nieustrukturyzowanych. Dane te są przechowywane jako kolumny typu LOB (np. dane tekstowe, obrazy, unitext, obiekty XML). LOBy różnią się między sobą wielkością, niektóre mają rozmiar pojedynczych bajtów, inne kilku gigabajtów. W ASE zastosowano optymalizację przechowywania tych obiektów poprzez przypisanie im bloków, które są wskazywane z poziomu wiersza danych. W przypadku naprawdę dużych obiektów nieustrukturyzowanych rozwiązanie to było bardzo skuteczne. W ASE 15.7 wprowadzono zmianę, pozwalającą na przechowywanie obiektów LOB wprost w wierszach danych tabeli, jeśli są niewielkich rozmiarów. Rozwiązanie to ma dwie zalety: prowadzi do oszczędności przestrzeni dyskowej poprzez optymalizację miejsca przypisanego małym obiektom LOB oraz powoduje wzrost wydajności systemu przez zredukowanie przestrzeni potrzebnej na operacje we/wy przy pobieraniu obiektów LOB. W systemie ASE migracja obiektów LOB z systemu przechowywania w wierszach do przechowywania poza wierszami (i odwrotnie) odbywa się płynnie, zapewniając optymalizację składowania w miarę zmian wielkości konkretnych obiektów (np. w wyniku aktualizacji danych). 2

5 Tworzenie niezmaterializowanych nienullowych kolumn bez kopiowania danych W przeszłości utworzenie nienullowej kolumny w istniejącej tabeli danych wymagało skopiowania całości danych. Sytuacja ta była szczególnie uciążliwa, gdy w grę wchodziły bardzo duże tabele. Wersja ASE 15.7 umożliwia tworzenie niezmaterializowanych nienullowych kolumn bez potrzeby kopiowania danych (co wymagało zarezerwowania ogromnej ilości tymczasowej przestrzeni, równej pierwotnemu rozmiarowi tabeli). Rozwiązanie wprowadzone przez ASE 15.7 pozwala zaoszczędzić zarówno czas, jak i przestrzeń dyskową. W przypadku uaktualnienia tych wierszy, kolumny te są w tle automatycznie instancjonowane (fizycznie zapisywane w wierszu danych). Zmniejszenie wielkości logu transakcyjnego Wersja ASE 15.7 umożliwia zmniejszenie wielkości logu transakcyjnego. Logi transakcyjne bywają bardzo duże z wielu powodów: w celu obsłużenia sytuacji zapełnienia loga transakcyjnego, obsłużenia jednorazowych operacji wymagających bardzo dużej przestrzeni dyskowej lub nawet wynikające z przeszacowania wymaganej wielkości w czasie planowania. EFEKTYWNOŚĆ PROGRAMOWANIA APLIKACJI Wersja ASE 15.7 oferuje wiele udogodnień wspomagających wydajne programowanie aplikacji. Wśród nich na uwagę zasługują: Wprowadzone w ASE 15.7 udogodnienia dotyczące optymalizacji przestrzeni składowania: kompresja zarówno danych standardowych, jak i typu LOB (large objects); przechowywanie dużych obiektów (LOB) w wierszach danych; tworzenie niezmaterializowanych nienullowych kolumn bez kopiowania danych; możliwość zmniejszenia wielkości logu transakcyjnego. prostszy i skuteczniejszy sposób pobierania i przetwarzania dużych obiektów (LOB); większa elastyczność w zakresie (w obszarze) współbieżności i poziomach izolacji; ulepszona obsługa instrukcji SQL; obsługa języków skryptowych. W wersji ASE 15.7 znacznie poprawiono obsługę obiektów LOB. Poza funkcjonalnością opisaną powyżej, pozwalająca na zapisywanie tych obiektów w wierszach tabel, wersja 15.7 wprowadza koncepcję lokalizatorów tych obiektów (LOB locators). Lokalizatory LOB to w ogólności uchwyty/wskaźniki do obiektu buforowanego w pamięci serwera. Aplikacja kliencka wysyła i odbiera lokalizatory jako zmienne hosta i znaczniki parametrów. Aplikacje klienckie mogą dokonywać operacji na obiektach LOB komunikując się z serwerem poprzez ich lokalizatory, bez potrzeby generowania ruchu samych obiektów. Ta nowość ogranicza znacznie ruch w sieci między klientem a serwerem, zmniejsza też zapotrzebowanie na dodatkową pamięć po stronie klienta. Uproszczone operowanie obiektami LOB zapewnione zostało poprzez, dostępne w tej wersji ASE, rozliczne polecenia Transact-SQL (T-SQL). Umożliwiają one między innymi przycinanie, konkatenację obiektów, nadpisywanie fragmentów obiektów, ekstrakcję podłańcuchów, itp. Polecenia T-SQL do operowania na obiektach LOB dostępną są także dla aplikacji klienckich łączących się z wykorzystaniem interfejsu ODBC. Sterownik jconnect JDBC obsługuje dostęp do lokalizatorów z wykorzystaniem klas Blob, Clob i NClob. Ponadto w obecnej wersji obiekty LOB mogą być przekazywane jako parametry procedur składowanych. Powoduje to zwiększenie elastyczności w przetwarzaniu obiektów LOB w ramach procedur składowanych jak również zmniejsza złożoność samego kodu. Wersja 15.7 ASE wprowadza też liczne udogodnienia w poleceniach T-SQL umożliwiające większą ekspresyjność poleceń SQL jak również kontrolę nad współbieżnością i poziomami izolacji. Do udogodnień tych należą między innymi: obsługa polecenia MERGE, które umożliwia przenoszenie wierszy tabeli źródłowej (tabeli, widoku lub tabeli pochodnej) do tabeli docelowej; SELECT FOR UPDATE zakładanie blokad wyłącznych na wierszach otrzymanych w wyniku zapytania w celu ich późniejszego uaktualnienia; możliwość zwalniania blokad założonych przez kursor do odczytu w trakcie jego zamykania dla wszystkich poziomów izolacji nawet jeżeli transakcja pozostaje aktywna; rozliczne ulepszenia w zagnieżdżonych instrukcjach SELECT; możliwość uruchamiania wszystkich procedur systemowych i wybranych poleceń DDL w trybie transakcji łańcuchowych. Kolejnym udogodnieniem dla programistów dostępnym w wersji 15.7 ASE jest obsługa interpretatorów języków skryptowych Python, PHP i Perl. Programiści mogą teraz pisać aplikacje bazodanowe w wybranym przez siebie języku, co ma znaczący wpływ na możliwości wykorzystania potencjału osób biegłych w programowaniu w językach skryptowych. 3

6 ROZBUDOWANE FUNKCJE MONITOROWANIA I DIAGNOSTYKI Wersja 15.7 ASE wprowadza rozliczne ulepszenia dotyczące diagnostyki i monitorowania systemu, między innymi: możliwość zapisywania informacji o abstract planach w pamięci podręcznej poleceń (statement cache); możliwość eksportowania z pamięci podręcznej planów zapytań jako XML; możliwość analizowania parametrów dynamicznych przed wykonaniem zapytania, co pozwala uniknąć nieefektywnych planów zapytań; możliwość monitorowania czasu blokad (lock timeouts); możliwość prezentowania statystyk i histogramów dla różnych obiektów poprzez procedury systemowe (T-SQLowe odpowiedniki narzędzia opdiag ); możliwość monitorowania statusu kursorów; możliwość analizowania planów zapytań generowanych przez optymalizator zapytań w celu zrozumienia czynników mających wpływ na wybór danego planu zapytania (poprzez procedurę systemową sp_opt_querystat). Opisane tu i inne narzędzia umożliwiają programistom aplikacji dogłębną analizę procesów decyzyjnych przeprowadzanych przez procedury optymalizacyjne ASE, co służy jeszcze lepszemu dopasowaniu tych procedur do konkretnych potrzeb i podniesieniu wydajności systemu. Rozbudowano też możliwości tabel monitorujących, co na pewno docenią zaawansowani programiści i administratorzy. W wersji 15.7 wprowadzono narzędzie sybdiag. Jest to nowe silne narzędzie pozwalające na przyspieszenie zarządzania poszczególnymi przypadkami i analizę problemów klientów. Jest to narzędzie oparte na technologii Java zbierające dane na temat konfiguracji ASE i środowiska. Generuje ono plik skompresowany.zip zawierający dane w postaci HTML, które po zdekompresowaniu są odczytywane w przeglądarce internetowej. Zawarte w nim dane to informacje o systemie operacyjnym, konfiguracji ASE, środowisku, dane z monitoringu i inne pliki oraz skrypty. Należy podkreślić, że dane takie jak loginy, hasła, lista użytkowników lub informacje zawarte w tabelach nie są przesyłane. Funkcjonalność sybdiag może być używania przez klientów w celu przesłania do działu wsparcia Sybase ważnych danych diagnostycznych za pomocą jednej komendy, co znacznie ogranicza cykle komunikacyjne i obciążenie czasowe zarówno po stronie klienta jak i działu wsparcia technicznego Sybase. BEZPIECZEŃSTWO DANYCH Wersja 15.7 ASE wprowadza rozliczne ulepszenia dotyczące bezpieczeństwa danych, między innymi: zmiany właścicieli obiektów; obsługa profili logowania; podział wiedzy/podwójna kontrola w celu chronienia kluczy szyfrujących (wymagane do spełnienia normy bezpieczeństwa w systemach przetwarzania danych kart płatniczych PCI-DSS); wzmocnienie algorytmów szyfrowania celem uzyskania zgodności ze standardem FIPS szyfrowanie haseł ról algorytmem SHA256, szyfrowanie haseł dla zewnętrznych loginów oraz ukrytego kodu SQL algorytmem AES-256; pojedyncze logowanie z systemem przesyłania uwierzytelnienia w procedurze end-to-end, protokół Kerberos. W wersji 15.7 zmiana właściciela obiektu jest znacznie łatwiejsza. Potrzeba takiej zmiany zachodzi dość często, choćby w przypadku utworzenia obiektu przez jedną osobę, a zarządzania nim lub serwisowania przez inną. Taka sytuacja może mieć miejsce przy zmianach stanowisk i odpowiedzialności pracowników, zmiany pracy, przejęciach i fuzjach lub powierzeniu serwisowania systemu firmie zewnętrznej. Wersja 15.7 pozwala na dogodne przeprowadzenie zmiany właściciela obiektu. Inną cechą wersji 15.7, pozwalającą na łatwiejsze zarządzanie zagadnieniami bezpieczeństwa danych jest możliwość tworzenia profili loginów. We wcześniejszych wersjach każdy login był traktowany indywidualnie. Taki system mógł być kłopotliwy na przykład w przypadku zmiany polityki dostępu do danych, obejmującej większą liczbę użytkowników. W ASE 15.7 można stworzyć profile loginów, których atrybuty definiowane w SQLu (np. default database, login script, auto activated roles, authenticate with) składowane są wraz z wartościami w kontenerach atrybutów. Profile loginów mogą być wspólne dla grup loginów. System ten jest łatwy w zarządzaniu i zapewnia dużą elastyczność w kształtowaniu polityki ochrony danych, pozwala też na proste dostosowanie tej polityki do zmieniających się uregulowań prawnych. 4

7 POPRAWA WYDAJNOŚCI W wersji 15.7 ASE zwrócono szczególną uwagę na dwa aspekty związane z poprawą wydajności systemu: skrócenie opóźnień w przetwarzaniu zapytań, w szczególności dla dynamicznego SQL; ulepszenia jądra serwera mające na celu lepsze wykorzystanie możliwości sprzętowych przy przetwarzaniu równoległym. W wersji 15.7 zastosowano wiele mechanizmów optymalizujących, które skracają czas wykonania zapytania. Są to miedzy innymi optymalizacje w zakresie użycia pamięci podręcznej i powtórnego wykorzystania informacji z kompilacji zapytań w kolejnych wywołaniach, redukcja ilości metadanych przesyłanych przez sieć dla zbiorów wyników, wykorzystanie globalnej pamięci podręcznej dla dynamicznych SQL w celu buforowania zapytań, które mogą być następnie użyte w różnych sesjach, skuteczniejsza realizacja zapytań, które nie odnoszą się do tabel i nie generują zbiorów wyników, efektywniejsza obsługa polecenia fetch kursora, jak również możliwość buforowania planów zapytań kursora w buforze instrukcji. W wersji 15.7 wprowadzono też ulepszone jądro serwera, lepiej obsługujące operacje równoległe. Nowe jądro poprawia skalowalność systemu ASE w konfiguracjach sprzętowych złożonych z dużej liczby procesorów, rdzeni lub wątków sprzętowych. Nowa wersja umożliwia też lepszą integrację operacji wejścia/wyjścia przetwarzanych zdarzeń i ogranicza obciążenie operacjami we/wy w ramach serwera ASE. Ulepszenia te nie tylko podnoszą wydajność operacji we/wy, ale również poprawiają pracę ASE w środowiskach wirtualnych. PODSUMOWANIE ASE 15.7 jest bardzo bogatą w funkcjonalności edycją ASE, która w bardzo istotny sposób wpisuje się w linie produktów z serii ASE 15x. ASE 15.7 jest też wersją przystosowaną do obsługi aplikacji SAP. ASE 15.7 nie tylko oferuje potężną platformę bazodanową użytkownikom oprogramowania SAP, ale skierowana jest również do użytkowników wcześniejszych wersji Sybase ASE, którzy mogą wykorzystać nowe funkcjonalności łatwo dokonując uaktualnienia do najnowszej wersji. 5

8 Sybase, Inc. Worldwide Headquarters One Sybase Drive Dublin, CA U.S.A SYBASE 6 Sybase Products Poland Sp. z o.o. Al. Jerozolimskie 133/ Warszawa Copyright 2011 Sybase, an SAP Company. Wszelkie prawa zastrzeżone. Nieujawnione prawa zastrzeżone na podstawie amerykańskich przepisów o prawach autorskich. Sybase i logo Sybase są znakami towarowymi Sybase, Inc. lub jego spółek zależnych. wskazuje na rejestrację w Stanach Zjednoczonych Ameryki. SAP i logo SAP są znakami towarowymi lub zarejestrowanymi znakami towarowymi SAP AG w Niemczech oraz w kilku innych krajach. Wszystkie inne znaki towarowe są własnością ich właściwych właścicieli. 09/11