Michał Białecki, Jacek Rafalak DB2 - serce unikalnej technologii

Transkrypt

1 Michał Białecki, Jacek Rafalak DB2 - serce unikalnej technologii Szczyrk, 25 październik 2014

2 Mainframe 50 lat na rynku, z czego 30 razem z DB2

3 Mainframe-kto i dlaczego używa Kto używa mainframe 96 banków z listy TOP100 World Banks 23 z TOP25 US retailers 9 z 10 TOP10 World Insurance 71% firm z listy Fortune 500 zec GHz hexa-core chips (max 120 cores) with 3 TB memory. I dlaczego? % availability = ~ 5 minut czas nieplanowanej niedostepności/ rok wsteczna kompatybilność - programy napisane w latach 60-tych w architekturze 24-bitowej, czy31-bitowe nadal mogą uruchamiane bez zmian (bez rekompilacji) na maszynach 64-bitowych wirtualne partycje (systemy) na jednej maszynie (pierwszy raz wprowadzone 1972) - obecnie możliwe uruchamianie partycji z/vm z/os ale też od 1999 z/linux (Red Hat, SUSE, Debian, Fedora, Slackware, Gentoo) Sysplex (wiele maszyn połączonych w jedną logiczną) prekursor private cloud computing (Software as Service) TCO niższe niż w systemach otwartych (open/distrubuted platforms) drogi sprzęt, ale niższe koszty energii i ludzkie Bezpieczeństwo - EAL5+ certification (systemy otwarte - EAL4+)

4 Mainframe podejscie do przetwarzania + trochę definicji W masowym przetwarzaniu danych liczy się dostęp do IO / dysku (bo IO jest nadal najwolniejszym elementem) zrównoleglenie operacji dyskowych, dynamiczne przełączanie ścieżek do dysków w zależności od intensywności przetwarzania (dynamic Parrallel Access Volume) WLM workload manager.. Definiujemy cele dla aplikacji / usera / serwera pośredniczącego.. np. response time, 0.05s, i system stara się ten cel spełnić przydzielając odpowiednio zasoby (CPU, IO, pamięć) (odpowiednik dynamic priority) Capacity on Demand (zwiększenie tymczasowe, czasowe mocy przetwarzania, poprzez włączenie dodatkowych procesorów, lub przeniesienie mocy z innych maszyn) SYSPLEX wiele maszyn (do 32), połączonych logicznie w jedną.. (cluster) GDPS Geographically Dispersed Parallel Sysplex - wiele maszyn zdalnie podłączonych ze sobą ( synchonicznie do 200km, async bez limitu) Automatic Restart Manager (ARM) Automatyczny restart aplikacji, na tym samym systemie, bądź innych LPAR ach (maszynach) w sysplexie

5 DB2 z/os 30 lat 1983 Version 1 Release 1 was announced on June 7, V2.1 referential integrity V2.3 DRDA (Distributed Relational Database Architecture) V4 datasharing, stored procedures, CPU parallelism V5 - Sysplex parallelism, prepared statement caching, reoptimization, online REORG, and conformance to the SQL-92 standard v6 SQLJ, triggers, large objects (LOBs), user-defined functions, and distinct types v7 - scrollable cursors, limited FETCH, and row expressions. Unicode support V8 64 bit DBMS, SEQUENCEs, dynamic scrollable cursors, scalar fullselect, multiple DISTINCT clauses, SELECT from an INSERT statement. XML.. Multi-row FETCH & INSERT, recursion in queries, materialised query tables V9 native stored procedures. trusted connections, purexml, PACKAGE/PLAN STABILITY, Index on Expression, INSTEAD OF Trigger, Merge, ELECT FROM MERGE/UPDATE/DELETE, INTERSECT/EXCEPT, Clone Table, Spatial, New data types: BIGINT, BINARY, VARBINARY, DECFLOAT 2010 v10 include index, hash access, temporal(versioned) tables, 20,000 concurrent threads, inline lobs, accelerator for analytics 2013 v11 archived enabled tables, nullable (partial) indexes,...

6 DB2 z/os Data sharing w Sysplex DB2 data sharing pozwala na wykonywanie się programów na wielu węzłach DB2 (do 32) które korzystają ze współdzielonych danych. Dzięki temu osiągamy skalowalność horyzontalną, niezawodność i dostępność IRLM DB2A Buffer Pools Coupling Facilities LOCK1 SCA Group Buffer Pools DB2B IRLM Buffer Pools... Sysplex timers DB2n IRLM Buffer Pools Shared DASD DB2A Log DB2B Log DB2n Log DB2 Cat/Dir DB2 DBs...

7 Sysplex geograficznie rozproszony Konfiguracje Geographically Dispersed Parallel Sysplex Continuous Availability of Data within a Data Center Continuous Availability / Disaster Recovery within a Metropolitan Region Disaster Recovery at Extended Distance Continuous Availability Regionally and Disaster Recovery Extended Distance Single Data Center Applications remain active Continuous access to data in the event of a storage subsystem outage Two Data Centers Systems remain active Multi-site workloads can withstand site and/or storage failures Two Data Centers Rapid Systems Disaster Recovery with seconds of Data Loss Disaster recovery for out of region interruptions Three Data Centers High availability for site disasters Disaster recovery for regional disasters A B C 7 GDPS/HyperSwap Mgr GDPS/HyperSwap Mgr GDPS/PPRC GDPS/GM GDPS/XRC GDPS/MGM GDPS/MzGM

8 DB2 z/os IDAA Accelerator (oparty o Netezza) Interfejs aplikacji Optymalizator zapytań Heartbeat SPU CPU FPGA Memory Aplikacja dla System z Zapytania proste wykonywane w DB2 na z/os IDAA DRDA Requestor SMP Host SPU CPU FPGA Memory SPU CPU FPGA Memory SPU CPU FPGA Memory DB2 dla z/os IDAA 8 Heartbeat (monitorowanie dostępności i wydajności Akceleratora IDAA ) Zapytania wykonywane przez DB2 na z/os Zapytania wykonywane przez Akcelerator IDAA

9 DB2 z/os 11 - Analitics / BigData DB2 idzie z duchem czasu udostępniająć funcjonalności dostępu do baz Hadoop New user-defined functions New generic table UDF capability IBM InfoSphere BigInsights JAQL

10 DB2 z/os i JSON JavaScript Object Notation - open standard JSON API SQL + JSON API SQL API Supported in DB2 10 and Tunable Consistency Performance & Scalability JSON { Product : { SKU : 11213, Name : Google Glass, Category : { }, Size : [ S, M, L ] } } Referential Integrity Check constraints Transactions Geo-spatial Scalability Temporal Security Joins Relational Tools for higher Productivity Established Security

11 DB2 z/os skala przetwarzania World s largest known peak RDBMS workload 1.1 Billion SQL statements per hour World s largest known transaction processing RDBMS >40 TB Large Asian bank World's largest banking benchmark result, a record 9,445 transactions per second 11 Branża firmy Transakcja/ sec DML/sec Finanse Bank Bank (x3) (x3) Ubezpieczenia społeczne Telekomunikacja Bank Bank Bank Przemysł 82 (x10) (x10) Finanse Finanse (x2) Bank Bank

12 DB2 z/os na świecie British Telecom Slovenia CERTIFIED CERTIFIED

13 DB2 z/os w Polsce

14 Automatyzacja procesu utrzymania baz danych DB2 for z/os

15 IBM TWS Proces utrzymania 15 Raportowanie Copy Reorg Runstats

16 Złożone środowisko implementacji Dziesiątki TB danych ( indeksy, tabele ) Duża ilość obiektów bazodanowych Wiele procesów 16 Raportowanie, Statystyki bazodanowe Reorganizacja przestrzeni tabel oraz indesków Kopia bezpieczeństwa Wiele zależności między procesami oraz workload-em Potrzeba kontroli zasobów CPU Lepsza obsługa błędów Lepsza powtarzalność ( wzorzec zadań ) Tworzenie wykluczeń, wyjątków ziip specjalne procesory

17 Raportowanie Raportowanie oparte na katalogu DB2 Uwzględniające większość typów obiektów (dla utrzymania tablespace, indeks) Narzędzia DSNACOXX (procedura dostarczana wraz z kodem DB2) Narzędzia własne w języku REXX 17

18 DSNACCOX formuła dla REORG 18 18

19 RTS Real Time Statistics Zbiera dane online dla wszystkich obiektów i zapisuje w katalogu DB2 SYSIBM.SYSINDEXSPACESTATS SYSIBM.SYSTABLESPACESTATS 19

20 Statystyki bazodanowe Krytyczne dla ścieżki dostępu ( access path ) Dedykowane utilities RUNSTATS INDEX & RUNSTATS TABLESPACE Przechowywane w katalogu DB2 Frequency, Cardinality, Histogram Kiedy uruchamiamy? Po zasileniu obiektów bazodanowych Po utworzeniu obiektu Także aby określić potrzeby reorganizacji 20

21 Katalog DB2 wsparcie AP 21 SYSIBM.SYSCOLDIST - CARDF, COLGROUPCOLNO, COLVALUE, FREQUENCYF, HIGHVALUE, LOWVALUE, NUMCOLUMNS, TYPE, QUANTILENO SYSIBM.SYSCOLSTATS - COLCARD, HIGHKEY, LOWKEY, PARTITION SYSIBM.SYSCOLUMNS - COLCARDF, HIGH2KEY, LOW2KEY SYSIBM.SYSINDEXES - CLUSTERING, CLUSTERRATIOF, FIRSTKEYCARDF, FULLKEYCARDF, NLEAF, NLEVELS, DATAREPEATFACTORF SYSIBM.SYSINDEXPART LIMITKEY SYSIBM.SYSTABLES - CARDF, EDPROC, NPAGES, NPAGESF, PCTROWCOMP SYSIBM.SYSTABLESPACE - NACTIVEF SYSIBM.SYSTABSTATS - CARDF, NPAGES

22 Reorganizacja indeksów i tablespace Krytyczna dla porządku danych ( klastrowania ), kompresji, extent-ów, zmniejszenia operacji I/O ( np. uporządkowanie drzewa idx ) Dedykowane utilities REORG TABLESPACE, REORG INDEX, REBUILD INDEX Możliwa reorganizacja online 22

23 Kopia bezpieczeństwa Dedykowane utility COPY MERGE COPY COPYTOCOPY Tryb pełny lub przyrostowy kopii Możliwość rozładowania danych ( UNLOAD ) z kopii MERGE COPY COPYTOCOPY 23

24 Workload Scheduler Charakterystyka implementacji: Uniwersalne wzór dla każdego zadania Automatyczny restart w razie błędu Zależności między aplikacjami po stronie schedulera, workloadem oraz zadaniami utrzymania między sobą centralny steering wheel dla całego procesu utrzymania 24

25 Tabela kontrolna 25 CREATE TABLE PG.MAINTENANCE_CONTROL_TABLE ( ST_OBJECT ST_DATABASE ST_PARTITION ST_OBJECT_TYPE ST_PRIORITY ST_PLANNING_DATE ST_UPDATEPRIO_DATE ST_JOBID ST_SAMPLE ST_SQLID ST_RULE_NAME ST_NACTIVE ST_ONDEMAND część RUNSTATS część COPY AD_IF_COPY_FULL AD_IF_COPY_INC RE_IMPORTANCE RE_UPDATEDATE RE_JOBID RE_IDPOD RE_UPDATEPRIO_DATE ) część REORG

26 DB dla Linux, Unix, Windows

27 DB dla Linux, Unix, Windows Przetwarzanie in-memory, składowanie kolumnowe (BLU) Olbrzymie przyspieszenie w systemach analitycznych Efektywne metody kompresji x5 dla tabel wierszowych, x10 dla kolumnowych, przyspieszenie zapytań Klastrowanie Active-Active oraz klaster geograficzny Technologie: purescale, HADR Doskonała integracja z systemami SAP Np. in-memory jest wspierane dla wszystkich rodzajów obiektów SAP BW 99% zgodność z bazą Oracle Składnia SQL, PL/SQL, wbudowane pakiety Elastyczne metody licencjonowania na Terabajt danych, na użytkownika, na rdzeń, socket, serwer 27

28 Powtórz DB2 BLU Klasyczne strojenie bazy 1. Opracuj strategię partycjonowania 2. Wybierz metodę kompresji 3. Utwórz tabele 4. Załaduj dane 5. Utwórz pomocnicze struktury Widoki zmaterializowane Indeksy 6. Dostrój pamięć 7. Dostrój parametry I/O 8. Dodaj hinty dla optymalizatora 9. Zbierz statystyki VS BLU 1. Utwórz tabele 2. Załaduj dane 28

29 DB2 BLU wrażenia klientów Gdy porównaliśmy wydajność tabel DB2 organizowanych kolumnowo z tabelami organizowanymi wierszami, okazało się, że z BLU nasze analityczne zapytania działały średnio 74 razy szybciej. Kent Collins, Architekt Rozwiązań Bazodanowych BNSF Railway, USA W naszym systemach zaobserwowaliśmy aż krotne zmniejszenie zapotrzebowania na przestrzeń dyskową, gdy uwzględni się nie tylko samą kompresję, ale także to, że już nie muszę martwić się o indeksy, agregaty i tym podobne. Andrew Juarez, Lider zespołu SAP Basis oraz administratorów baz danych Coca Cola Bottling, USA 29

30 Opcje bazy danych Podstawowe Wszystkie Wszystkie opcje w DB2 Advanced 30 Advanced Workgroup PVU, użytkownik, terabajt Workgroup Socket, użytkownik Advanced Enterprise PVU, użytkownik, terabajt Enterprise PVU, użytkownik Wykorzystane zasoby sprzętowe Ograniczone Nieograniczone 128 GB RAM 16 rdzeni baza 15 TB Advanced Wokgroup w modelu na TB nie posiada ograniczeń na liczbę rdzeni i RAM BLU Klaster Active-Active Kompresja Ośrodek zapasowy Replikacja kolejkowa Partycjonowanie tabel Menadżer obciążenia Wielo-temperaturowość OLAP Silnik ELT Federacja Workload tuner DataStudio Performance Manger Data Architect

31 Stowarzyszenia Polska Grupa Użytkowników DB2

32 Cel stowarzyszenia Cele stowarzyszenia: Działalność edukacyjna Rozpowszechnianie wiedzy o DB2 i oprogramowaniu narzędziowym do DB2 Wymiana doświadczeń Współpraca z IBM i producentami oprogramowania w zakresie przekazywania wskazówek i pomysłów przez użytkowników DB2 Budowanie silnej społeczności skupionej wokół technologii IBM DB2 32

33 Członkostwo w naszym stowarzyszeniu Członkostwo w naszym stowarzyszeniu to m.in: możliwość wymiany wiedzy i doświadczeń; zapraszanie prelegentów zgodnie z zainteresowaniami uczestników grupy; udział w konferencjach przygotowanych przez grupę PDUG; wzmacnianie relacji pozazawodowych skupionych wokół technologii IBM DB2. 33

34 Nasze osiągnięcia

35 Konferencje techniczne

36 UŻYTKOWNICY UŻYTKOWNIKOM PRAKTYKA DOŚWIAD- CZENIE DOPASOWANIE SPECJALIZACJA z/os Linux, Unix, Windows

37 Nasi prelegenci Czołowi eksperci: IBM (Sillicon Valey LAB, IBM Software LAB Kraków) CA Technologies Niezależni konsultanci Wiedza przekazywana podczas: Prezentacji Panelów eksperckich Warsztatów 37

38 Sesje certyfikacyjne dla DB2

39 Własne czasopismo PDUG Artykuły techniczne, Z życia stowarzyszenia, Wydarzenia DB2, Wydawany dwa razy w roku, Tworzony przez członków stowarzyszenia; 39

40 Aktywne wątki 40

41 Media społecznościowe

42 Przyznane wyróżnienia Wyróżnienie dla PDUG: THE BEST NEW USERS GROUP 42 Gala IBM z okazji 30-lecia DB2 Konferencja IDUG EMEA Barcelona, 16 października 2013 r.

43 Aby się rozwijać Wciąż zapraszamy do: dołączenia do grona otwartych na wiedzę i nowe inicjatywy specjalistów DB2 (z/os i LUW); dzielenia się wiedzą i wymiany doświadczeń w formie prezentacji i artykułów o tematyce technicznej; współdecydowania o inicjatywach stowarzyszenia i rozwijania naszej społeczności; 43

44 Dziękujemy! Poland DB2 Users Group