Michał Białecki, Jacek Rafalak DB2 - serce unikalnej technologii Szczyrk, 25 październik 2014
Mainframe 50 lat na rynku, z czego 30 razem z DB2
Mainframe-kto i dlaczego używa Kto używa mainframe 96 banków z listy TOP100 World Banks 23 z TOP25 US retailers 9 z 10 TOP10 World Insurance 71% firm z listy Fortune 500 zec12 5.5 GHz hexa-core chips (max 120 cores) with 3 TB memory. I dlaczego? 99.999 % availability = ~ 5 minut czas nieplanowanej niedostepności/ rok wsteczna kompatybilność - programy napisane w latach 60-tych w architekturze 24-bitowej, czy31-bitowe nadal mogą uruchamiane bez zmian (bez rekompilacji) na maszynach 64-bitowych wirtualne partycje (systemy) na jednej maszynie (pierwszy raz wprowadzone 1972) - obecnie możliwe uruchamianie partycji z/vm z/os ale też od 1999 z/linux (Red Hat, SUSE, Debian, Fedora, Slackware, Gentoo) Sysplex (wiele maszyn połączonych w jedną logiczną) 1990 - prekursor private cloud computing (Software as Service) TCO niższe niż w systemach otwartych (open/distrubuted platforms) drogi sprzęt, ale niższe koszty energii i ludzkie Bezpieczeństwo - EAL5+ certification (systemy otwarte - EAL4+)
Mainframe podejscie do przetwarzania + trochę definicji W masowym przetwarzaniu danych liczy się dostęp do IO / dysku (bo IO jest nadal najwolniejszym elementem) zrównoleglenie operacji dyskowych, dynamiczne przełączanie ścieżek do dysków w zależności od intensywności przetwarzania (dynamic Parrallel Access Volume) WLM workload manager.. Definiujemy cele dla aplikacji / usera / serwera pośredniczącego.. np. response time, 0.05s, i system stara się ten cel spełnić przydzielając odpowiednio zasoby (CPU, IO, pamięć) (odpowiednik dynamic priority) Capacity on Demand (zwiększenie tymczasowe, czasowe mocy przetwarzania, poprzez włączenie dodatkowych procesorów, lub przeniesienie mocy z innych maszyn) SYSPLEX wiele maszyn (do 32), połączonych logicznie w jedną.. (cluster) 1990.. GDPS Geographically Dispersed Parallel Sysplex - wiele maszyn zdalnie podłączonych ze sobą ( synchonicznie do 200km, async bez limitu) Automatic Restart Manager (ARM) Automatyczny restart aplikacji, na tym samym systemie, bądź innych LPAR ach (maszynach) w sysplexie
DB2 z/os 30 lat 1983 Version 1 Release 1 was announced on June 7, 1983 -V2.1 referential integrity 1990 - V2.3 DRDA (Distributed Relational Database Architecture) 1995 - V4 datasharing, stored procedures, CPU parallelism 1997 - V5 - Sysplex parallelism, prepared statement caching, reoptimization, online REORG, and conformance to the SQL-92 standard. 1998 v6 SQLJ, triggers, large objects (LOBs), user-defined functions, and distinct types. 2001 v7 - scrollable cursors, limited FETCH, and row expressions. Unicode support 2004 - V8 64 bit DBMS, SEQUENCEs, dynamic scrollable cursors, scalar fullselect, multiple DISTINCT clauses, SELECT from an INSERT statement. XML.. Multi-row FETCH & INSERT, recursion in queries, materialised query tables 2007 - V9 native stored procedures. trusted connections, purexml, PACKAGE/PLAN STABILITY, Index on Expression, INSTEAD OF Trigger, Merge, ELECT FROM MERGE/UPDATE/DELETE, INTERSECT/EXCEPT, Clone Table, Spatial, New data types: BIGINT, BINARY, VARBINARY, DECFLOAT 2010 v10 include index, hash access, temporal(versioned) tables, 20,000 concurrent threads, inline lobs, accelerator for analytics 2013 v11 archived enabled tables, nullable (partial) indexes,...
DB2 z/os Data sharing w Sysplex DB2 data sharing pozwala na wykonywanie się programów na wielu węzłach DB2 (do 32) które korzystają ze współdzielonych danych. Dzięki temu osiągamy skalowalność horyzontalną, niezawodność i dostępność IRLM DB2A Buffer Pools Coupling Facilities LOCK1 SCA Group Buffer Pools DB2B IRLM Buffer Pools... Sysplex timers 121 9 10 11 121 9 10 11 2 2 8 8 4 3 4 3 767 56 5 DB2n IRLM Buffer Pools Shared DASD DB2A Log DB2B Log DB2n Log DB2 Cat/Dir DB2 DBs...
Sysplex geograficznie rozproszony Konfiguracje Geographically Dispersed Parallel Sysplex Continuous Availability of Data within a Data Center Continuous Availability / Disaster Recovery within a Metropolitan Region Disaster Recovery at Extended Distance Continuous Availability Regionally and Disaster Recovery Extended Distance Single Data Center Applications remain active Continuous access to data in the event of a storage subsystem outage Two Data Centers Systems remain active Multi-site workloads can withstand site and/or storage failures Two Data Centers Rapid Systems Disaster Recovery with seconds of Data Loss Disaster recovery for out of region interruptions Three Data Centers High availability for site disasters Disaster recovery for regional disasters A B C 7 GDPS/HyperSwap Mgr GDPS/HyperSwap Mgr GDPS/PPRC GDPS/GM GDPS/XRC GDPS/MGM GDPS/MzGM
DB2 z/os IDAA Accelerator (oparty o Netezza) Interfejs aplikacji Optymalizator zapytań Heartbeat SPU CPU FPGA Memory Aplikacja dla System z Zapytania proste wykonywane w DB2 na z/os IDAA DRDA Requestor SMP Host SPU CPU FPGA Memory SPU CPU FPGA Memory SPU CPU FPGA Memory DB2 dla z/os IDAA 8 Heartbeat (monitorowanie dostępności i wydajności Akceleratora IDAA ) Zapytania wykonywane przez DB2 na z/os Zapytania wykonywane przez Akcelerator IDAA
DB2 z/os 11 - Analitics / BigData DB2 idzie z duchem czasu udostępniająć funcjonalności dostępu do baz Hadoop New user-defined functions New generic table UDF capability IBM InfoSphere BigInsights JAQL
DB2 z/os i JSON JavaScript Object Notation - open standard JSON API SQL + JSON API SQL API Supported in DB2 10 and 11 10 Tunable Consistency Performance & Scalability JSON { Product : { SKU : 11213, Name : Google Glass, Category : { }, Size : [ S, M, L ] } } Referential Integrity Check constraints Transactions Geo-spatial Scalability Temporal Security Joins Relational Tools for higher Productivity Established Security
DB2 z/os skala przetwarzania World s largest known peak RDBMS workload 1.1 Billion SQL statements per hour World s largest known transaction processing RDBMS >40 TB Large Asian bank World's largest banking benchmark result, a record 9,445 transactions per second 11 Branża firmy Transakcja/ sec DML/sec Finanse 1 858 773 524 Bank 2 576 563 200 Bank 1 591 (x3) 292 324 (x3) Ubezpieczenia społeczne 1 680 506 778 Telekomunikacja 2 840 284 343 Bank 9 268 107 664 Bank 2000 100 000 Bank 2 008 94 747 Przemysł 82 (x10) 5 783 (x10) Finanse 18 111 39 000 Finanse 2 527 18 170 (x2) Bank 323 8 973 Bank 57 723 1 333
DB2 z/os na świecie British Telecom Slovenia CERTIFIED CERTIFIED
DB2 z/os w Polsce
Automatyzacja procesu utrzymania baz danych DB2 for z/os
IBM TWS Proces utrzymania 15 Raportowanie Copy Reorg Runstats
Złożone środowisko implementacji Dziesiątki TB danych ( indeksy, tabele ) Duża ilość obiektów bazodanowych Wiele procesów 16 Raportowanie, Statystyki bazodanowe Reorganizacja przestrzeni tabel oraz indesków Kopia bezpieczeństwa Wiele zależności między procesami oraz workload-em Potrzeba kontroli zasobów CPU Lepsza obsługa błędów Lepsza powtarzalność ( wzorzec zadań ) Tworzenie wykluczeń, wyjątków ziip specjalne procesory
Raportowanie Raportowanie oparte na katalogu DB2 Uwzględniające większość typów obiektów (dla utrzymania tablespace, indeks) Narzędzia DSNACOXX (procedura dostarczana wraz z kodem DB2) Narzędzia własne w języku REXX 17
DSNACCOX formuła dla REORG 18 18
RTS Real Time Statistics Zbiera dane online dla wszystkich obiektów i zapisuje w katalogu DB2 SYSIBM.SYSINDEXSPACESTATS SYSIBM.SYSTABLESPACESTATS 19
Statystyki bazodanowe Krytyczne dla ścieżki dostępu ( access path ) Dedykowane utilities RUNSTATS INDEX & RUNSTATS TABLESPACE Przechowywane w katalogu DB2 Frequency, Cardinality, Histogram Kiedy uruchamiamy? Po zasileniu obiektów bazodanowych Po utworzeniu obiektu Także aby określić potrzeby reorganizacji 20
Katalog DB2 wsparcie AP 21 SYSIBM.SYSCOLDIST - CARDF, COLGROUPCOLNO, COLVALUE, FREQUENCYF, HIGHVALUE, LOWVALUE, NUMCOLUMNS, TYPE, QUANTILENO SYSIBM.SYSCOLSTATS - COLCARD, HIGHKEY, LOWKEY, PARTITION SYSIBM.SYSCOLUMNS - COLCARDF, HIGH2KEY, LOW2KEY SYSIBM.SYSINDEXES - CLUSTERING, CLUSTERRATIOF, FIRSTKEYCARDF, FULLKEYCARDF, NLEAF, NLEVELS, DATAREPEATFACTORF SYSIBM.SYSINDEXPART LIMITKEY SYSIBM.SYSTABLES - CARDF, EDPROC, NPAGES, NPAGESF, PCTROWCOMP SYSIBM.SYSTABLESPACE - NACTIVEF SYSIBM.SYSTABSTATS - CARDF, NPAGES
Reorganizacja indeksów i tablespace Krytyczna dla porządku danych ( klastrowania ), kompresji, extent-ów, zmniejszenia operacji I/O ( np. uporządkowanie drzewa idx ) Dedykowane utilities REORG TABLESPACE, REORG INDEX, REBUILD INDEX Możliwa reorganizacja online 22
Kopia bezpieczeństwa Dedykowane utility COPY MERGE COPY COPYTOCOPY Tryb pełny lub przyrostowy kopii Możliwość rozładowania danych ( UNLOAD ) z kopii MERGE COPY COPYTOCOPY 23
Workload Scheduler Charakterystyka implementacji: Uniwersalne wzór dla każdego zadania Automatyczny restart w razie błędu Zależności między aplikacjami po stronie schedulera, workloadem oraz zadaniami utrzymania między sobą centralny steering wheel dla całego procesu utrzymania 24
Tabela kontrolna 25 CREATE TABLE PG.MAINTENANCE_CONTROL_TABLE ( ST_OBJECT ST_DATABASE ST_PARTITION ST_OBJECT_TYPE ST_PRIORITY ST_PLANNING_DATE ST_UPDATEPRIO_DATE ST_JOBID ST_SAMPLE ST_SQLID ST_RULE_NAME ST_NACTIVE ST_ONDEMAND część RUNSTATS część COPY AD_IF_COPY_FULL AD_IF_COPY_INC RE_IMPORTANCE RE_UPDATEDATE RE_JOBID RE_IDPOD RE_UPDATEPRIO_DATE ) część REORG
DB2 10.5 dla Linux, Unix, Windows
DB2 10.5 dla Linux, Unix, Windows Przetwarzanie in-memory, składowanie kolumnowe (BLU) Olbrzymie przyspieszenie w systemach analitycznych Efektywne metody kompresji x5 dla tabel wierszowych, x10 dla kolumnowych, przyspieszenie zapytań Klastrowanie Active-Active oraz klaster geograficzny Technologie: purescale, HADR Doskonała integracja z systemami SAP Np. in-memory jest wspierane dla wszystkich rodzajów obiektów SAP BW 99% zgodność z bazą Oracle Składnia SQL, PL/SQL, wbudowane pakiety Elastyczne metody licencjonowania na Terabajt danych, na użytkownika, na rdzeń, socket, serwer 27
Powtórz DB2 BLU Klasyczne strojenie bazy 1. Opracuj strategię partycjonowania 2. Wybierz metodę kompresji 3. Utwórz tabele 4. Załaduj dane 5. Utwórz pomocnicze struktury Widoki zmaterializowane Indeksy 6. Dostrój pamięć 7. Dostrój parametry I/O 8. Dodaj hinty dla optymalizatora 9. Zbierz statystyki VS BLU 1. Utwórz tabele 2. Załaduj dane 28
DB2 BLU wrażenia klientów Gdy porównaliśmy wydajność tabel DB2 organizowanych kolumnowo z tabelami organizowanymi wierszami, okazało się, że z BLU nasze analityczne zapytania działały średnio 74 razy szybciej. Kent Collins, Architekt Rozwiązań Bazodanowych BNSF Railway, USA W naszym systemach zaobserwowaliśmy aż 10-25 krotne zmniejszenie zapotrzebowania na przestrzeń dyskową, gdy uwzględni się nie tylko samą kompresję, ale także to, że już nie muszę martwić się o indeksy, agregaty i tym podobne. Andrew Juarez, Lider zespołu SAP Basis oraz administratorów baz danych Coca Cola Bottling, USA 29
Opcje bazy danych Podstawowe Wszystkie Wszystkie opcje w DB2 Advanced 30 Advanced Workgroup PVU, użytkownik, terabajt Workgroup Socket, użytkownik Advanced Enterprise PVU, użytkownik, terabajt Enterprise PVU, użytkownik Wykorzystane zasoby sprzętowe Ograniczone Nieograniczone 128 GB RAM 16 rdzeni baza 15 TB Advanced Wokgroup w modelu na TB nie posiada ograniczeń na liczbę rdzeni i RAM BLU Klaster Active-Active Kompresja Ośrodek zapasowy Replikacja kolejkowa Partycjonowanie tabel Menadżer obciążenia Wielo-temperaturowość OLAP Silnik ELT Federacja Workload tuner DataStudio Performance Manger Data Architect
Stowarzyszenia Polska Grupa Użytkowników DB2
Cel stowarzyszenia Cele stowarzyszenia: Działalność edukacyjna Rozpowszechnianie wiedzy o DB2 i oprogramowaniu narzędziowym do DB2 Wymiana doświadczeń Współpraca z IBM i producentami oprogramowania w zakresie przekazywania wskazówek i pomysłów przez użytkowników DB2 Budowanie silnej społeczności skupionej wokół technologii IBM DB2 32
Członkostwo w naszym stowarzyszeniu Członkostwo w naszym stowarzyszeniu to m.in: możliwość wymiany wiedzy i doświadczeń; zapraszanie prelegentów zgodnie z zainteresowaniami uczestników grupy; udział w konferencjach przygotowanych przez grupę PDUG; wzmacnianie relacji pozazawodowych skupionych wokół technologii IBM DB2. 33
Nasze osiągnięcia
Konferencje techniczne
UŻYTKOWNICY UŻYTKOWNIKOM PRAKTYKA DOŚWIAD- CZENIE DOPASOWANIE SPECJALIZACJA z/os Linux, Unix, Windows
Nasi prelegenci Czołowi eksperci: IBM (Sillicon Valey LAB, IBM Software LAB Kraków) CA Technologies Niezależni konsultanci Wiedza przekazywana podczas: Prezentacji Panelów eksperckich Warsztatów 37
Sesje certyfikacyjne dla DB2
Własne czasopismo PDUG Artykuły techniczne, Z życia stowarzyszenia, Wydarzenia DB2, Wydawany dwa razy w roku, Tworzony przez członków stowarzyszenia; 39
www.pdug.pl Aktywne wątki 40
Media społecznościowe
Przyznane wyróżnienia Wyróżnienie dla PDUG: THE BEST NEW USERS GROUP 42 Gala IBM z okazji 30-lecia DB2 Konferencja IDUG EMEA Barcelona, 16 października 2013 r.
Aby się rozwijać Wciąż zapraszamy do: dołączenia do grona otwartych na wiedzę i nowe inicjatywy specjalistów DB2 (z/os i LUW); dzielenia się wiedzą i wymiany doświadczeń w formie prezentacji i artykułów o tematyce technicznej; współdecydowania o inicjatywach stowarzyszenia i rozwijania naszej społeczności; 43
Dziękujemy! pdug@pdug.pl www.pdug.pl Poland DB2 Users Group