Artur Wroński. IBM Information Management Technical Team Leader

Transkrypt

1 Artur Wroński IBM Information Management Technical Team Leader II Krajowa Konferencja Naukowa TECHNOLOGIE PRZETWARZANIA DANYCH SAP Business Warehouse: 60 TB danych na IBM DB2 i Power 5 W ostatnich czasach coraz częściej używa się określenia, że bazy danych to tzw. commodity, czyli powszechny produkt, który znalazł swoje miejsce praktycznie w każdego rodzaju systemach informatycznych. Innymi słowy, bazy danych to już nie technologia lotów kosmicznych, czyli jak to określają Amerykanie, żadne tam rocket science. Dla porównania można powiedzieć, że samochody to także typowy przykład powszechnego produktu commodity. Praktycznie każdy samochód jest w stanie przewieść osobę bądź rzecz z punku A do punktu B w określonym czasie. Czy jednak oznacza to, że samochody się nie różnią się od siebie i że nie jest istotne, do jakiego samochodu wsiadamy? Opowiedz jest oczywista! Jest różnica i to tym większa, im więcej będziemy od takiego samochodu wymagać w zakresie osiągów, bezpieczeństwa, czy serwisowania. Hurtownie danych SAP Business Warehouse są przykładem systemów, które stawiają serwerowi danych (włączając oprogramowanie bazy oraz sprzęt) bardzo wysokie wymagania w zakresie wydajnego przetwarzania dużego wolumenu danych. Jedna z największych firm spożywczych w Europie zwróciła się do IBM SAP International Competence Center z prośbą o wykonanie testów skalowalności ich systemu SAP BI działającego na bazie DB2. Testy obejmowały symulacje przyrostu danych z 7 TB (aktualny stan bazy danych) do 20 TB, a następnie do 60 TB. 1

2 Jak poradzić sobie z dużą bazą? Dodaćwięcej mocy Uporządkować dane Zmniejszyć Podzielićna wiele małych baz 2

3 SAP Business Warehouse: 7, 20, 60 TB Business Excellence/ Best Practice Implementation Data Standards/ Data Management Implementation System Implementation Zone EUR Switzerland (10) Poland/Baltics (8) Germany/Aut. (6) UK/ Ireland (7) Netherlands (8) Russia/ Ukr. (11) France/ Belg. (1) Norden (2) NPP Europe (2) Spain/Portugal (1) Czech/Slovak (3) Hungary (3) Italy/ Malta (4) Greece (6) Romania (9) Bulgaria (9) Italy (8) Switzer. /UK (9) France/ Belg. (11) Spain/Port (9) Germany (12) Zone AOA MY/ Singapore (9) Indochina (9) Indonesia (1) Korea (1) Middle East (1) Philippines (4) S.E. Africa (7) Greater China (7) Oceania (10) Japan (2) Israel (7) South Asia (9) Zone AMS Andean (11) Canada (5) Mexico (8) Brazil (10) USA (10) Plata Region (11) Caribbean (11) NPP USA (11) Bolivarian (1) Central Amer. (7) Dominican (7) Based on Cluster 1 Go-Live (Month) USA (1) 3

4 500 Użytk. Wydajność Ładowanie danych Agregacja danych X5 60 TB 300 Użytk. X3 Rozmiar danych 100 użytk. X1 7 TB 20 TB Czas odpowiedzi < 20s Backup < 8h Odtworzenie < 18h 4

5 Bardziej szczegółowo Opis dla testu 20 TB (drugi redbook dla testu 60 TB wkrótce) 5

6 Dodać więcej mocy Spojrzenie na zasoby serwera danych. Procesory Pamięć Dyski Dane 6

7 Dodać więcej mocy Jak poradzić sobie z przyrostem danych? Procesory Pamięć Dyski Dane 7

8 Dodać więcej mocy Jak poradzić sobie z przyrostem danych? Procesory Pamięć Dyski Dane 8

9 Dodać więcej mocy Rozbudowa sprzętu nie zawsze jest gwarancją sukcesu. Procesory Pamięć Dyski Dane 9

10 Dodać więcej mocy Najczęściej dyski są niedoszacowane ponieważ Dyski są najdroższe. Najczęstszym kryterium doboru dysków jest ich pojemność. Transfer w MB/s nie jest najistotniejszym parametrem opisującym dyski. Dużo ważniejsza jest liczba operacji na sekundę, jaką może wykonać dysk, czyli ilość dysków (głowic) ma kluczowe znaczenie. 10

11 Dodać więcej mocy Dopiero proporcjonalna rozbudowa sprzętu pozwala osiągnąć sukces Procesory Pamięć Dyski Dane 11

12 Dodać więcej mocy jednak nie zawsze jest gwarancją sukcesu Procesory Pamięć Dyski Dane 12

13 Dodać więcej mocy ponieważ, dopiero proporcjonalne wykorzystanie zasobów daje gwarancję. Procesory Pamięć Dyski Dane 13

14 Dodać więcej mocy DPF - Database Partitioning Feature przykład podziału zasobów 4 CPU, 16 GB RAM, 28 dysków 1 CPU 4 GB RAM 7 Dysków 1/4 danych Partycja bazy danych Procesory Pamięć Dyski Dane Architektura shared-nothing 14

15 Dodać więcej mocy BPU Balanced Partition Unit 1 CPU 4 GB RAM n Dysków 1/n danych Procesory Pamięć Dyski Dane BCU Ballanced Configuration Unit metodologia wymiarowania opracowana przez IBM 15

16 Dodać więcej mocy Partycja DB2 DPF p575, 8 CPU, 32 GB RAM System AIX 1 CPU 1 CPU 1 CPU Macierze DS4800 DS GB RAM n Dysków 1/n danych BPU 4 GB RAM n Dysków 1/n danych BCU... 4 GB RAM n Dysków 1/n danych Istnieje także BCU oparta o system Linux 16

17 Dodać więcej mocy Jak się tworzy tabelę w DPF? CREATE TABLE sprzedaz ( id_trans BIGINT, kod BIGINT, region INT, data DATE, ilosc INT, wartosc DECIMAL(16,2) ) DISTRIBUTE BY HASH ( id_trans) 17

18 Skalowanie systemu Dodać więcej mocy Komputer 1, p575, 8 CPU Komputer 2, p575, 8 CPU Partycja 1 Partycja 2 Partycja 3 Partycja 8 Partycja 9 Partycja 14 Partycja 15 Partycja GB - Tabela X Jedna partycja DPF zarządza 50 GB fragmentem tabeli 18

19 Skalowanie systemu Dodać więcej mocy Komputer 1, p575, 8 CPU Komputer 2, p575, 8 CPU Komputer 2, p575, 8 CPU Partycja 1 Partycja 2 Partycja 3 Partycja 8 Partycja 9 Partycja 14 Partycja 15 Partycja 16 Partycja 17 Partycja 22 Partycja 23 Partycja GB - Tabela X Jedna partycja DPF zarządza 50 GB fragmentem tabeli 19

20 Dodać więcej mocy Każda partycja bazy danych ma własny dziennik transakcji Tabele można replikować na wiele partycji Tabele mogą być rozłożone równomiernie na dowolną liczbę partycji 20

21 Uporządkować dane MDC (multidimensional clustering) Indeks blokowy: kod ekstent CREATE TABLE sprzedaz ( kod BIGINT, region INT, data DATE, ilosc INT, wartosc DECIMAL(16,2) ) ORGANIZE BY (kod, region); Kompozytowy indeks blokowy: kod, region strona strona strona strona strona Indeks blokowy: region Rekordy o tych samych kluczach MDC umieszczone są w tych samych ekstentach. 1, 22, , 66, , 22, , 7, , 22, , 13,

22 Uporządkować dane Tradycyjny Indeks 1, adres fizyczny A 1, adres fizyczny B 1, adres fizyczny C 1, adres fizyczny D 1, adres fizyczny E 1 1 MDC 1, adres fizyczny A Strona z indeksem Jeden wskaźnik dla danej wartości Blok danych (np. 2 MB) Strony z danymi (np. 4 KB) Po doładowaniu 100 MB danych łączny rozmiar 3 indeksów MDC przyrósł tylko o 150 KB. 22

23 Uporządkować dane DPF, partycjonowanie, MDC DISTRIBUTE BY HASH PARTITION BY RANGE ORGANIZE BY DIMENSIONS Komputer 1 Komputer 2 Komputer 3 DISTRIBUTE Tabela jest rozrzucona na trzy partycje bazodanowe TS1 TS2 TS1 TS2 TS1 TS2 Jan Feb Jan Feb Jan Feb PARTITION ORGANIZE North South North South North South North South North South North South East West East West East West East West East West East West 23

24 Uporządkować dane P1 P2 P3 P

25 Zmniejszyć Kompresja rekordów Dla powtarzających się wzorców danych budowany jest słownik kompresji. Słownik kompresji budowany jest dla całej tabeli. Name Dept Salary City State ZipCode Fred Plano TX John Plano TX Rekord przed kompresją Fred Plano TX John Plano TX Słownik Fred (01) (02) John (01) (02) Dept 500 Plano, TX, Rekord po kompresji 25

26 Zmniejszyć Wiersz nieskompresowany SOCKS BLUE DALLAS TEXAS Wiersz skompresowany Strona z danymi przed kompresją x 01C Powtarzający się w rekordzie wzorzec jest zamieniany na 12bitowy symbol. Strona z danymi po kompresji REORG TABLE 26

27 Zmniejszyć Rodzaj kompresji liczba stron 32KB Miejsce na dysku No compression GB Row compression GB % oszczędność miejsca: 76.4% 27

28 Zmniejszyć Wykorzystanie CPU w system SAP ERP przed i po kompresji 28

29 Podzielić na DB2 Optymalizator kosztowy DB2 Plan wykonania zapytań (zdalny i lokalny) Sfederowana procedura Synonim Synonim Tabela Opakowanie relacyjne Natywny klient Opakowanie nieralacyjne Natywny klient Lokalne dane API Biblioteki do innych źródeł: WebSphere Federation Server Zdalne źródła 29

30 Podzielić na Ujednolicenie interfejsów Zapis na wielu źródłach (dwufazowe zatwierdzanie) Mapowanie użytkowników Wykonywanie zdalnych procedur Optymalizacja dostępu Parametry opisujące źródło (wydajność CPU, systemu dyskowego, przepustowość sieci, kolejność sortowania, ) Statystyki optymalizacyjne dla zdalnych obiektów Informacyjne więzy spójności Agregaty oparte na zdalnych źródłach Możliwość tolerowania błędów Asynchroniczne wykonywanie operacji na źródłach danych 30

31 Podzielić na Pokaż listę sprzedanych telewizorów z podziałem na producentów Aplikacja SQL API (JDBC/ODBC) Sfederowana baza Opakowanie SELECT tran_date, item_id FROM transactions WHERE YEAR(tran_date)=2001 Dane na zdalnym systemie TRANSACTIONS SELECT I.man, count(*) FROM transactions T, items I WHERE I.id=T.item_id AND I.category='Television' AND YEAR(T.tran_date)=2001 GROUP BY I.man; Globalny słownik Dane lokalne SONY Television RCA VideoPlayer SONY DVDPlayer SONY VideoRecorder... ITEMS 31

32 DB2 9.5 nowy mechanizm zarządzania obciążeniem -- IV kwartał 2007 Artur Wroński IBM Information Management Technical Team Leader 32