Nowości w Oracle RAC 11gR2

Transkrypt

1 Nowości w Oracle RAC 11g Release 2 OPITZ CONSULTING Kraków Nowoczesne techniki konsolidacji i optymalizacji środowisk opartych o rozwiązania Oracle (2011) Grzegorz Jakusz-Gostomski (Starszy konsultant) OPITZ CONSULTING Kraków 2011 Strona 1

2 Agenda 1. Wprowadzenie 2. Zmiany w koncepcji RAC i Clusterware 3. Nowe funkcjonalności 4. Oracle Volume Manager oraz Cluster Filesystem 5. Rozwiązania uławiające pracę DBA... OPITZ CONSULTING Kraków 2011 Strona 2

3 Wprowadzenie W prezentacji tej zostaną zaprezentowane nowe elementy Oracle RAC 11g Release2 Prezentacja ta nie rości sobie prawa bycia kompendium wiedzy o RAC Dostępnych jest znacznie więcej nowości w RAC Brak szczegółowych informacji implementacyjnych OPITZ CONSULTING Kraków 2011 Strona 3

4 Rys historyczny OPS od wersji Oracle (6.2) Cache Fusion phase 1 Oracle 8i RAC od Oracle 9i OraCM for Linux and Windows NT OPITZ CONSULTING Kraków 2011 Strona 4

5 1 Zmiany w koncepcji RAC i Clusterware OPITZ CONSULTING Kraków 2011 Strona 5

6 GRID Oracle coraz częściej mówi o Grid Związek pojedyńczych serwerów Grid = having power computing as a utility RAC-Cluster jest również Grid em W praktyce częste instalacje to węzły Wiele nowych pomysłów ma rzeczywisty sens w konfiguracji wielowęzłowej (>8) OPITZ CONSULTING Kraków 2011 Strona 6

7 Clusterware, ASM oraz baza danych Oracle 10g, 11g Release 1 /u00/app/root/product/crs1020 /u00/app/oracle/product/ Oracle 11g Release 2 /u00/app/root/product/grid1120 /u00/app/oracle/product/ Cluster-Software baza danych oraz ASM-Software Cluster- und ASM-Software (GRID) baza danych ASM jest przeniesiony z RDBMS do ClusterHome Klaster działa głównie w kontekście użytkownika root Technicznie nie ma problemów z instalacją poza ORACLE_BASE (/u00/app/root). OFA działa również w tym przypadku OPITZ CONSULTING Kraków 2011 Strona 7

8 Clusterware, ASM oraz baza danych Storage-Management (ASM) jest bardziej zadaniem Sysadmin niż DBA, stąd przesunięcie do Grid Infra Oracle umożliwia teraz rozdzielenie administracji DBA i ASM Administracja tylko z przywilejem SYSASM Podczas instalacji należy wybrać grupę OSASM (np. "asm"). Użytkownik tej grupy może zalogować się bez użycia hasła sqlplus / as sysasm Kto należy do obydwu grup, może się również jako "/ as sysdba" zalogować OPITZ CONSULTING Kraków 2011 Strona 8

9 Oracle Cluster Registry (OCR) oraz Voting Disks (do Oracle 11.1) Clusterware potrzebuje OCR oraz Voting Disks ASM potrzebuje działającego Clusterware Problem: nie można Voting Disks, OCR oraz SPFILE instancji ASM przechowywać na ASM, gdyż ASM nie jest jeszcze dostępny Instalacja Clusterware wymaga RAW-Devices /dev/raw/raw1 (10.1) Block-Devices /dev/sdc5 (od 10.2) SPFILE instancji ASM dla instancji lokalnie na systemie plików Albo centralnie na systemie klastrowym ASM Clusterware Diskgruppe ASM Disks Voting Disks OCR OPITZ CONSULTING Kraków 2011 Strona 9

10 Oracle Cluster Registry (OCR) oraz Voting Disks (VD) w Oracle 11.2 Problem ASM-Clusterware został rozwiązany! OCR oraz Voting Disks są trzymane w ASM Sposób rozwiązania? OCR oraz VD znajdują się w ASM Disks na pewnej, dokładnie zdefiniowanej pozycji (koncepcyjnie porównywane z Master-Boot-Record na dysku) Dzięki temu klaster ma dostęp do tych danych bez działającego ASM ASM Clusterware Voting Disks OCR OLR Oracle Local Registry (lokalna kopia w GRID dla OHAS) Diskgruppe ASM Disks OPITZ CONSULTING Kraków 2011 Strona 10

11 Oracle Cluster Registry (OCR) oraz Voting Disks (VD) w Oracle 11.2 Interaktywny instalator nie ma możliwości zastosowania RAW- albo Block-Devices Best Practices Nie nazywać Diskgroupe "DATA ale np. "GRID" W tej grupie trzymać jedynie OCR i VD OPITZ CONSULTING Kraków 2011 Strona 11

12 Oracle Cluster Registry (OCR) oraz Voting Disks (VD) w Oracle 11.2 Backup / Restore Backup Voting Disks jest automatycznie zapisywany w OCR Backup za pomocą "dd" nie jest więcej wspierany Restore (Voting Disks jest uszkodzony): crsctl start crs -excl crsctl query css votedisk crsctl replace votedisk +GRID Dla przypomnienia: OCR jest regularnie zapisywany na poziomie systemu plików OPITZ CONSULTING Kraków 2011 Strona 12

13 2 Nowe funkcjonalności OPITZ CONSULTING Kraków 2011 Strona 13

14 Grid Naming Service (GNS) Co mamy tu podać? SCAN, GNS... OPITZ CONSULTING Kraków 2011 Strona 14

15 Virtual IP Address (VIP) Virtual IP Address (VIP) Dostępne już od Oracle 10g Każdy host posiada własne VIP Klient Oracle podaczas połaczenia sqlnet dysponuje listą dostępnych węzłów, aby w razie awarii przełączyć się na nastepny adres (tnsnames.ora) Jeżeli węzeł nie działa, sprawdzany jest kolejny listener vip1 vip2 listener vip1 vip2 X listener host1 eth0 host2 eth0 eth0 host2 eth0 OPITZ CONSULTING Kraków 2011 Strona 15

16 Grid Naming Service (GNS) Klaster posiada własną subdomene DNS/DHCP GNS cluster.firma.com? eth0 gns.firma.com host2 Domain Name Server (DNS) przekierowuję zapytanie dla Sub-Domain do GNS Naming-Server (GNS) posiada również VIP GNS VIP jest rozwiązywalny poprzez DNS GNS jest aktywny np. na nodzie 2; jeżeli ten node jest niedostępny, inny node w klastrze przejmuje funkcję GNS (znana migracja VIP) GNS jest zatem DNSem dla subdomeny, adresy IP otrzymuje z DHCP OPITZ CONSULTING Kraków 2011 Strona 16

17 Single Client Access Name (SCAN) dotychczas... klient ma dostęp do danych każdego z węzłów O ile wezęł działa i odpowiedni serwis jest dostępny klient musi zdefiniować wszystkie węzły klastra Jeżeli jeden nie odpowiada, sprawdzany jest następny HR.erfinder = (DESCRIPTION = (ADDRESS_LIST = ) (FAILOVER=ON) (LOAD_BALANCE=ON) (ADDRESS = (PROTOCOL = TCP)(HOST = srvrac1.firma.com)(port = 1521)) (ADDRESS = (PROTOCOL = TCP)(HOST = srvrac2.firma.com)(port = 1521)) (ADDRESS = (PROTOCOL = TCP)(HOST = srvrac3.firma.com)(port = 1521)) (CONNECT_DATA = (SERVICE_NAME = HR.firma.com)) ) Problem przy połaczeniach typu EZConnect albo JDBC sqlplus system/manager@cluster-scan:1521/oltp OPITZ CONSULTING Kraków 2011 Strona 17

18 Single Client Access Name (SCAN) 11g Release 2 Single Client Access Name jest FQDN, która powinna być rozwiązywalna do (zalecenie Oracle) 3 adresów IP Rozwiązanie nazw następuje na bazie Round-Robin poprze DNS czy GNS Wymaga instalacji Grid Infrastructure Client odwołuje się jedynie do 1 globalnej nazwy HR.erfinder = (DESCRIPTION = (FAILOVER=ON)(LOAD_BALANCE=ON) (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP) (HOST = scan.firma.com)(port = 1521)) ) (CONNECT_DATA = (SERVICE_NAME = HR.firma.com)) ) Odpytanie SCAN nslookup scan.firma.com srvctl config scan OPITZ CONSULTING Kraków 2011 Strona 18

19 SCAN przez DNS jak to działa? Na pytanie klienta DNS odsyła jeden ze SCAN IP (round robin) Klient nawiązuje połączenie z jednym z procesów SCAN Listenera SCAN Listener (mając info o obciążeniu) odsyła klienta do jednego z local listenerów Dla dedicated connection: ciąg dalszy znany, listener odsyła informację o połączeniu do świeżo utworzonego (spawned) procesu użytkownika Klient łączy się z serwerem (VIP:port) OPITZ CONSULTING Kraków 2011 Strona 19

20 SCAN Listener SCAN Listener dla wszystkich węzłów Klient musi znać jedynie 1 nazwę VIP Oracle instaluje tyle SCAN Listener ile adresów IP zostało zdefiniowanych Oracle zaleca 3 adresy przy GNS tworzone są automatycznie 3 adresy (nawet przy 2 wezłowym klastrze) Odpytanie srvctl config scan_listener SCAN Listener LISTENER_SCAN1 exists. Port: TCP:1521 SCAN Listener LISTENER_SCAN2 exists. Port: TCP:1521 Teraz można się łączyć user/pass@host:port/service host to właśnie nazwa SCAN-FQND Problemy: pre 11.2G clients, obciążenie, instalacja bez SCAN OPITZ CONSULTING Kraków 2011 Strona 20

21 Pula serwerów Logiczny podział klastra na pule serwerów W rzeczywistości są to mniejsze środowiska: Cluster=Server Pool Dokumentacja Oracle niezbyt bogata w tej kwestii.. OPITZ CONSULTING Kraków 2011 Strona 21

22 Zarządzanie Server Pools Administrator-managed DBA definiuje na których serwerach jakie zasoby powinny działać Odpowiada dotychczasowej koncepcji RAC Policy-managed DBA specyfikuje w jakiej puli serwerów mają działać dane zasoby Można określić min. i max. liczbę serwerów, na których zasoby powinny działać. Przykładowo dla 4-serwerowej puli można określić 3 serwery jako docelowe OPITZ CONSULTING Kraków 2011 Strona 22

23 Zarządzanie Server Pools Bazy danych w puli Policy managed muszą być conajmniej w wersji 11.2 nie mogą koogzystować z bazami typu Administrator-managed Konwersja Administrator do Policy-managed srvctl modify database -d db_unique_name -g server_pool Nie ma jednak powrotu! Automatyczna zmiana nazw instancji Administrator-Managed: DATABASE1, DATABASE2 Policy-Managed: DATABASE_1, DATABASE_2 Stare spfile parametry nie są usuwane OPITZ CONSULTING Kraków 2011 Strona 23

24 Grid Plug and Play Dodanie nowego węzła Instalacja OS analogicznie na wszystkich nodach Fizyczne połączenie noda z klastrem Połaczenenie z SAN Sieć (Public Interface i Interconnect) Utworznie grup i użytkownika oracle Konfiguracja SSH do bezhasłowej komunikacji cluvfy stage -pre nodeadd -n vm078 -verbose Uruchomienie addnode.sh na istniejącym węźle klastra./addnode.sh -silent "CLUSTER_NEW_NODES={vm078}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={vm078-vip}" OPITZ CONSULTING Kraków 2011 Strona 24

25 Grid Plug and Play (Administrator Managed) Dodanie nowej instancji Za pomocą DBCA albo w Silent-Mode dbca uruchamiamy na istniejącym węźle Dodanie Undo-Tablespace oraz Redo-Threads Dopasowanie innych parametrów RAC np: instance_number usw. Tworzone jest także środowiko na nowym serwerze oratab, Admin-Directory, Files im $ORACLE_HOME/dbs Konfiguracja DB-Console srvctl add instance -d RAC -i RAC3 -n vm075 srvctl start instance -d RAC -i RAC3 OPITZ CONSULTING Kraków 2011 Strona 25

26 Grid Plug and Play (Policy Managed) Dodanie nowej instancji Klaster sam zadba o konfiguracje nowo dodanej instancji Zależność od kardynalności dodaje Redo-Threads oraz Undo-Tablespaces (ASM z OMF wymagane) ustawia parametry spfile Przykład: do klastra dochodzi nowy węzeł srvctl modify srvpool -g RACPM -n "vm076,vm077,vm078" Clusterware automatycznie rozpoznaje że dodanie kolejnych instancji jest możliwe Instancje zostaną skonfigurowane i wystartowane na nowych węzłach OPITZ CONSULTING Kraków 2011 Strona 26

27 Co to jest Oracle Restart? Framework zatrzymania/ startu oraz monitoringu komponentów Oracle Instancji Listenera Serwisów ASM Bazuje jak przy RAC na Clusterware (Grid Infrastructure) Większa część Clusterware składa się z przejętego od Digital/HP Tru64 Cluster-Software Instalacja Grid Software na pojedyńczym serwerze Dla ASM jest to konieczne wymaganie OPITZ CONSULTING Kraków 2011 Strona 27

28 Użycie Oracle Restart Bardzo użyteczna funkcja pomocy srvctl -h srvctl add -h srvctl add database -h Kilka przykładów dla bazy danych srvctl start database -d DB1120 srvctl start listener -l LISTENER srvctl config database -d DB1120 srvctl setenv database -d DB1120 -t "x=y, y=z" srvctl getenv database -d DB1120 eval $(srvctl getenv database -d db1120 grep -v : ) Przkłady dla Listenera srvctl stop listener -l LISTENER srvctl start listener -l LISTENER OPITZ CONSULTING Kraków 2011 Strona 28

29 Oracle RAC One Node Oracle RAC One Node is an always online single instance database. Zabezpieczenie przed awarią serwera oraz bazy danych Rolling upgrades/ patches dla OS i bazy danych Online migracja instancji między serwerami Nikie koszty początkowe dla konsolidacji Łatwe przjście do Oracle RAC OPITZ CONSULTING Kraków 2011 Strona 29

30 3 Oracle Volume Manager i Oracle Cluster Filesystem OPITZ CONSULTING Kraków 2011 Strona 30

31 ASM Po raz pierwszy w Oracle 10.1 Z punktu widzenia plików danych Oracle jest to nic innego niż volume manager i (cluster) filesystem w jednym Z poziomu OS - blackbox. OS prezentuje dla ASM jedynie block devices lub raw devices Dostęp do tak zarządzanych dysków tylko za pomocą narzędzi Oracle (sqlplus, rman, asmcmd, GridControl) Device /dev/sdx Physical Volume ASM Disk Volume Group Logical Volume Filesystem /dev/vg0/u00 Diskgroup /u00/oradata/db/system.dbf +DATA/db/datafile/system.dbf OPITZ CONSULTING Kraków 2011 Strona 31

32 ASM <= 11g Release 1 ASM jest częścią ORACLE_HOME ASM może też zostać zainstalowany jako oddzielny HOME Wersja ASM na hoście musi być zgodna z najwyższą wersją zarządzanego RDBMS W konfiguracji z RAC, ASM wymaga oprogramowania clusterware W Standard Edition RAC musi być na ASM >= 11g Release 2 ASM jest częścią Grid-Infrastructure Jest instalowane wraz z oprogramowaniem Clusterware (także na standalone server) Wyraźny rozdział pomiędzy ASM (Storage) i Database Administration Grupa OSASM wymagana dla potrzeb administracji ASM Grupa OSDBA wymagana dla potrzeb administracji bazą(mi) danych Podczas instalacji obydwie grupy mogą zostać przypisane do tej samej grupy utworzonej na poziomie OS. Wtedy DBA może administrować warstwą ASM storage -> (connect / as sysasm) OPITZ CONSULTING Kraków 2011 Strona 32

33 ASM Intelligent Data Placement Fizyczne dyski mają różną prędkość dostępu w zależności od lokalizacji na dysku - Zoned Bit Recording Na zewnętrznych scieżkach można zapisać więcej danych na obrót, t.j. w danej jednostce czasu więcej danych może zostać zapisanych/odczytanych Ilość danych/obrót (MB/s) ASM pozwala zidentyfikować te obszary o szybkim dostępie i użyć ich zgodnie z zamysłem administratora (np. na potrzeby hot segments ) Uwaga1: nie dla LUNów prezentowanych z poziomu macierzy! Uwaga2: Pamięć podręczna dla macierzy z półki high end jest na pewno szybsza! OPITZ CONSULTING Kraków 2011 Strona 33

34 ASM Intelligent Data Placement Aktywacja na poziomie grupy dyskowej alter diskgroup data add template datafile_hot ATTRIBUTE ( HOT MIRRORHOT); Aktywacja na poziomie pliku danych dla hot segments" ALTER DISKGROUP data MODIFY FILE '+data/orcl/datafile/often_in_large_blocks_accessed_data ' ATTRIBUTE ( HOT MIRRORHOT); compatible.rdbms musi być 11.2 Czy i ile korzyści to przynosi? To zależy... Zależnie od charakterystyki dysków, typu dostępu do danych (random, sequential) Pamiętajmy o LUNach i pamięci podręcznej w macierzach! Max. można się spodziewać do 20% poprawy wydajności OPITZ CONSULTING Kraków 2011 Strona 34

35 ACFS - ASM Cluster Filesystem Oracle Automatic Storage Management Cluster File System (Oracle ACFS) Rozszerzenie dla ASM Implementacja poprzez moduł oracleacfs Storage Management z mirroringiem, stripingiem poprzez ADVM/ASM Dynamiczne zwiększanie/zmniejszanie systemu plików (online) Przeznaczenie: np. filesystem dla ORACLE_HOME NIE jest przeznaczony do przechowywania i zarządzania plikami bazy danych! Oracle recommends that Oracle data files are installed in Oracle ASM disk groups. Installing Oracle data files on an Oracle ACFS file system is not supported. Snapshots OPITZ CONSULTING Kraków 2011 Strona 35

36 4 Rozwiązania uławiające pracę DBA... OPITZ CONSULTING Kraków 2011 Strona 36

37 Installer: Pre-requisite Checks OPITZ CONSULTING Kraków 2011 Strona 37

38 Installer: Pre-requisite Checks Wymagania są jeszcze dokładniej sprawdzane niż poprzednio SWAP-Space nadal jest źle rozpoznawany ignore Dla pewnych błędów generowane są skrypty korygujące Dopasowanie ustawień Kernela Z reguły działają poprawnie, ale Np parametry sem* są źle ustawiane w /etc/sysctl.conf kernel.sem = 100 Skrypt korygujący radzi sobie jednak dobrze... kernel.sem = Najszybciej jednak wykonuje się takie poprawki z ręki w /etc/sysctl Niesety nie ma skryptów dla brakujących pakietów yum install gcc-c++ Nierozpoznane są także port konieczne do instalacji, a zablokowane np. przez firewall (np. dla komunikacji interklastrowej) OPITZ CONSULTING Kraków 2011 Strona 38

39 crsctl Nowe, centralne narzędzie do zarządzania zasobami: Dostępne już wcześniej, ale bez możliwości zarządzania zasobami Zamiennik dla wcześniejszych crs_profile, crs_register, crs_stat, crs_start Nie mylić z srvctl! ora.* zasoby nadal kontrolowane przez srvctl crsctl status resource -t crsctl status resource ora.db1120.db -f crsctl start cluster -all Narzędzia crs_* są nadal dostępne z powodów kompatybilności, ale mogą nie pokazywać wszystkich informacji crs_stat -p ora.db1120.db crsctl status resource ora.db1120.db -f OPITZ CONSULTING Kraków 2011 Strona 39

40 Oracle Cluster Health Monitor - OS Tool (IPD/OS) Detekcja i analiza zasobów OS i klastra Analiza wydajności Clusterware, ASM, RAC Analiza trendów i historycznych danych Dostępny jedynie dla Windows i Linux (32 i 64 bit) OPITZ CONSULTING Kraków 2011 Strona 40

41 Kontakt Grzegorz Jakusz-Gostomski Starszy konsultant OPITZ CONSULTING Kraków tel OPITZ CONSULTING Kraków 2011 Strona 41

42 Pytania OPITZ CONSULTING Kraków 2011 Strona 42