Film dostępny na: https://youtu.be/pkzjy-4pjsu Jak przechowywać kopie zapasowe przez wiele lat? Daniel Olkowski EMC Data Protection Europe EAST 1
Środowisko backupowe 2
Środowisko backupowe 3
Backup & odtwarzanie czyli Data Domain (de-duplikacja) 4
Backup & odtworzenie operacyjne Backup LAN/FC Data Domain 5
Backup & odtworzenie operacyjne Backupujemy / Odtwarzamy Bazy Maszyny wirtualne Pliki Aplikacje 6
Backup & odtworzenie operacyjne Backupujemy / odtwarzamy całe środowisko Maszyny krytyczne dla działania naszego przedsiębiorstwa Systemy produkcyjne Systemy deweloperskie Systemy testowe Dane użytkowników 7
Backup & odtworzenie operacyjne Wydajność Szybki backup Szybkie odtworzenie Brak obciążenia produkcji backupem Disaster Recovery Bogata funkcjonalność 8
Backup & restore operacyjne 1. Błyskawiczny backup 2. Transfer tylko zmienionych danych z zabezpieczanych środowisk (BOOST) 3. Odczyt z dysku tylko zmienionych danych -> backup pełny (Virtual Synthetic) 4. Bardzo duża wydajność odtworzenia (do 15TB/h) 5. Transfer 1%-3% danych do ośrodka zapasowego > Odtworzenie 100% 6. Minimalizacji kosztów (najlepsza na rynku deduplikacja) 7. Wsparcie dla dowolnego oprogramowania Backup LAN/FC 8. Backup bez systemu backupu 9. Dostępność 24*7 10.Podział na logiczne części z kontrolą dostępu (zachowanie globalnej de-duplikacji) Data Domain 11.Rozliczanie 9
Data Domain -> Disaster Recovery Ośrodek podstawowy Ośrodek zapasowy Linux, UNIX, Windows, Aplikacje, Bazy, Poczta Linux, UNIX, Windows, Aplikacje, Bazy, Poczta Bazy Poczta Serwer backupu Media agent SAN r 1% - 3% Data Domain Replikacja Data Domain 10
Odtworzenie operacyjne Ponad 90% odtworzeń z ostatniego tygodnia. Ponad 99, % odtworzeń z ostatniego kwartału 11
Odtworzenie operacyjne Ponad 90% odtworzeń z ostatniego tygodnia. Najczęściej odtwarzamy dane za Ponad 99, % odtworzeń z ostatniego kwartału ostatnie 2 tygodnie Czy odtwarzamy produkcję z kopii starszej niż dwa tygodnie? Czy zgłaszają się użytkownicy, że stracili pliki i zauważyli to po 6 miesiącach / 2 latach? Sporadycznie odtwarzamy dane starsze niż kwartał 12
Ile jest wspólnych danych? Dziś 13
Ile jest wspólnych danych? Dziś Jutro Kolejny dzień 0,1% do 3% różnicy danych 14
Ile jest wspólnych danych? Dziś Jutro Kolejny dzień 0,1% do 3% różnicy danych Data Domain 1% Data Domain 1% 15
Ile jest wspólnych danych? Dziś Jutro Kolejny dzień 0,1% do 3% różnicy danych Data Domain 1% Data Domain 1% 16
Ile jest wspólnych danych? Dziś Jutro Najlepsza na rynku de-duplikacja Kolejny dzień 0,1% do 3% różnicy danych Zmienny blok 4K 12K Data Domain 1% Data Domain 1% 17
Ile jest wspólnych danych? Dziś Retencja do 1 rok Jutro Najlepsza na rynku de-duplikacja Kolejny dzień 0,1% do 3% różnicy danych Zmienny blok 4K 12K Data Domain 1% Data Domain 1% 18
Gdy retencja dłuższa niż rok 19
Dlaczego musimy przechowywać dane dłużej niż rok? Wymogi prawne Przepisy wewnętrzne... 20
Ile jest wspólnych danych? Dziś Za 1 rok 21
Ile jest wspólnych danych? Dziś Za 1 rok Różnica może dochodzić do 30%-50% 22
Ile jest wspólnych danych? Dziś Za 1 rok W ciągu 5 lat dane mogą się Różnica może dochodzić do 30%-50% różnić kilkukrotnie 23
Częstotliwość odtworzeń Rzadkie odtworzenie danych Raz na kilka miesięcy lub rządziej Nie potrzebujemy wydajności odtworzenia Data Domain 24
Częstotliwość odtworzeń Dla retencji powyżej jednego Rzadkie odtworzenie danych roku Raz na kilka miesięcy lub rządziej Nie potrzebujemy Nie skorzystamy wydajności z wydajności odtworzenia Data Domain Data Domain (praktycznie nie odtwarzamy) Nie skorzystamy de-duplikacji Data Domain (zwykle mała powtarzalność danych między obrazami danych różniącymi się o wiele lat) 25
Data Domain Backup LAN/FC Media Server / Storage Node Retencja 1-3 miesiące Błyskawiczny backup / odtworzenie Niski koszt Proces klonowania Dane długoterminowe Retencja 5 lat / 10 lat / 26
Informacje od Data Domain użytkowników Media Server / Storage Node Backup LAN/FC Retencja 1-3 miesiące Błyskawiczny backup / odtworzenie Niski koszt Proces klonowania Dane długoterminowe Retencja 5 lat / 10 lat / 27
Problemy Utrzymanie Awaryjność Skomplikowana konfiguracja SAN Serwery dostępowe Konfiguracja w oprogramowaniu backupowym 28
Problemy Wysokie koszty Przechowywanie taśm W ramach biblioteki wysokie koszty Koszt biblioteki Koszt serwerowni Przestrzeń serwisowa Dedykowane pomieszczenie Wynoszenie taśm Katalogowanie Utrzymanie temperatury / wilgotności Przewijanie taśm 29
Problemy Migracja między technologiami 30
Tabela kompatybilności technologii LTO 31
Tabela kompatybilności technologii LTO Wiarygodność Jaką mam gwarancję, że taśma nie jest uszkodzona? Ile powinienem zrobić kopii by mieć pewność, że odzyskam dane? Co jeśli backup jest na kilku taśmach? Uszkodzenie fragmentu jednej taśmy uniemożliwia odtworzenie całości 32
Czy jest alternatywa dla taśmy? 33
Data Domain Backup LAN/FC Storage Node Media Server CloudBOOST ECS Retencja 1-3 miesiące Błyskawiczny backup / odtworzenie Niski koszt Proces klonowania De-duplikacja 1:6 do 1:20 Dane długoterminowe Retencja 5 lat / 10 lat / 34
vs. ECS 35
ECS Dlaczego ECS? vs. Retencja 5 lat / 10 lat / 36
1. Niższe koszty 2. Eliminacja czynności manualnych W pełni automatyczny proces ECS 3. Pewność posiadania danych 4. Eliminacja mechanicznych urządzeń (naprawy, utrzymanie, itp.) 5. Eliminacja pomieszczeń z taśmami (Wymagane ścisłe parametry) 6. Eliminacja migracji technologii taśmowych Retencja wieloletnia 7. Eliminacja okresowego przewijania taśm 8. Proste Disaster Recovery 9. Prostsza konfiguracja w systemie backupu 37
Najważniejszy element: Koszt 38
Koszt 1TB przestrzeni systemu ECS Koszt List Price przestrzeni netto: 760 Euro za 1TB Data Domain Koszt przestrzeni przyjmując współczynnik de-duplikacji 1:20: 38 Euro za 1TB Backup LAN/FC Storage Node Media Server CloudBOOST ECS Retencja 1-3 miesiące Bieżący backup / odtworzenie Proces klonowania De-duplikacja 1:6 do 1:20 Dane długoterminowe Retencja 5 lat / 10 lat / 39
Co powinniśmy uwzględnić w TCO? Koszt zakupu Uwzględnienie, że taśmy nigdy nie są w pełni zapełniane Przyjmuje się 25% przestrzeni niewykorzystanej na taśmach. Miejsce w szafie Przestrzeń serwisowa Koszt replikacji / wynoszenia backupów Migracja do nowych technologii 40
Ile potrzebuję systemu ECS dla swoich danych? 41
Ile potrzebuje przestrzeni ECS? Oszacowanie wielkości storage'u dla długoterminowego przechowywania backupów Liczba danych do backupu [TB] Liczba eksportów backupu na długoterminowe media miesięcznie Liczba miesięcy Liczba lat Liczba danych przechowywanych jako długoterminowy backup [TB] 80 1 12 5 4800 Oszacowanie wielkości potrzebnej przestrzeni ECS Liczba danych [TB] Współczynnik de-duplikacji (1:x) Wymagana przestrzeń ECS [TB] Koszt za TB ECS [Euro] 4800 20 240 760 42
Ile potrzebuje przestrzeni ECS vs biblioteka taśmowa? Oszacowanie wielkości storage'u dla długoterminowego przechowywania backupów Liczba danych do backupu [TB] Liczba eksportów backupu na długoterminowe media miesięcznie Liczba miesięcy Liczba lat Liczba danych przechowywanych jako długoterminowy backup [TB] 80 1 12 5 4800 Oszacowanie wielkości potrzebnej przestrzeni ECS Liczba danych [TB] Współczynnik de-duplikacji (1:x) Wymagana przestrzeń ECS [TB] Koszt za TB ECS [Euro] 4800 20 240 760 Oszacowanie wielkości potrzebnej przestrzeni biblioteki taśmowej Liczba danych [TB] Pojemnośc taśmy LTO-6 [TB] Współczynnik kompresji (1:x) Pojemnośc taśmy LTO- 6 po kompresji [TB] Liczba taśm 4800 2,5 2 5 960 43
Koszt ECS vs biblioteka taśmowa? Oszacowanie wielkości storage'u dla długoterminowego przechowywania backupów Liczba danych do backupu [TB] Liczba eksportów backupu na długoterminowe media miesięcznie Liczba miesięcy Liczba lat Liczba danych przechowywanych jako długoterminowy backup [TB] 80 1 12 5 4800 Oszacowanie wielkości potrzebnej przestrzeni ECS Koszt List Price systemu ECS Liczba danych [TB] Współczynnik de-duplikacji (1:x) Wymagana przestrzeń ECS [TB] Koszt za TB ECS [Euro] wymaganego do przechowyania backupów przez określoną lat 4800 20 240 760 182 400 Oszacowanie wielkości potrzebnej przestrzeni biblioteki taśmowej Koszt List Price systemu bibliotecznego 1100 slotów, 8 napędów Całkowity koszt systemu bibliotecznego 1100 slotów, 8 napędów, 1100 taśm [Euro] Liczba danych [TB] Pojemnośc taśmy LTO-6 [TB] Współczynnik kompresji (1:x) Pojemnośc taśmy LTO- 6 po kompresji [TB] Liczba taśm [Euro] Koszt List Price 1100 taśm [Euro] 4800 2,5 2 5 960 324 000 44 000 368 000 44
Koszt ECS vs biblioteka taśmowa? Mam 20TB danych i wyrzucam dane raz na tydzień 45
Koszt ECS vs biblioteka taśmowa? Oszacowanie wielkości storage'u dla długoterminowego przechowywania backupów Liczba danych do backupu [TB] Liczba eksportów backupu na długoterminowe media miesięcznie Liczba miesięcy Liczba lat Liczba danych przechowywanych jako długoterminowy backup [TB] 20 4 12 5 4800 Oszacowanie wielkości potrzebnej przestrzeni ECS Koszt List Price systemu ECS Liczba danych [TB] Współczynnik de-duplikacji (1:x) Wymagana przestrzeń ECS [TB] Koszt za TB ECS [Euro] wymaganego do przechowyania backupów przez określoną lat 4800 20 240 760 182 400 Oszacowanie wielkości potrzebnej przestrzeni biblioteki taśmowej Koszt List Price systemu bibliotecznego 1100 slotów, 8 napędów Całkowity koszt systemu bibliotecznego 1100 slotów, 8 napędów, 1100 taśm [Euro] Liczba danych [TB] Pojemnośc taśmy LTO-6 [TB] Współczynnik kompresji (1:x) Pojemnośc taśmy LTO- 6 po kompresji [TB] Liczba taśm [Euro] Koszt List Price 1100 taśm [Euro] 4800 2,5 2 5 960 324 000 44 000 368 000 46
Jakie systemy backupu potrafią rozmawiać z ECS? 47
Jakie systemy backupu wspierają poniższą architekturę? Data Domain Backup LAN/FC Storage Node Media Server CloudBOOST ECS Retencja 1-3 miesiące Błyskawiczny backup / odtworzenie Niski koszt Proces klonowania De-duplikacja 1:6 do 1:20 Dane długoterminowe Retencja 5 lat / 10 lat / 48
Jakie systemy backupu wspierają poniższą architekturę? Data Domain NetWorker Avamar NetBackup Pozostałe po uzyskaniu Storage Node Media Server CloudBOOST zgody Product Manager EMC Backup LAN/FC ECS Retencja 1-3 miesiące Błyskawiczny backup / odtworzenie Niski koszt Proces klonowania De-duplikacja 1:6 do 1:20 Dane długoterminowe Retencja 5 lat / 10 lat / 49
Jak pisać do ECS? Protokoły obsługiwane przez ECS są wspierane natywnie przez Commvault Simpana (Atmos / S3) NetBackup 7.7+ (S3)... 50
CloudArray ECS można wystawić jako CIFS/NFS Moduł CloudArray Wówczas każda aplikacja może pisać do ECS-a jako backup na dysk 51
Możliwości eksportu backupu na taśmy CloudBOOST Natywny z aplikacji backupowej (S3/Atmos) CloudArray (CIFS/NFS) 52
Konfiguracja backupu na ECS 53
NetWorker Konfiguracja migracji do ECS 54
NetWorker Konfiguracja migracji do ECS 55
NetWorker Konfiguracja migracji do ECS 56
NetWorker Konfiguracja migracji do ECS 57
NetWorker Konfiguracja migracji do ECS 58
NetWorker Konfiguracja migracji do ECS 59
Czym jest ECS (storage obiektowy)? 60
Dlaczego ECS? ECS został skonstruowany jako storage Bezpieczny Ekstremalnie tani ECS ma za zadanie przechowywać Dane archiwalne Backupy Pliki Dostęp do plików Z dowolnego miejsca Z dowolnej aplikacji 61
Dlaczego ECS? 62
Dlaczego ECS? Nieograniczona przestrzeń CIFS / NFS wymaga podziału na LUNy o okreslonej wielkości Zarządzanie Nieograniczona liczba plików 10 miliardów lub więcej CIFS/NFS: Kilka milionów plików per kaltaog Zarządzanie Często limit na max liczbę plików Kilkadziesiąt milionów Kilkaset milionów 63
Dlaczego ECS? Dowolna wielkość plików Wsparcie dla miliardów małych plików CIFS/NFS: Problem z Małymi plikami Dużą liczba małych plików 64
Dlaczego ECS? Prosty dostęp Jedyny parametr: Adres http CIFS/NFS: Adres http Nazwa share Konieczność pamiętania setek share ów Konieczność ręcznej konfiguracji w aplikacji / dla użytkowników 65
Dlaczego ECS? Replikacja ECS Po prostu kolejna kopia danych Bez znaczenia czy lokalna czy zdalna Automatycznie replikowana między wszystkie instancje Możliwość protekcji między lokalizacjami (Archiwa Narodowe) Replikacja na poziomie plików Tylko plik jest replikowany 66
Dlaczego ECS? Replikacja CIFS/NFS Kalendarz replikacji Zarządzanie Każda lokalizacja oddzielna kopia Replikacja na poziomie LUNów (różnica między LUN ami) Replikacja na bazie snapshotów ograniczona liczba zarządzanie 67
Dlaczego ECS? ECS -> Dostęp do repliki Aplikacja nie wie do którego ECS jest dostęp DNS Load balancer przekierowuje ecs.mojanazwa.comna na adres IP Który jest najbliżej mojej lokalizacji Który działa (w przypadku awarii innego node ) Awaria ECS niezauważalna dla aplikacji / użytkowników 68
Dlaczego ECS? CIFS/NFS -> Dostęp do repliki W aplikacji zmieniamy wszystkie ścieżki na CIFS/NFS systemu który działa W przypadku przywrócenia działania podstawowego urządzenia CIFS/NFS ponowna ręczna zmiana wszystkich ścieżek w aplikacjach / dla użytkowników Brak automatycznego wyboru najbliższego urządzenia 69
Pytania? Daniel.Olkowski@emc.com 70