Synergia świata korporacji i OpenSource na przykładzie IBM Spectrum Protect i OpenStack Swift marcin_stec@pl.ibm.com
Agenda Object Storage Wstęp do architektury OpenStack Swift Krótki opis architektury IBM Spectrum Protect/TSM Jak to ze sobą działa? - czas na demo!
Object Storage koncepcja Składowanie danych jako obiekty: Dane Metadane UUID Podstawowe cechy rozwiązań Object Storage Tanie Skalowalne Bezpieczne Programowalne Źródło: By Leoinspace - I made it in powerpoint to explain the technology, CC BY-SA 3.0, https://commons.wikimedia.org/w/index.php?curid=28389648
Object Storage - zastosowania HPC Analityka i BigData Składowanie dużej ilości danych bez konkretnej struktury np. zdjęcia z facebooka, tweety itd.. Narzędzia pracy grupowej i współdzielenia treści: Google, Azure, Dropbox. Archiwizacja i backup: Wiele systemów Object Storage ma wbudowane mechanizmy wersjonowania obiektów.
OpenStack Swift Oryginalnie stworzony przez RackSpace. Współtworzony przez developerów z 70 firm Przystosowany o hostingu: multi-tenant. RESTfull HTTP API Wszystko w oprogramowaniu Stworzony by działać na tanim sprzęcie. Źródło: http://stackalytics.com/?release=all&module=swift-group&metric=commits
OpenStack Swift - Architektura Wywołania REST API/ HTTP Proxy Server Ring. A nawet trzy Object Server Zone 1 Zone 1 Zone N
Podstawowe komponenty Swift Uwierzytelnienie Uproszczone (token) OpenStack Keystone (wymagane przez ISP) Proxy Obsługuje wywołania API i HTTP. Buduje i dystrybuuje ringi Komunikacja z Object Serverami Object Server Object server Container server Account server Cykliczne procesy Replikacja (rsync) Usuwanie (reaper) Aktualizacja, opóźniona replikacja (updater) Kontrola spójności (auditor)
Przegląd IBM Spectrum Protect Backup, Archiwizacja i HSM. Baza danych opisuje to co jest zeskładowane. Także polityka retencji Storage pool miejsce na dane. Klienci różnego typu: Pliki Integracja z macierzami Aplikacje: Bazy Danych Hypervisory Exchange SAP (Także HANA) Wtyczki firm zewnętrznych: MySQL Postgres KVM Backup rożnymi drogami: LAN / SAN Deduplikacja, szyfrowanie, kompresja Rożne media Dyski (random, sekwencja, deduplikacja) Taśmy (primary i DR) Cloud Container SWIFT v1 i v2 Softlayer Amazon S3 CleverSafe Przyszłość: Azure.
ISP/TSM Tradycyjne podejście vs Cloud Hierarchia pul: Dyski (random) Dyski (sequential) Taśmy Disaster Recovery Replikacja do drugiego serwera On-permises cloud Off-permises cloud (szyfrowanie) Directory containers Inline deduplication Backup do drugiego serwera (wkrótce przestarzałe) Taśmy Offsite
Jak to połączyć? Wymagania po stronie Spectrum Protect Wersja 7.1.3+ (na dziś to 7.1.5.100) Pule Cloud są oddzielne od tradycyjnych. Wymaga to przemyślenia polityki backupowej: Cloud: Dane, które dobrze się deduplikują. Cloud: odtwarzanie w niewielkich porcjach ($$$ u różnych dostawców Off-premisses ) Cloud: TCP/IP. Najlepiej infrastruktura 10Gbit Taśmy: Duże strumienie danych. Taśmy: Szybkie odtwarzanie dużych porcji danych. Lokalne dyski, dir containery i VTL: Dobrze deduplikowane dane. Dużo, małych obiektów, restore maszyn wirtualnych lub pojedynczych plików z vm. Wymagania względem OpenStack Swift: Keystone. Brak obsługi simple auth. Utworzony użytkownik, kontener i hasło. ISP/TSM polega na redundancji wbudowanej w Swift. Zony i Regiony Storage Policy
Konifiguracja Typowe namiary : URL proxy/lb, Użytkownik Projekt/Tenant Hasło
Demo Backup i restore plików składowanych w chmurze przy pomocy IBM Spectrum Protect
Podsumowanie OpenStack Swift Otwarty standard Rozwijany przez około 70 firm Wbudowana wysoka dostępność Skalowanie i wydajność. Podstawa wielu komercyjnych produktów. IBM Jedna z pierwszych korporacji, która doceniła i zaadoptowała OpenSource w swoim biznesie: IBM DB2 v 7.1 (1999) Linux na Mainframe (2000), Power (2001) Java, Webshere, Lotus Spectrum Protect Dawniej: tivoli Storage Manager Na Linuxie od wersji 5.1 (2002) Współpraca ze Swiftem od wersji 7.1.3 (2015)