Pamięci masowe - LTFS Zbigniew Kowalski IBM STG Lab Services and Training Document number
Taśma magnetyczna dla danych - udział IBM 21 Maja 1952 IBM ogłasza pierwszy komercyjny model napędu taśmowego: IBM Model 726 Tape Unit razem z IBM Model 701 Defense Calculator 2
Taśma magnetyczna przeżytek? The report of my death was an exaggeration. (Pogłoska o mojej śmierci była przesadzona.) Mark Twain (maj 1897) 3
Ultrium LTO Linear Tape-Open Otwarty standard składowania danych na taśmie magnetycznej Zaprojektowany pod koniec lat 1990-tych LTO Consortium zainicjowane przez: IBM HP Seagate Ultrium implementacja standardu LTO http://www.lto.org 4
LTO Generacja 1 Pojemność (liczona bez kompresji): 100 GB Przepustowość: 20 MB/s Dostępna od: 2000 roku 5
LTO Generacja 2 Pojemność (liczona bez kompresji): 200 GB Przepustowość: 40 MB/s Dostępna od: 2003 roku 6
LTO Generacja 3 Pojemność (liczona bez kompresji): 400 GB Przepustowość: 80 MB/s Dostępna od: 2005 roku WORM 7
LTO Generacja 4 Pojemność (liczona bez kompresji): 800 GB Przepustowość: 120 MB/s Dostępna od: 2007 roku Szyfrowanie 8
LTO Generacja 5 Pojemność (liczona bez kompresji): 1.5 TB Przepustowość: 140 MB/s Dostępna od: 2010 roku Dwie partycje 9
LTO Generacja 6 Pojemność (liczona bez kompresji): 2.5 TB Przepustowość: 160 MB/s Dostępna od: 2012 roku Cztery partycje 10
LTO podsumowanie (źródło: http://www.lto.org/technology/roadmap.html) 11
LTFS co to jest Linear Tape File System (poprzednio Long Term File System) Pierwszy prototyp: IBM 2008/2009 Udostępnienie taśm w postaci systemu plików Taśmy są zapisywane w sposób samoopisujący się (XML) LTFS zapewnia wygodę użycia podobną do pamięci USB Cechy specyficzne dla taśm, ale zunifikowany dostęp Niezależność od platformy Narzędzia do zarządzania Wersjonowanie Natywna weryfikacja oraz naprawianie niespójności 12 Wsparcie dla technologii LTO oraz IBM 3592
LTFS dostępne wersje IBM LTFS Single Drive Edition IBM LTFS Library Edition IBM LTFS Storage Manager IBM LTFS Enterprise Edition 13
IBM LTFS Single Drive Edition Dostęp i zarządzanie danymi wolnostojących napędów taśmowych (ręczna wymiana taśm) Obsługa identyczna jak systemu plików Napęd widoczny jako katalog z danymi z taśmy Dostępne bez dodatkowych kosztów Obsługiwane systemy operacyjne: Red Hat Enterprise Linux SUSE Linux Enterprise Server Windows Server 2008 R2 Windows 7 Apple Mac OS Obsługiwane napędy: TS2250, TS2260, TS2350, TS2360, TS1140 Obsługiwane taśmy: LTO5, LTO6, 3592 JB JC JK 14
IBM LTFS Library Edition Dostęp i zarządzanie danymi w bibliotekach taśmowych Obsługa identyczna jak systemu plików Taśmy widoczne jako podkatalogi Taśmy ładowane automatycznie Produkt płatny Obsługiwane systemy operacyjne: Red Hat Enterprise Linux SUSE Linux Enterprise Server Windows Server 2008 R2 Obsługiwane biblioteki taśmowe: TS2900,TS3100,TS3200,TS3310,TS3500 Obsługiwane taśmy: LTO5, LTO6, 3592 tylko na TS3500 15
IBM LTFS Storage Manager Dostęp i zarządzanie danymi w wielu LTFS LE Bazuje na AREMA (Archive and Essence Manager) Obsługa cache'u dyskowego HSM Interfejs graficzny Pule taśm, elastyczna polityka przechowywania, przetwarzania wsadowe, wyszukiwanie, przeglądanie, wynoszenie taśm etc. Interfejsy: SOAP (ECSI), Web Główny indeks w DB2 Produkt płatny Obsługiwane systemy operacyjne: Red Hat Enterprise Linux SUSE Linux Enterprise Server Obsługiwane biblioteki taśmowe: TS2900,TS3100,TS3200,TS3310,TS3500 Obsługiwane taśmy: LTO5, LTO6, 3592 tylko na TS3500 16
IBM LTFS Enterprise Edition Nowość - 2013 Bazuje na IBM General Parallel File System LTFS jako pula w GPFS "Prawdziwy" HSM - "multitier", "policy management" Wydajny, skalowalny, elastyczny i klastrowy system plików GPFS Produkt płatny Obsługiwane systemy operacyjne: Red Hat Enterprise Linux SUSE Linux Enterprise Server Obsługiwane biblioteki taśmowe: TS3500 z TS1060 (LTO6),TS1050 (LTO5) i TS1140(3592) 17
LTO - partycjonowanie Wprowadzone w LTO5 (dwie partycje) LTO6 ma już cztery partycje Partycje składają się z "wraps" "Wrap" zbiór ścieżek zapisywanych w tym samym czasie Rozmiar partycji to parzysta liczba "wraps" LTO5 ma 80 "wraps", LTO6 136 "wraps" "Wrap" ma ok. 18.75 GB 18 Mr Sulu Warp speed!
LTFS a partycje LTO źródło: http://www.smallersystems.com/blog/2011/06/how-does-ltfs-work/ 19
LTFS a partycje LTO c.d. LTFS składa się zawsze z dwóch partycji: indeks i dane. Indeks składa się z dwóch "wraps", czyli ok. 37.5 GB Partycje rozdzielone są fizycznie nieużywaną przestrzenią w celach zapewnienia bezpieczeństwa zapisu o rozmiarze dwóch "wraps" Pozostała przestrzeń wykorzystana na dane na LTO6 odpowiednio więcej niż na LTO5 W partycji indeksu zapisywany jest opis danych w XML Indeks wczytywany jest do pamięci LTFS przy załadowaniu taśmy Możliwe jest zapisywanie małych plików w indeksie Partycja danych czytana na żądanie dostępu do danych 20
LTFS format zapisu źródło: http://www.redbooks.ibm.com/redbooks/pdfs/sg248090.pdf 21
LTFS przykład źródło: http://www.redbooks.ibm.com/redbooks/pdfs/sg248090.pdf 22
LTFS przykład c.d. źródło: http://www.redbooks.ibm.com/redbooks/pdfs/sg248090.pdf 23
LTFS przykład c.d. źródło: http://www.redbooks.ibm.com/redbooks/pdfs/sg248090.pdf 24
LTFS przykład c.d. źródło: http://www.redbooks.ibm.com/redbooks/pdfs/sg248090.pdf 25
LTFS przykład c.d. źródło: http://www.redbooks.ibm.com/redbooks/pdfs/sg248090.pdf 26
Secondary node N Secondary node 1 Primary node LTFS SM przykładowa architektura Manual operation Monitoring LTFS Storage Manager LTO Library SOAP LTFS Storage Manager Agents DB2 Customer Application Shared File System SAN or LAN Shared File System LTFS Storage Manager Agents LTFS Library Edition FC Drives Tapes Pool 1 Disk Cache Shared File System LTFS Storage Manager Agents LTFS Library Edition FC Pool 2 27 Shared File System LTFS Library Edition FC
LTFS SDE przypisanie litery do napędu źródło: http://www.redbooks.ibm.com/redbooks/pdfs/sg248090.pdf 28
LTFS LE widok taśm jako podkatalogów źródło: http://www.redbooks.ibm.com/redbooks/pdfs/sg248090.pdf 29
LTFS SM Essence Viewer źródło: http://www.redbooks.ibm.com/redbooks/pdfs/sg248090.pdf 30
LTFS SM Job Monitor źródło: http://www.redbooks.ibm.com/redbooks/pdfs/sg248090.pdf 31
Przykłady zastosowań Produkcja i digitalizacja filmów Archiwum danych historycznych i kulturalnych Archiwum danych naukowych - biblioteki, filmy edukacyjne etc. Archiwum nadawców dużych sieci telewizyjnych (np. NBC, CBS, ZDF etc.) Poszukiwania gazu i ropy naftowej - dane sejsmologiczne Medyczne obrazy wysokiej rozdzielczości IT-Cloud Backup/Archiwum Wszędzie tam, gdzie potrzebne jest przechowywanie dużej ilości danych przez długi okres czasu... 32
Przykłady zastosowań c.d Wymiana danych pomiędzy dwoma systemami MAM: FOR-A MAM Media Consierge i Avid Interplay MAM 33
Przykłady zastosowań c.d. Wymiana danych pomiędzy dwoma systemami MAM c.d. 34
Nagroda Engineering Emmy Award for Innovation 2011 dla IBM LTFS 2011 Primetime Emmy Engineering Award IBM Corporation and Fox Networks Group for LTFS (Linear Tape File System), a system that enables real-time content recording and highspeed recovery of that material, enabling broadcasters to bring us more news, sports and entertainment faster than ever. IBM and Fox Networks Group have worked together since 2004 to fundamentally change the way audio and video content is recorded and transmitted. http://www.emmys.tv/news/2011/watch-2011-engineering-emmys 35
Pamięci masowe - LTFS Zbigniew Kowalski mailto://zbigniew.kowalski@pl.ibm.com IBM STG Lab Services and Training Document number