Zagrożenia dla danych Problemy i scenariusze

Transkrypt

1 Zagrożenia dla danych Problemy i scenariusze Warsztaty Usługa powszechnej archiwizacji Maciej Brzeźniak, PCSS

2 Zagrożenia dla danych: Plan prezentacji Duże ilości danych produkowane i przechowywane: w instytucjach i projektach naukowych przez indywidualnych użytkowników Praktyczne zagrożenia dla danych: uszkodzenie lub utrata danych starzenie się danych i nośników oraz rozwój/ starzenie się technologii Przyczyny problemów z zabezpieczeniem danych i wyzwania z tym związane: Złożonośd procesu zabezpieczenia danych Brak know-how i doświadczenia w dziedzinie Ograniczone zasoby, koszty Możliwe rozwiązania Outsourcing do PLATON-U4 Przykładowi użytkownicy i scenariusze: Biblioteki cyfrowe i archiwa Operatorzy sieci miejskich Naukowcy, pracownicy uczelni, studenci

3 Dane jako wartość Dane są bardzo wartościowe: Bezcenne zbiory cyfrowe Wyniki kosztownych badao Prywatne dokumenty = => Konieczne jest dobre zabezpieczanie danych: Dobre = odporne na zagrożenia, którym podlegają dane

4 Danych jest coraz więcej Wzrost objętości danych na świecie przekracza dotychczasowe prognozy: roczny PRZYROST danych na świecie: 2006: 161 exabajtów *IDC/ NYT : 181 exabajtów *IDC/ DailyTech : 1,250 exabajtów w 2010 [IDC, prognoza 2009) 2010: 1,800 exabajtów *) *IDC, 2010, The Economist + roczny: przyrost danych / 1 użytkownika: 2006: 45 GB / osobę (IDC) 2010: 260 GB / osobę *IDC, 2009, The Economist + => Ciągły przyrost objętości danych sprawia, że lokalne systemy przechowywania należące do instytucji i użytkowników mogą okazad się za małe... lub za drogie... *) 1 exabajt = 1000 petabajtów = 1000x1000 terabajtów

5 Naukowe dane cyfrowe: Biblioteki cyfrowe: TB rocznie Wirtualne laboratoria: 5 TB / dobę (!) Infrastruktura EDU-IT: Akademickie centra obliczeniowe: 300 TB dziś Operatorzy sieci miejskich MAN w ramach konsorcjum PIONIER: 14 TB/miesiąc Instytucje naukowe: Instytuty naukowe: setki jednostek Uczelnie: prawie 500 uczelni Szpitale kliniczne: ponad 50 w całym kraju Ludzie: Producenci danych w Polsce (1) Naukowcy, studenci: tysiące osób, PetaBajty danych

6 Producenci danych w Polsce (2) Naukowe dane cyfrowe: Biblioteki cyfrowe: Zbiory cyfrowe dużej objętości Wiele instytucji skanuje oryginały dzieł w wysokiej rozdzielczości: MB / plik GB / dobę TB / rok źródło: sxc.hu Wirtualne laboratoria: Radioteleskopy: np.10 teleskopów x 512 Mbit/s 5,3TB / dobę (!) np. projekty: Express, JIVE.NL źródło: sxc.hu źródło: swaen.com źródło:

7 Infrastruktura EDU-IT: Akademickie centra obliczeniowe: Np. PCSS: Producenci danych w Polsce (3) Kopie zapasowe systemów i projektów: 50 TB Dane użytkowników: 15 TB Ekstrapolując: 5 centrów KDM/HPC ~300 TB Prognozowany duży wzrost związany z inwestycjami w systemy obliczeniowe Operatorzy sieci miejskich (MAN) w ramach konsorcjum PIONIER Wolumen ruchu PIONIER-MANy (IV.2010): 696 TB /dobę TB / miesiąc Ilośd danych do archiwizacji (do 5% ruchu): TB/miesiąc całośd informacji ~ 14 TB/miesiąc - przy zapisie wyłącznie nagłówków 5% ruchu (zakładając header /packet 20/1500)

8 Instytucje naukowe: Instytuty badawcze: 1) Ponad 600 jednostek -- produkcja i potrzeba zabezpieczenia ogromnych ilości danych (trudno oszacowad...), w tym: PAN: 81 placówek, B+R: 222 jednostek Instytuty przy zakładach przemysłowych: 402 Uczelnie: Producenci danych w Polsce (4) 457 uczelni: 131 publicznych i 326 prywatnych 2) Systemy informatyczne uczelni... PetaBajty danych Szpitale kliniczne: 54 szpitale w 24 miastach Duże zapotrzebowanie na przestrzeo archiwizacji danych 1) za GUS, dane z 2006 r. 2) za

9 Ludzie: Naukowcy: 1) Producenci danych w Polsce (5) PAN: osób B+R: osób Szkoły wyższe: osób Studenci: Ogromna liczba studentów Liczba studentów w Polsce (w tys.) 1) za GUS, dane z 2006 r. źródło:

10 Producenci danych w Polsce (5) Ludzie zapotrzebowanie na przestrzeo:

11 Przyrost danych - podsumowanie Duża ilośd danych Przechowywanie danych może przekraczad możliwości instytucji lub osoby indywidualnej! Problemy/zagrożenia: Bezpieczeostwo danych Integralnośd i poufnośd Trwałośd danych Złożonośd procesu Zasoby i koszty

12 Zabezpieczenie danych zagrożenia i wyzwania (1) Trzeba zapewnid: Bezpieczeostwo fizyczne danych Kontrolę integralności logicznej danych oraz poufnośd danych Długoterminowe przechowywanie i udostępnianie wykonanych kopii Narzędzia wspierające wykonywanie kopii danych i dostęp do nich (odtwarzanie)

13 Zabezpieczenie danych zagrożenia (2) Bezpieczeostwo fizyczne danych: => Warto przechowywad dane w co najmniej 1 dodatkowej lokalizacji...

14 Zabezpieczenie danych zagrożenia (3) Integralnośd logiczna i poufnośd danych Problem 1 integralnośd logiczna

15 Zabezpieczenie danych zagrożenia (4) Integralnośd logiczna i poufnośd danych Problem 2 poufnośd danych

16 Zabezpieczenie danych zagrożenia (5) Długoterminowe przechowywanie danych i udostępnianie przechowywanych kopii: Ograniczona trwałośd nośników Dysk twardy 5-10 lat (w zależności od obciążenia) CD/DVD praktycznie 5-10 lat Pamięd flash 10 lat Taśma LTO lat (5000 montowao)

17 Zabezpieczenie danych zagrożenia (6) Długoterminowe przechowywanie danych i udostępnianie przechowywanych kopii: Wytrzymałośd dysków twardych MTBF (Mean Time Between Failures): Jest miarą statystyczną: Nic nie mówi o niezawodności pojedynczego dysku!!! Jest zawyżany przez producentów (3-5x...) *) Typowe wartości: h dyski do stacji roboczych: 0,88 dysków / 100 dysków może ulec awarii w ciągu roku h dyski do serwerów i macierzy 2,92 dysków / 100 dysków może ulec awarii w ciągu roku SMART (Self-Monitoring, Analysis, and Reporting Technology): Monitoruje wiele parametrów dysków twardych, min. liczniki błędów i parametry fizyczne pracy dysków Praktyczna skutecznośd jest niestety ograniczona *) Failure Trends in a Large Disk Drive Population, 5th USENIX Conference on File and Storage, Technologies (FAST 07), February 2007, San Jose, CA, USA

18 Zabezpieczenie danych zagrożenia (7) Długoterminowe przechowywanie danych i udostępnianie przechowywanych kopii: Migracja danych między technologiami przechowywania (dyski) Dysk twardy 3,5 (Rodime, 1986) Dysk twardy IBM 350 (1956) SSD (1995, M-Systems i później)

19 Zabezpieczenie danych zagrożenia (8) Długoterminowe przechowywanie danych i udostępnianie przechowywanych kopii: Migracja danych między technologiami przechowywania (taśmy) TK50 (DEC, 1984, 0.1GB) -> DLT-S4 (Quantum, 2006, 800GB) Napęd taśmowy IBM 727 ( ) LTO1-LTO5 (Seagate-HP-IBM, , TB)

20 Zagrożenia a problemy z zabezpieczeniem Dane podlegają wielu zagrożeniom => Powinniśmy je zabezpieczyd... Ale są z tym problemy...

21 Przyczyny problemów z zabezpieczeniem danych (1) Złożonośd procesu wykonywania kopii danych i dostępu do nich: Problem 1: złożonośd procesu

22 Przyczyny problemów z zabezpieczeniem danych (2) Złożonośd procesu wykonywania kopii danych i dostępu do nich: Problem 2: potrzeba automatyzacji Dzieo 1 Dzieo 2 Dzieo 3 Dzieo 4 Dzieo 5 - wakacje Kopia Kopia Kopia Kopia Brak kopii Wakacje już na zawsze

23 Przyczyny problemów z zabezpieczeniem danych (3) Brak doświadczenia i know-how w dziedzinie: Wiele instytucji nie ma dedykowanych działów IT lub są one niedoszacowane (za mało pracowników) Działy IT w wielu instytucjach: zaniedbują proces wykonywania kopii danych, który: jest uciążliwy jeśli nie zautomatyzowany nie jest regularny obejmuje wycinek danych organizacji nie mają doświadczenia z zarządzaniem dużymi ilościami danych i cyklem życia danych

24 Przyczyny problemów z zabezpieczeniem danych (4) Brak zasobów: Ludzkich do obsługi procesu Sprzętu i oprogramowania do automatyzacji procesu Dysk 1TB, Koszt: 300 zł brak redundancji (np. RAID) Macierz SAS-SATA: 12-48x dysk 1TB, Koszt: zł redundancja (RAID) Macierz FC-SATA: 16 x dysk 1TB, koszt: zł (tzw. List Price) redundancja (RAID) Sied SAN koszt: zł Taśma LTO5, 1.5 TB Koszt: 800 zł Wymaga napędu Napęd IBM TS2350: 1 taśma, 1 napęd, koszt: Autoloader Quantum Superloader 3; 16 taśm, 1 napęd koszt: Oprogramowanie: Koszt: zł Wymaga serwera

25 Przyczyny problemów z zabezpieczeniem danych (5) Wysokie koszty: tanie dyski dysk 1TB, koszt: 300 zł brak redundancji (np. RAID) Załóżmy: 12 TB 12 dysków koszt: zł Nadal brak redundancji! Dołóżmy redundancję RAID Dysk dekstop: koszt: 300 zł Dysk serwerowy: koszt: zł + kontroler RAID karta PCI do serwera Koszt zł + serwer 12 wnęk na dyski Koszt ok zł Macierz SAS-SATA: 12 dysków 1TB 12 TB fizycznie 10 TB logicznie REDUNDANCJA (RAID +2 kontrolery) Koszt ok zł / 12 TB => zł / TB + + = RAZEM: 12 TB fizycznie 10 TB logicznie (RAID) REDUNDANCJA! Koszt ok zł => zł / TB

26 Przyczyny problemów z zabezpieczeniem danych (6) Wysokie koszty: Skalowalnośd kosztów System dyskowy TB + + = + + = + + = + + = 1 server: 12 TB 12 TB fiz., 10 TB logicznie (RAID) Koszt ok zł => zł / TB + server: 12 TB 12 TB fiz., 10 TB logicznie (RAID) Koszt ok zł => zł / TB + server: 12 TB 12 TB fiz., 10 TB logicznie (RAID) Koszt ok zł => zł / TB + server: 12 TB 12 TB fiz., 10 TB logicznie (RAID) Koszt ok zł => zł / TB Macierz SAS-SATA: 12 dysków 1TB 12 TB fizycznie, 10 TB logicznie REDUNDANCJA (RAID +2 kontrolery) Koszt ok zł/12 TB => zł/tb + półka SATA: 12 dysków 1TB 12 TB fizycznie, 10 TB logicznie Koszt ok zł/24 TB => zł/tb + półka SATA: 12 dysków 1TB 12 TB fizycznie, 10 TB logicznie Koszt ok zł/36 TB => zł/tb + półka SATA: 12 dysków 1TB 12 TB fizycznie, 10 TB logicznie Koszt ok zł/48 TB => zł/tb + SERWISY... (typowo po 3 latach ok. 10% ceny listowej / rok)

27 Przyczyny problemów z zabezpieczeniem danych (7) Wysokie koszty: taśmy Taśma LTO5, 1.5 TB koszt: 800 zł wymaga napędu Załóżmy: 16 taśm 24 TB (LTO5) Dołóżmy autoloader Np. zmieniarka Quantum Superloader 3 24 TB fizycznie 12 TB logicznie z REDUNDANCJĄ Koszt ok zł Koszt 16 taśm: zł - brak redundancji! - wymagana zmieniarka Dołóżmy oprogramowanie Oprogramowanie: Koszt: zł Wymaga serwera oraz serwer... 1 serwer 2 x 4-core CPU 6 dysków wewn. (baza oprogramowania) Koszt ok zł = + SERWISY... (typowo po 3 latach ok. 10% ceny listowej / rok) RAZEM: 24 TB logicznie, 12 TB fizycznie (RAID) Koszt ok zł zł / TB (bez redundancji) zł / TB (zakładając redundancję 1:1)

28 Przyczyny problemów z zabezpieczeniem danych (8) Wysokie koszty: Taśmy - skalowalnośd Załóżmy: 16 taśm 24 TB (LTO5) 16 taśm: zł + Autoloader: zł + + Oprogramowanie: zł Serwer: zł = RAZEM: 24 TB logicznie, 12 TB fizycznie (RAID) Koszt ok zł zł / TB (bez redundancji) zł / TB (zakładając redundancję 1:1) Załóżmy: 32 taśmy 48 TB (LTO5) Oprogramowanie: zł Serwer: zł = RAZEM: 24 TB logicznie, 12 TB fizycznie (RAID) Koszt ok zł zł / TB (bez redundancji) 3900 zł / TB (zakładając redundancję 1:1) 32 taśm: zł Autoloader: zł

29 Przyczyny problemów z zabezpieczeniem danych (9) Koszty systemu - zakup i utrzymanie

30 Przyczyny problemów z zabezpieczeniem danych (10) Koszty 1 TB danych zakup i utrzymanie

31 Problemy z zabezpieczeniem danych (11) Wiele problemów z zabezpieczeniem danych => Potrzebne jest solidne i wiarygodne rozwiązanie tych problemow

32 Outsourcing problemu jedyne realne rozwiązanie? Outsourcing problemu może okazad się: Skuteczniejszy Taoszy Outsourcing opcje: Usługi kopii zapasowych w sieci: np. ibard24, AutoBackup.pl => Kosztowne przy dużej ilości danych Przechowywanie chmurowe: Amazon S3 (Simple Storage Service) => Kosztowne przy dużej ilości danych Przechowywanie w PLATON-U4: => Bezpłatne dla użytkowników akademickich i naukowych przez pierwsze 3 lata...

33 Outsourcing problemu alternatywy dla PLATON-U4 Koszty składowania w innych systemach... ibard24 1) : osoby prywatne firmy 1 GB - 0,00 zł / rok 0,00 zł / rok 10 GB - 98,99 zł / rok 249,99 zł / rok 100 GB - 798,99 zł / rok 1399,99 zł / rok > 100 GB - brak cen AutoBackup.pl 2) : 1 GB - 29,80 zł / rok (taryfa <3 GB) 10 GB - 154,80 zł / rok (taryfa 3-30 GB) 100 GB - 468,00 zł / rok (?) bez limitu pojemności (taryfa >30 GB) Amazon S3 3) : 20% out 50% out 100% out 1 GB - 6 zł / rok 7 zł / rok 7 zł / rok 10 GB - 68 zł / rok 69 zł / rok 71 zł / rok 100 GB zł / rok 689 zł / rok 715 zł / rok 1 TB zł / rok zł / rok zł / rok kruczki: PUT, COPY, POST, or LIST $0.01 per 1,000 Requests GET and All Other Requests*** $0.01 per 10,000 Requests XX% out - założenie: użytkownik pobiera do XX% danych składowanych uprzednio w systemie 1) 2) źródło: 3) na podstawie: założenie: (1) 1$ = 3,49 PLN

34 Outsourcing problemu PLATON-U4 Koszty składowania w PLATON-U4: Przez 3 lata za darmo Po 3 latach (od 2012) przez 5 lat: Utrzymanie usługi w ramach kosztów własnych Dane Usługa PLATON-U4 Inne czynniki: Nie jesteśmy instytucją anonimową... Partnerzy projektu są znani w środowisku akademickim/ naukowym Umowa podpisywana pomiędzy konkretnym ośrodkiem KDM/MAN i klientem Działamy w Polsce: w polskiej sieci naukowej i w sieciach miejskich w ramach polskiego prawa

35 PLATON-U4 nie tylko outsourcing problemu PLATON-U4: Standardowe/łatwe interfejsy Automatyzacja Prawdziwa redundancja danych Wsparcie dla procesu kopiowania danych / archiwizacji Dane Usługa PLATON-U4

36 Zabezpieczenie danych wyzwania (1) Ułatwienie procesu wykonywania kopii danych i dostępu do nich: intuicyjny interfejs Dostęp sieciowy: sftp, SCP, WebDAV... Aplikacja Web owa Aplikacja backup/archive

37 Zabezpieczenie danych wyzwania (2) Ułatwienie procesu wykonywania kopii danych i dostęp do nich (odtwarzania): automatyzacja

38 Zabezpieczenie danych wyzwania (3) Zapewnienie faktycznej redundancji danych: Ograniczenia zabezpieczeo grupami RAID: RAID nie chroni przed kataklizmem Zapewnia redundancję danych w ramach pojedynczego urządzenia / pomieszczenia /centrum danych => Konieczna jest replikacja!!!! RAID nie chroni przed błędem użytkownika Wszystkie błędne operacje są wykonywane na RAID => Konieczne jest regularne i automatyczne wykonywanie kopii zapasowych

39 Zapewnienie faktycznej redundancji danych: Użytkownik Dane użytkownika Usługa PLATON-U4 R E P L I K A C J A Replika 1 Replika 2 Replika 3 Centrum Danych 1 Centrum Danych 2 Centrum Danych 3

40 Zapewnienie faktycznej redundancji danych: Użytkownik Dane dostępne! Dane użytkownika Usługa PLATON-U4 O D T W A R Z A N I E Replika 1 Replika 2 Replika 3 Centrum Danych 1 Centrum Danych 2 Centrum Danych 3

41 Zabezpieczenie danych wyzwania (3) Wsparcie dla procesu wykonywania kopii m.in. Zabezpieczenie przed propagacją błędów użytkowników Dzieo 1 Dzieo 2 Dzieo 3 Dzieo 4 Dzieo 5 Kopia Kopia Odtworzenie Kopia REGULARNY BACKUP

42 Zabezpieczenie danych wyzwania (4) Optymalizacja kosztów: Regularny backup kosztuje: Trzeba robid regularne kopie... Koszty składowania są wysokie... Odpowiednie polityki = optymalizacja: Kopie przyrostowe Sprawna implementacja polityk = automatyzacja

43 Zagrożenia i wyzwania: Dane są bardzo wartościowe lub nawet bezcenne Dane są wrażliwe Danych jest coraz więcej: Instytucje Użytkownicy indywidualni Podsumowanie (1) Efektywne zabezpieczenie dużych ilości danych: jest trudne... i kosztowne

44 Sensownym wyjściem wydaje się outsourcing: Ktoś inny martwi się: O bezpieczeostwo fizyczne Poufnośd Integralnośd Trwałośd nośników Migrację między technologiami Wartości dodane: Standardowe interfejsy Podsumowanie (2) Proponujemy usługi PLATON-U4: Rozproszony system z replikacją geograficzną Znany dostawca usługi Konkurencyjne koszty Dane Usługa PLATON-U4

45 Usługa Powszechnej Archiwizacji Dziękujemy za uwagę Kontakt: kmd.pcss.pl