Nowa definicja elastyczności, czyli co robić w przypadku zarządzania danymi niestrukturalnymi

Transkrypt

1 EMC Forum 2014 Adam Wójcicki Tomasz Firek Nowa definicja elastyczności, czyli co robić w przypadku zarządzania danymi niestrukturalnymi 1

2 Agenda Droga do Big Data Dane niestrukturalne Co proponuje EMC? Wartościowe dane nieznane Przykłady Podsumowanie 2

3 Wyprawa EMC po Exabajty danych 3

4 APLIKACJE HYPERSCALE AND BIG DATA 10X Więcej Danych, Dostępne 24x7x365 4

5 MILIARDY UŻYTKOWNIKÓW MILIONY APLIKACJI Mobile Cloud Big Data Social Urządzenia Mobilne SETKI MILIONÓW UŻYTKOWNIKÓW DZISIĄTKI TYSIĘCY APLIKACJI LAN/Internet PC Client/Server MILIONY UŻYTKOWNIKÓW TYSIĄCE APLIKACJI Source: IDC, 2013 Mainframe, Mini Computer Terminale 5

6 Wzrost danych a tradycyjne macierze Pojemność rozwiązań scale-out dla plików i obiektów rośnie 53% rocznie Source: IDC EMC Digital Universe Study 2014 Zbyt skomplikowane Wiele schematów protekcji danych, protokołów, narzędzi do zarządzania Nieekonomiczne skalowanie Nieefektywne, z dużym narzutem, szczególnie dla rozwiązań geograficznie rozproszonych Nie wspierają chmury Stara architektura, brak możliwości samoobsługi 6

7 Co jest ważne dla klientów? Jakie projekty IT będą miały najwyższy priorytet w waszej organizacji w 2014 roku? Podaj 3. Application Modernization Big Data/Business Analytics Security/Risk Management Business Process Management Cloud Computing Application Portfolio consolidation/rationalization Enterprise Architecture Mobile Device Management/BYOD Mobile Application Development Hardware Consolidation Enterprise Management software & tools (to automate Converged Infrastructure Social Media & collaboration tools VOIP/Unified Communications Video Conferencing/Telepresence Smart tech (real-time info via phones, sensors, chips) Source: IDC 2014 CIO Sentiment Survey, Nov N=156; Senior IT Execs in NA, AP & EMEA 21% 17% 14% 14% 10% 9% 9% 9% 6% 5% 41% 38% 35% 32% 28% 26% 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 7

8 Dane Niestrukturalne gdzie ich szukać? Dokumenty (XLS, PPT, DOC) Bazy Relacyjne Media (PDF, JPG, Video, Streaming) Dane z Czujników (GPS, measurements) Pliki logów (Media Społecznościowe, Web Server logs, etc.) 8

9 Składowanie danych niestrukturalnych Centera 2002 Atmos 2008 ViPR 2013/14 CAS Atmos REST CAS Atmos REST HDFS CAS File 9

10 EMC Centera Zaprojektowana i zbudowana jako platforma archiwizacyjna Adresowana zawartością obiektu Content Address Storage (CAS) Zapewnia autentyczność obiektów oraz funkcjonalność WORM Zapewnia zgodność z regulacjami prawnymi Efektywność operacyjna Dostępność % Szerokie spektrum współpracujących aplikacji 10

11 EMC Atmos Platforma do budowy chmury Chmura w jednej macierzy Ogromna skalowalność, zaprojektowany jako Active / Active Dostęp z urządzeń mobilnych przez różne protokoły Polityki w oparciu o metadane zapewniają bezpieczeństwo i dostępność danych Rozwiązanie typu Multi-tenancy dla zapewnienia bezpieczeństwa współdzielonych zasobów Elastyczne metody implementacji (konfiguracje prywatne, publiczne i mieszane) ATMOS SDK, HTTP/S (REST), S3, CAS, NFS, CIFS Site1 Site 2 11

12 EMC Isilon Scale-Out NAS Architecture Protocols Clients and Applications NFS SMB HTTP FTP HDFS for Hadoop REST for Object RESTful API GET PUT POST DELETE Gig-e 10 Gig-e Network Multi-Protocol Client/Application Layer Ethernet Layer OneFS Operating Environment Intra-cluster Communication 12

13 ViPR: SOFTWARE-DEFINED STORAGE Performance & Mission-Critical Workloads New & Basic Workloads ViPR Services ViPR Controller Provisioning Self-Service Reporting Automation EMC Non-EMC Array Support via OpenStack Protect Current Investments Commodity Hardware ECS Appliances 13

14 Elastic Cloud Storage Exabyte+ Service Provider Self-Service Enterprise Elastic ANY DATA CENTER WEB-SCALE COMPLETE 14

15 GEOFIZYKA TORUŃ Geofizyka Toruń usprawnia zarządzanie dużymi zbiorami danych Wyzwanie Konsolidacja zarządzania dużymi zbiorami danych Uproszczenie infrastruktury IT i maksymalizacja szybkości i wydajności podsystemu dyskowego MICHAL SLUPSKI ICT Manager Rozwiązanie Aplikacje Codziennie składujemy i przetwarzamy ogromne ilości danych z badań sejsmicznych EMC i pomiarów Isilon X-Series geofizycznych. EMC SeisSpace/ProMAX Isilon pozwala nam rozwijać swoją działalność, wdrażać innowacyjne i pionierskie metody InsightIQ GeoDepth pomiarowe i spełniać wymagania naszych klientów przez szybkie i efektywne SmartQuotas dostarczanie usług. Echos Rezultaty Bardziej niezawodna infrastruktura IT Większa stabilność aplikacji krytycznych Znaczny wzrost wydajności i efektywności obsługi Uproszczone operacje IT 15

16 Microsoft XBOX Video Services EMC Isilon wspiera gwałtowny rozwój rozrywek XBOX Video Wyzwanie Katalog video rośnie w postępie geometrycznym Problemy przechowywania spowalniają wydawanie nowych treści CHRIS LISICA Technical Operations Manager Rozwiązanie Aplikacje Isilon, naprawdę usprawnił nasze działania poprzez zapewnienie wysokiej wydajności EMC NAS wraz Isilon z OneFS większą stabilnością niż Niestandardowe obserwowaliśmy aplikacje na naszym dawnym X-Series, środowisku NL-Series pamięci masowej transkodujące oraz z mniejszym Microsoft stopniem skomplikowania. InsightIQ Rezultaty Szybszy czas wprowadzania na rynek nowych materiałów wideo Unikanie kosztownych przestojów Zmniejszone administracji z dwóch etatów do jednej czwartej Zoptymalizowana wydajność z poprawą administracji workflow 16

17 EMC IT EMC Isilon umożliwił spełnienie bardzo wymagających żądań analitycznych nowo oferowanej usługi Hadoop-as-a-Service Wyzwania Konieczności poprawy aktywnej obsługi klienta Dane systemu obsługi klienta rosną na poziomie 40 procent rocznie SRINIVASA MAGULURI Lead Architect Rozwiązanie Aplikacje Isilon wykazał, Isilon że X-Series jest odpowiednim systemem HDaaS dla Big Data, zapewniając długoterminową ochronę inwestycji, budując nowe Pivotal DCA możliwości analityczne. Pivotal HD Rezultaty Ogromna skalowalność dla szybko rosnących danych analitycznych Poprawione całkowite zadowolenie klienta Zmniejszenie liczby kopii Hadoop z trzech do jednej Przyszłościowe rozwiązanie analityczne zapewniające rozwój 17

18 ViPR dał Watykanowi możliwość efektywnego przeniesienia systemów plików. ViPR jest innowacyjny, przyjazny użytkownikowi i otwarty wiec nie musieliśmy zmieniać naszych procesów biznesowych. Luciano Ammenti, CIO, The Vatican Library Watykan: Globalne Repozytorium Przeniesienie Historii do Epoki Cyfrowej 18

19 ViPR dał Watykanowi możliwość efektywnego przeniesienia systemów plików. ViPR jest innowacyjny, przyjazny użytkownikowi i otwarty wiec nie musieliśmy zmieniać naszych procesów biznesowych. Luciano Ammenti, CIO, The Vatican Library WYZWANIA KLIENTA Digitalizacja i przechowanie 80,000 historycznych manuskryptów Umożliwienie wyszukiwania w zbiorze zdigitalizowanych danych i udostępnienie ich publicznie Umożliwienie zaplanowania przyszłej rozbudowy infrastruktury z zapewnieniem wymaganego poziomu SLA OBECNY STAN PROJEKTU Digitalizacja i zapamiętanie ponad 4,000 manuskryptów 256 dokumentów przeszukiwalnych i łatwo dostępnych Implementacja modułu obiektowego ViPR na Isilon dla dużych obiektów graficznych oraz ECS dla pozostałych Watykan: Globalne Repozytorium Przeniesienie Historii do Epoki Cyfrowej 19

20 EMC ViPR Usługi Danych dla środowisk heterogenicznych EMC Centera EMC Atmos VMAX VNX Isilon 3 rd Party Commodity Strategia EMC dla danych niestrukturalnych Elastic Cloud Storage Copyright EMC Corporation. All rights reserved. 20

21