Wprowadzenie do Apache Spark. Jakub Toczek

Transkrypt

1 Wprowadzenie do Apache Spark Jakub Toczek

2 Epoka informacyjna

3 MapReduce

4 MapReduce

5 Apache Hadoop narodziny w 2006 roku z Apache Nutch open source składa się z systemu plików HDFS i silnika MapReduce napisany w Javie i w C

6 HDFS

7 Apache Spark - czym jest? Ogólny silnik do przetwarzania Big Data. Open source.

8 Spark - motywacja Trudność w programowaniu w Hadoopie (MapReduce) Nadmierne wykorzystywanie HDD przez Hadoopa Potrzeba frameworku bardziej przyjaznego machine-learning

9 Trudność w programowaniu

10 Trudność w programowaniu Python: Scala: Java:

11 Spark - motywacja Trudność w programowaniu w Hadoopie (MapReduce) Nadmierne wykorzystywanie HDD przez Hadoopa Potrzeba frameworku bardziej przyjaznego machine-learning

12 Historia wychodzi pierwsza wersja Spark a (część doktoratu Matei Zaharia z UC Berkeley AMPLab) upublicznienie kodu źródłowego (licencja BSD) Spark staje się częścią Apache Software Foundation i zmienia licencję na Apache 2.0 listopad Apache Spark pobija rekord w szybkości sortowania (100 TB danych w 23 min, wcześniejszy rekord: Hadoop i 72 min używając 10x więcej maszyn)

13 Spark i optymalizacja Spark oferuje nam: lazy computation (optymalizacja przed wykonywaniem) jak najmniejsza ilość skanowań HDD (jak się da to tylko na początku, reszta obliczeń w pamięci RAM) obsługa interaktywnych zapytań możliwość przetwarzania strumieni prosty i przyjemny framework wsparcie dla machine learning

14 Budowa Sparka

15 Główne filary Sparka DAG Direct Acyclic Graph (Skierowany graf acykliczny) RDD Resilient Distributed Dataset

16 DAG - przykład WordCount

17 DAG - przykład mapowanie + filtrowanie

18 RDD Struktura danych w Sparku. Niezmienna, rozproszona kolekcja obiektów. Każdy zbiór danych w RDD jest podzielony na logiczne partycje, które mogą być przetwarzane przez różne wierzchołki klastra. Może przechowywać obiekty Pythonowe, Javowe i w Scali. Read-only - po każdej operacji na RDD tworzony jest nowy RDD.

19 RDD Istnieją dwa sposoby stworzenia RDD: zrównoleglenie kolekcji danych w programie sterownika odwołanie się do zewnętrznego systemu przechowywania danych jak HDFS, HBase albo dowolne źródło danych oferujące Hadoop Input Format Spark używa RDD do szybszego przetwarzania operacji MapReduce.

20 RDD Trzy podstawowe tryby przetrzymywania RDD: tylko w pamięci tylko na dysku w pamięci i na dysku

21 RDD Dwa rodzaje obsługiwanych operacji: transformacje akcje Przykłady transformacji: map, filter, flatmap, groupbykey, reducebykey, aggregatebykey, pipe i coalesce. Przykłady akcji: reduce, collect, count, first, take, countbykey i foreach. Zapraszam na:

22 Dlaczego RDD? Może być przechowywany w pamięci podręcznej. Aplikacje iteracyjne jak i interaktywne wymagają szybkiej wymiany danych między równoległymi jobami. W MapReduce wymiana danych jest bardzo wolna przez replikacje, serializacje i zapis danych na dysk. Bez względu na system plików, zajmuje to ok 90% całkowitego czasu przetwarzania.

23 Operacje iteracyjne na MapReduce

24 Operacje interaktywne na MapReduce

25 Operacje iteracyjne na Spark RDD

26 Operacje interaktywne na Spark RDD

27 Jak działa Apache Spark?

28 Przykład WordCount

29 Przykład WordCount

30 Przykład WordCount

31 Spark Streaming Rozszerzenie Sparka generujące mikro-zadania wsadowe (co jakiś czas np 2s), pozwalające na analizę strumieni danych. Używa tych samych mechanizmów do zrównoleglania co Spark Core. Zapewnia analizę elementu strumienia danych dokładnie raz. Większość innych frameworków traktuje strumienie pojedynczo.

32 Spark Streaming

33 Spark SQL Zadania są generowane na podstawie zapytań SQL. Podobny do Hive, może korzystać z jego komponentów i zapytań.

34 Instalacja Nie wymaga wcześniej zainstalowanego Hadoopa. Trzeba mieć zainstalowane JDK. Działa na komputerach z systemem opartych na UNIXie (Linux, Mac OS) oraz Windows (tutaj trzeba zbudować projekt Spark a samemu za pomocą Maven a). Projekty buduje się za pomocą Maven a. (Z własnego doświadczenia lepiej na Win10 ściągnąć sobie maszynę wirtualną z linuxem)

35 Źródła