CZĘŚĆ I. WARSTWA PRZETWARZANIA WSADOWEGO

Transkrypt

1 Spis treści Przedmowa Podziękowania O książce Rozdział 1. Nowy paradygmat dla Big Data 1.1. Zawartość książki 1.2. Skalowanie tradycyjnej bazy danych Skalowanie za pomocą kolejki Skalowanie przez sharding bazy danych Rozpoczynają się problemy z odpornością na błędy Problemy z uszkodzeniem danych Co poszło nie tak? W jaki sposób techniki Big Data mogą pomóc? 1.3. NoSQL nie jest panaceum 1.4. Pierwsze zasady 1.5. Wymagane właściwości systemu Big Data Niezawodność i odporność na błędy Odczytywanie i aktualizowanie z niską latencją Skalowalność Uogólnienie Rozszerzalność Zapytania ad hoc Minimalna konserwacja Debugowalność 1.6. Problemy z architekturami w pełni przyrostowymi Złożoność operacyjna Ekstremalna złożoność osiągania spójności ostatecznej Brak odporności na ludzkie błędy Rozwiązanie w pełni przyrostowe w porównaniu z architekturą lambda 1.7. Architektura lambda Warstwa przetwarzania wsadowego Warstwa obsługująca Warstwy przetwarzania wsadowego i obsługująca zapewniają niemal wszystkie właściwości Warstwa przetwarzania czasu rzeczywistego 1.8. Najnowsze trendy w technologii Procesory nie stają się coraz szybsze Elastyczne chmury Dynamiczny ekosystem open source dla Big Data 1.9. Przykładowa aplikacja: SuperWebAnalytics.com Podsumowanie CZĘŚĆ I. WARSTWA PRZETWARZANIA WSADOWEGO Rozdział 2. Model danych dla Big Data 2.1. Właściwości danych Dane są surowe Dane są niemutowalne Dane są wiecznie prawdziwe 2.2. Reprezentacja danych za pomocą modelu opartego na faktach Przykładowe fakty i ich właściwości Korzyści ze stosowania modelu opartego na faktach 2.3. Schematy graficzne Elementy schematu graficznego Potrzeba zapewnienia egzekwowalności schematu 2.4. Kompletny model danych dla aplikacji SuperWebAnalytics.com 2.5. Podsumowanie Rozdział 3. Model danych dla Big Data: ilustracja 3.1. Dlaczego framework serializacji? 3.2. Apache Thrift Węzły Krawędzie Właściwości Połączenie wszystkich elementów w obiekty danych Ewolucja schematu

2 3.3. Ograniczenia frameworku serializacji 3.4. Podsumowanie Rozdział 4. Przechowywanie danych w warstwie przetwarzania wsadowego 4.1. Wymagania dotyczące przechowywania głównego zbioru danych 4.2. Wybór rozwiązania pamięci masowej dla warstwy przetwarzania wsadowego Użycie magazynu danych klucz-wartość dla głównego zbioru danych Rozproszone systemy plików 4.3. Sposób działania rozproszonych systemów plików 4.4. Przechowywanie głównego zbioru danych z wykorzystaniem rozproszonego systemu plików 4.5. Partycjonowanie pionowe 4.6. Niskopoziomowy charakter rozproszonych systemów plików 4.7. Przechowywanie głównego zbioru danych aplikacji SuperWebAnalytics.com w rozproszonym systemie plików 4.8. Podsumowanie Rozdział 5. Przechowywanie danych w warstwie przetwarzania wsadowego: ilustracja 5.1. Korzystanie z Hadoop Distributed File System Problem małych plików Dążenie do wyższego poziomu abstrakcji 5.2. Przechowywanie danych w warstwie przetwarzania wsadowego z wykorzystaniem biblioteki Pail Podstawowe operacje biblioteki Pail Serializacja i umieszczanie obiektów w wiaderkach Operacje przetwarzania wsadowego z wykorzystaniem biblioteki Pail Partycjonowanie pionowe z wykorzystaniem biblioteki Pail Formaty plików i kompresja biblioteki Pail Podsumowanie zalet biblioteki Pail 5.3. Przechowywanie głównego zbioru danych dla aplikacji SuperWebAnalytics.com Ustrukturyzowane wiaderko dla obiektów Thrift Podstawowe wiaderko dla aplikacji SuperWebAnalytics.com Podział wiaderka w celu pionowego partycjonowania zbioru danych 5.4. Podsumowanie Rozdział 6. Warstwa przetwarzania wsadowego 6.1. Przykłady do rozważenia Liczba odsłon w czasie Inferencja płci Punkty wpływu 6.2. Obliczenia w warstwie przetwarzania wsadowego 6.3. Porównanie algorytmów ponownego obliczania z algorytmami przyrostowymi Wydajność Odporność na ludzkie błędy Ogólność algorytmów Wybór stylu algorytmu 6.4. Skalowalność w warstwie przetwarzania wsadowego 6.5. MapReduce: paradygmat dla obliczeń Big Data Skalowalność Odporność na błędy Ogólność MapReduce 6.6. Niskopoziomowy charakter MapReduce Wieloetapowe obliczenia są nienaturalne Operacje łączenia są bardzo skomplikowane do ręcznej implementacji Wykonywanie logiczne jest ściśle powiązane z fizycznym 6.7. Diagramy potokowe: wyższy poziom sposobu myślenia na temat obliczeń wsadowych Koncepcje diagramów potokowych Wykonywanie diagramów potokowych poprzez MapReduce Agregator łączący Przykłady diagramów potokowych 6.8. Podsumowanie Rozdział 7. Warstwa przetwarzania wsadowego: ilustracja 7.1. Przykład ilustracyjny 7.2. Typowe pułapki narzędzi do przetwarzania danych Języki niestandardowe Słabo komponowalne abstrakcje 7.3. Wprowadzenie do JCascalog Model danych JCascalog Struktura zapytania JCascalog Kwerendowanie wielu zbiorów danych

3 Grupowanie i agregatory Analiza przykładowego zapytania Niestandardowe operacje predykatów 7.4. Kompozycja Łączenie podzapytań Podzapytania tworzone dynamicznie Makra predykatów Makra predykatów tworzone dynamicznie 7.5. Podsumowanie Rozdział 8. Przykładowa warstwa przetwarzania wsadowego: architektura i algorytmy 8.1. Projekt warstwy przetwarzania wsadowego aplikacji SuperWebAnalytics.com Obsługiwane zapytania Obrazy wsadowe 8.2. Przegląd przepływu pracy 8.3. Przyjmowanie nowych danych 8.4. Normalizacja adresów URL 8.5. Normalizacja identyfikatorów użytkowników 8.6. Usuwanie zduplikowanych odsłon 8.7. Obliczanie obrazów wsadowych Liczba odsłon w czasie Liczba unikatowych użytkowników w czasie Analiza współczynnika odrzuceń 8.8. Podsumowanie Rozdział 9. Przykładowa warstwa przetwarzania wsadowego: implementacja 9.1. Punkt startowy 9.2. Przygotowanie przepływu pracy 9.3. Przyjmowanie nowych danych 9.4. Normalizacja adresów URL 9.5. Normalizacja identyfikatorów użytkowników 9.6. Usuwanie zduplikowanych odsłon 9.7. Obliczanie obrazów wsadowych Liczba odsłon w czasie Liczba unikatowych użytkowników w czasie Analiza współczynnika odrzuceń 9.8. Podsumowanie CZĘŚĆ II. WARSTWA OBSŁUGUJĄCA Rozdział 10. Warstwa obsługująca Metryki wydajności dla warstwy obsługującej Rozwiązanie warstwy obsługującej dotyczące problemu wyboru między normalizacją a denormalizacją Wymagania względem bazy danych warstwy obsługującej Projektowanie warstwy obsługującej dla aplikacji SuperWebAnalytics.com Liczba odsłon w czasie Liczba użytkowników w czasie Analiza współczynnika odrzuceń Porównanie z rozwiązaniem w pełni przyrostowym W pełni przyrostowe rozwiązanie problemu liczby unikatowych użytkowników w czasie Porównanie z rozwiązaniem opartym na architekturze lambda Podsumowanie Rozdział 11. Warstwa obsługująca: ilustracja Podstawy ElephantDB Tworzenie obrazu w ElephantDB Serwowanie obrazu w ElephantDB Korzystanie z ElephantDB Budowanie warstwy obsługującej dla aplikacji SuperWebAnalytics.com Liczba odsłon w czasie Liczba unikatowych użytkowników w czasie Analiza współczynnika odrzuceń Podsumowanie CZĘŚĆ III. WARSTWA PRZETWARZANIA CZASU RZECZYWISTEGO Rozdział 12. Obrazy czasu rzeczywistego Obliczanie obrazów czasu rzeczywistego Przechowywanie obrazów czasu rzeczywistego Dokładność ostateczna

4 Ilość stanu przechowywanego w warstwie przetwarzania czasu rzeczywistego Wyzwania obliczeń przyrostowych Słuszność twierdzenia CAP Kompleksowa interakcja między twierdzeniem CAP a algorytmami przyrostowymi Porównanie aktualizacji asynchronicznych z synchronicznymi Wygaszanie obrazów czasu rzeczywistego Podsumowanie Rozdział 13. Obrazy czasu rzeczywistego: ilustracja Model danych Cassandry Korzystanie z bazy danych Cassandra Zaawansowane funkcje Cassandry Podsumowanie Rozdział 14. Kolejkowanie i przetwarzanie strumieniowe Kolejkowanie Serwery kolejek pojedynczego konsumenta Kolejki wielu konsumentów Przetwarzanie strumieniowe Kolejki i procesy robocze Pułapki paradygmatu "kolejki i procesy robocze" Pojedyncze przetwarzanie strumieniowe wyższego poziomu Model Storm Zapewnianie przetwarzania komunikatów Warstwa przetwarzania czasu rzeczywistego dla aplikacji SuperWebAnalytics.com Struktura topologii Podsumowanie Rozdział 15. Kolejkowanie i przetwarzanie strumieniowe: ilustracja Definiowanie topologii za pomocą Apache Storm Klastry Apache Storm i wdrażanie topologii Gwarantowanie przetwarzania komunikatów Implementacja warstwy przetwarzania czasu rzeczywistego aplikacji SuperWebAnalytics.com dla liczby unikatowych użytkowników w czasie Podsumowanie Rozdział 16. Mikrowsadowe przetwarzanie strumieniowe Osiąganie semantyki "dokładnie raz" Ściśle uporządkowane przetwarzanie Mikrowsadowe przetwarzanie strumieniowe Topologie przetwarzania mikrowsadowego Podstawowe koncepcje mikrowsadowego przetwarzania strumieniowego Rozszerzanie diagramów potokowych dla przetwarzania mikrowsadowego Dokończenie warstwy przetwarzania czasu rzeczywistego dla aplikacji SuperWebAnalytics.com Liczba odsłon w czasie Analiza współczynnika odrzuceń Inne spojrzenie na przykład analizy współczynnika odrzuceń Podsumowanie Rozdział 17. Mikrowsadowe przetwarzanie strumieniowe: ilustracja Korzystanie z interfejsu Trident Dokończenie warstwy przetwarzania czasu rzeczywistego dla aplikacji SuperWebAnalytics.com Liczba odsłon w czasie Analiza współczynnika odrzuceń W pełni odporne na błędy przetwarzanie mikrowsadowe z utrzymywaniem stanu w pamięci Podsumowanie Rozdział 18. Tajniki architektury lambda Definiowanie systemów danych Warstwa przetwarzania wsadowego i warstwa obsługująca Przyrostowe przetwarzanie wsadowe Pomiar i optymalizacja wykorzystania zasobów przez warstwę przetwarzania wsadowego Warstwa przetwarzania czasu rzeczywistego Warstwa zapytań Podsumowanie Skorowidz

5 ISBN: