1. WPROWADZENIE PRZEBADANE TECHNOLOGIE ŚRODOWISKO BADAWCZE ZAPISYWANIE I ODCZYTYWANIE W OBRĘBIE JEDNEJ INSTANCJI...

Transkrypt

1 Tytuł dokumentu: Porównanie dokumentowych baz NoSQL na potrzeby sub- projektu agregacji danych Sygnatura projektu: POIG /11, Stworzenie innowacyjnych technologii i narzędzi do budowy portali ogłoszeniowych i aukcyjnych przez Sensi Soft sp. z o. o. Typ dokumentu: Autor: Konrad Szymański, Piotr Zientarski, Przemysław Kamiński, Tomasz Skórski Analityk/Architekt: Konrad Szymański Treść dokumentu: 1. WPROWADZENIE PRZEBADANE TECHNOLOGIE ŚRODOWISKO BADAWCZE ZAPISYWANIE I ODCZYTYWANIE W OBRĘBIE JEDNEJ INSTANCJI... 4 RIAK... 4 RIAK ODCZYTYWANIE DOKUMENTÓW... 4 RIAK ZAPISYWANIE DOKUMENTÓW... 7 CASSANDRA... 8 CASSANDRA ODCZYT... 9 CASSANDRA ZAPIS Wprowadzenie Wraz z rozwojem technologii oraz drastycznym zmniejszaniem się ceny jednostkowej za gigabajt w ciągu ostatnich lat można zaobserwować znaczący rozwój rozwiązań oferujących koncepcję dokumentowego przechowywania treści, w strukturach nazywanych bazami dokumentowymi lub bardziej powszechnie bazami NoSQL.

2 Wykres 1 - Cena gigabajta na przestrzeni czasu od roku 1980 do 2010 (źródło: A History of Storage Cost, Matt Komorowski, per- gigabyte) Rozwiązania takie jak Cassandra, Riak, HBase, Amazon Dynamo, HyperTable, Voldemort, Scalaris, Apache CouchDB czy MonoDB coraz częściej stosowane są w rozwiązaniach, w których kwestie relacji pomiędzy dokumentami nie jest krytyczna, a ilość przechowywanych danych i możliwość ich odczytania ma pierwszorzędne znaczenie. Co więcej, powstające obecnie technologie charakteryzują się bardzo dobrą skalowalnością zarówno wertykalną jak i horyzontalną, co umożliwia dynamicznie dostosowanie ilości zapytań idących do takich baz do zapotrzebowań tworzonych produktów. Warto dodać, że większość dokumentowych baz danych tworzona jest w językach wysokiego poziomu w sposób modułowy, co pozwala na bardzo proste tworzenie modułowych rozszerzeń, ułatwiających integrację z różnorakimi technologiami i środowiskami programistycznymi. Zakres projektu POIG /11 i zastosowane koncepcje jasno wskazują konieczność zastosowania dokumentowych baz danych (szczególnie w projekcie związanych z opracowaniem modelu przechowywania danych z różnych źródeł). Jednocześnie technologiczny rozwój, który miał miejsce pomiędzy złożeniem wniosku a jego rozpoczęciem, powoduje konieczność przebadania aktualnych możliwości technologii NoSQL. 2. Przebadane technologie Na potrzeby przedwstępnego obszaru badawczego analizie zostało poddanych kilkanaście technologii, zaprezentowanych w tabeli poniżej.

3 name python language type distributed medium scaling consistency performance bindings Cassandra YES Java column store PRAWDA disk/memory hash ring paritioning newest timestamp Riak YES Erlang key- value document store PRAWDA disk ring paritioning Vector clocks quite slow but stable, linear speed up with additional nodes HBase NO Java column store N/A disk/memory HDFS (Hadoop there is some Distributed Filesystem) with master Amazon NO? key- value PRAWDA n/a hash ring paritioning Vector clocks Dynamo store HyperTable NO C++ column store PRAWDA disk/memory Voldemort NO Java key- value store PRAWDA disk Vector clocks 10 to 20k reqs/s Scalaris NO Erlang key- value PRAWDA memory chord paritioning atomic ops store ElasticSearch YES Java Key- value PRAWDA Memory/disk ring? n/a MongoDB YES C++ Key- value PRAWDA Memory/disk Tbd. n/a n/a Apache CouchDB YES? document store PRAWDA disk replication master- master Przeprowadzone badania wykazały, że na potrzeby projektu należy dokonać dodatkowy badań wydajnościowych dla następujących rozwiązań: Elasticsearch w wersji Riak w wersji Cassandra w wersji MongoDB w wersji CouchDB w wersji / BigCouch W celu uzyskania reprezentatywnych danych, każda w baz dokumentowych była badana na jednym, czterech i szesnastu wątkach. Badane były możliwości zapisu i odczytu dla każdej z baz danych. W celu zachowania przejrzystości wyników poniżej, wyniki zostaną zaprezentowane dla każdego z rozwiązań. 3. Środowisko badawcze Na potrzeby środowiska badawczego zostały uruchomione cztery maszyny serwerowe typu blade w konfiguracji: Blade DELL PowerEdge M61014 z dwoma sześciordzeniowymi procesorami Xeon(R) CPU E GHz, Dysk twardy 1TB, Pamięć 64GB RAM 1. Testowane systemy były instalowane przy użyciu systemu zarządzania ProxMox I wykorzystywały parawirtualizację OpenVZ. 1 Opis specyfikacji technicznej maszyny Dell Power Edge M610 na stronie producenta: m610/pd

4 4. Zapisywanie i odczytywanie w obrębie jednej instancji W obrębie prac badawczych dla możliwie realistycznego odwzorowanie środowiska produkcyjnego, dla każdego z badanych systemów dokonywane były zapisy testowych treści w ilości 5000 obiektów/paczka i odczytów 1000 obiektów/paczka. Kolejne przedstawione poniżej dane odwzorowują czas potrzebny na zrealizowanie zadań dla każdej paczki. Elementem, który zwiększył poziom realizmu w przeprowadzonym badaniu jest czynnik polegający na uruchomieniu czterech jednoczesnych procesów odczytywania danych i jednego zapisującego. Riak Riak to stabilny (jak na analizowaną domenę tematu) produkt służący do przechowywanych informacji, wykorzystujący tzw. partycjonowanie danych (ang. shard- partition). Riak umożliwia użycie jako backendu przechowującego dane Bitcask, LevelDB i Innostore (opartego o InnoDB), z których Bitcask jest najbardziej dojrzałą implementacją. Opisywany system posiada rówież wbudowaną obsługę modelu MapReduce, natywanie wspiera JavaScript (przy użyciu silnika SpiderMonkey ) i Erlang (w którym został w większości napisany) Riak odczytywanie dokumentów Wnioski z obserwacji: Na podstawie przeprowadzonych kilkukrotnie testów, widać bardzo dobre powtarzalne wyniki czasu odczytu 1000 dokumentów powtarzalne wyniki osiągały wartości na poziomie 0,2 sekundy. Zauważalna była anomalia dla pierwszej paczki danych, która była przetwarzana znacząco (bo dwukrotnie) dłużej niż kolejne dane. Czas odczytu danych jest bardzo satysfakcjonujący i pozwala na rekomendację do użycia aplikacji do dalszych testów i analiz. próbka danych (1000 dokumentów) proces 1 proces 2 proces 3 proces 4 Średnia (s) 1 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,1493 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,

5 14 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,1258 0, , , , , , , , , , , , , , , , , , , , ,1353 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,1617 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,

6 54 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,2828 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,

7 94 0, , , , , ,2685 0, , , , , , , , , , , , , , , , , , , , ,3094 0, , , , , , , , średnia: 0, Riak zapisywanie dokumentów Wnioski z obserwacji: Średni czas potrzebny do zapisania 5000 dokumentów do nierelacyjnej bazy danych wynosił 19,3 sekundy. Był to nagorszy czas uzyskany w tym obszarze badawczym (czas zapisu przy jednym wątku w porównianiu do innych baz dokumentowych). Zaprezentowane wyniki pozwalają na wysnucie wniosku, że baza dokumentowa działająca w jednej instancji nie będzie optymalnym rozwiązaniem dla komercyjnego, responsywnego systemu przechowującego miliony danych z racji na nieadekwatność czasu potrzebnego na wprowadzenie informacji do system. próbka danych (5000 dokumentów) proces , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,735012

8 41 19, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , średnia: 72 19, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , Cassandra Apache Cassandra is an open source distributed database management system. It is an Apache Software Foundation top- level project[1] designed to handle very large amounts of data spread out across many commodity servers while providing a highly available service with no single point of failure. It is a NoSQL solution that was initially developed by Facebook and powered their Inbox Search feature until late 2010.[2][3] Jeff Hammerbacher, who led the Facebook Data team at the time, has described Cassandra as a BigTable data model running on an Amazon Dynamo- like infrastructure.[4]

9 Cassandra provides a structured key- value store with tunable consistency.[5] Keys map to multiple values, which are grouped into column families. The column families are fixed when a Cassandra database is created, but columns can be added to a family at any time. Furthermore, columns are added only to specified keys, so different keys can have different numbers of columns in any given family. Cassandra odczyt Wnioski z obserwacji: Przeciętny czas potrzebny na odczytanie przez Cassandrę próbki danych w rozmiarze 1000 dokumentów wynosił 1,2 sekundy. Podobnie jak w przypadku Riaka, pierwsza próbka badanych danych w powtarzalny sposób była procesowana dwukrotnie dłużej niż kolejne próbki badawcze. Wartości będące rezultatem przeprowadzonego badania mają wysoką powtarzalność. Chociaż uzyskane wyniki nie są w pełni satysfakcjonujące, wskazują na potencjał i stanowią rekomendację do dalszej analizy tej nierelacyjnej bazy. próbka danych (1000 dokumentów) proces 1 proces 2 proces 3 proces 4 Średnia (s) 1 3, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,

10 28 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,1933 1, , , , , , , , , , , , , , , , , ,168 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,154171

11 68 1, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , średnia: 1, Cassandra zapis Wnioski z obserwacji: Dane pozyskane w trakcie badania wskazują na satysfakcjonujący, powtarzalny średni czas 4,37 sekundy potrzebny do zapisania w bazie 5000 dokumentów. Można zauważyć duże, przeszło

12 dwukrotne rozbieżności pomiędzy minimalnym a maksymalnym czasem potrzebnym na zapisanie zbliżonej pod względem treści próbki informacji: min. 3,43s max 7.76s. próbka danych (5000 dokumentów) proces 1 1 7, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,677271

13 74 3, , , , , , , , , , , , , , , , średnia: 90 3, , , , , , , , , , , , Mongo MongoDB (od słowa "humongous") to otwarty, nierelacyjny system zarządzania bazą danych napisany w języku C++. Charakteryzuje się dużą skalowalnością, wydajnością oraz brakiem ściśle zdefiniowanej struktury obsługiwanych baz danych. Zamiast tego, dane składowane są jako dokumenty w stylu JSON, co umożliwia aplikacjom bardziej naturalne ich przetwarzanie, przy zachowaniu możliwości tworzenia hierarchii oraz indeksowania. Mongo odczyt Wnioski z obserwacji: Wraz z ładowaniem kolejnych próbek do odczytania, aplikacja miała coraz większe problemy z obsłużeniem i odczytaniem danych. Powtarzalne wyniki wyraźnie wskazują na problemy w testowanej aplikacji dla podstawowej dla nierelacyjnych baz danych czynności odczytywania równocześnie 1000 dokumentów. Jedynym argumentem przemawiającym za dalszymi testami tego rozwiązania są rewelacyjne wyniki w obszarzenie zapisu dokumentów. próbka danych (1000 dokumentów) proces 1 proces 2 proces 3 proces 4 średnia 1 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,122597

14 7 2, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,6123 5, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,

15 47 11, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,

16 87 27, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , średnia: 15, Mongo zapis Wnioski z obserwacji: próbka danych (5000 dokumentów) proces 1 1 1, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,886903

17 39 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , średnia: 72 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , Elastic search Elastic search odczyt Wnioski z obserwacji:

18 próbka danych (1000 dokumentów) proces 1 proces 2 proces 3 proces 4 średnia 1 1, , , , , , , , , , , , , , , , , , , , , , , , , , , , ,3644 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,2237 0, , , , , , , , , , , , , , , , , ,

19 37 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,372 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,

20 77 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , średnia: 0, Elastic search zapis Wnioski z obserwacji: próbka danych (5000 dokumentów) proces 1 1 9, , , , , , , , , , , , , , , ,901205

Pokazać jeszcze