1. WPROWADZENIE... 1 2. PRZEBADANE TECHNOLOGIE... 2 3. ŚRODOWISKO BADAWCZE... 3 4. ZAPISYWANIE I ODCZYTYWANIE W OBRĘBIE JEDNEJ INSTANCJI...

Tytuł dokumentu: Porównanie dokumentowych baz NoSQL na potrzeby sub- projektu agregacji danych Sygnatura projektu: POIG.01.04.00-14- 056/11, Stworzenie innowacyjnych technologii i narzędzi do budowy portali ogłoszeniowych i aukcyjnych przez Sensi Soft sp. z o. o. Typ dokumentu: Autor: Konrad Szymański, Piotr Zientarski, Przemysław Kamiński, Tomasz Skórski Analityk/Architekt: Konrad Szymański Treść dokumentu: 1. WPROWADZENIE... 1 2. PRZEBADANE TECHNOLOGIE... 2 3. ŚRODOWISKO BADAWCZE... 3 4. ZAPISYWANIE I ODCZYTYWANIE W OBRĘBIE JEDNEJ INSTANCJI... 4 RIAK... 4 RIAK ODCZYTYWANIE DOKUMENTÓW... 4 RIAK ZAPISYWANIE DOKUMENTÓW... 7 CASSANDRA... 8 CASSANDRA ODCZYT... 9 CASSANDRA ZAPIS... 11 1. Wprowadzenie Wraz z rozwojem technologii oraz drastycznym zmniejszaniem się ceny jednostkowej za gigabajt w ciągu ostatnich lat można zaobserwować znaczący rozwój rozwiązań oferujących koncepcję dokumentowego przechowywania treści, w strukturach nazywanych bazami dokumentowymi lub bardziej powszechnie bazami NoSQL.

Wykres 1 - Cena gigabajta na przestrzeni czasu od roku 1980 do 2010 (źródło: A History of Storage Cost, Matt Komorowski, http://www.mkomo.com/cost- per- gigabyte) Rozwiązania takie jak Cassandra, Riak, HBase, Amazon Dynamo, HyperTable, Voldemort, Scalaris, Apache CouchDB czy MonoDB coraz częściej stosowane są w rozwiązaniach, w których kwestie relacji pomiędzy dokumentami nie jest krytyczna, a ilość przechowywanych danych i możliwość ich odczytania ma pierwszorzędne znaczenie. Co więcej, powstające obecnie technologie charakteryzują się bardzo dobrą skalowalnością zarówno wertykalną jak i horyzontalną, co umożliwia dynamicznie dostosowanie ilości zapytań idących do takich baz do zapotrzebowań tworzonych produktów. Warto dodać, że większość dokumentowych baz danych tworzona jest w językach wysokiego poziomu w sposób modułowy, co pozwala na bardzo proste tworzenie modułowych rozszerzeń, ułatwiających integrację z różnorakimi technologiami i środowiskami programistycznymi. Zakres projektu POIG.01.04.00-14- 056/11 i zastosowane koncepcje jasno wskazują konieczność zastosowania dokumentowych baz danych (szczególnie w projekcie związanych z opracowaniem modelu przechowywania danych z różnych źródeł). Jednocześnie technologiczny rozwój, który miał miejsce pomiędzy złożeniem wniosku a jego rozpoczęciem, powoduje konieczność przebadania aktualnych możliwości technologii NoSQL. 2. Przebadane technologie Na potrzeby przedwstępnego obszaru badawczego analizie zostało poddanych kilkanaście technologii, zaprezentowanych w tabeli poniżej.

name python language type distributed medium scaling consistency performance bindings Cassandra YES Java column store PRAWDA disk/memory hash ring paritioning newest timestamp Riak YES Erlang key- value document store PRAWDA disk ring paritioning Vector clocks quite slow but stable, linear speed up with additional nodes HBase NO Java column store N/A disk/memory HDFS (Hadoop there is some Distributed Filesystem) with master Amazon NO? key- value PRAWDA n/a hash ring paritioning Vector clocks Dynamo store HyperTable NO C++ column store PRAWDA disk/memory Voldemort NO Java key- value store PRAWDA disk Vector clocks 10 to 20k reqs/s Scalaris NO Erlang key- value PRAWDA memory chord paritioning atomic ops store ElasticSearch YES Java Key- value PRAWDA Memory/disk ring? n/a MongoDB YES C++ Key- value PRAWDA Memory/disk Tbd. n/a n/a Apache CouchDB YES? document store PRAWDA disk replication master- master Przeprowadzone badania wykazały, że na potrzeby projektu należy dokonać dodatkowy badań wydajnościowych dla następujących rozwiązań: Elasticsearch w wersji 0.19.8 Riak w wersji 1.2.0 Cassandra w wersji 1.1.4 MongoDB w wersji 2.2.0 CouchDB w wersji 1.2.0 / BigCouch 0.4.0 W celu uzyskania reprezentatywnych danych, każda w baz dokumentowych była badana na jednym, czterech i szesnastu wątkach. Badane były możliwości zapisu i odczytu dla każdej z baz danych. W celu zachowania przejrzystości wyników poniżej, wyniki zostaną zaprezentowane dla każdego z rozwiązań. 3. Środowisko badawcze Na potrzeby środowiska badawczego zostały uruchomione cztery maszyny serwerowe typu blade w konfiguracji: Blade DELL PowerEdge M61014 z dwoma sześciordzeniowymi procesorami Xeon(R) CPU E5645-2.40GHz, Dysk twardy 1TB, Pamięć 64GB RAM 1. Testowane systemy były instalowane przy użyciu systemu zarządzania ProxMox I wykorzystywały parawirtualizację OpenVZ. 1 Opis specyfikacji technicznej maszyny Dell Power Edge M610 na stronie producenta: http://www.dell.com/us/enterprise/p/poweredge- m610/pd

4. Zapisywanie i odczytywanie w obrębie jednej instancji W obrębie prac badawczych dla możliwie realistycznego odwzorowanie środowiska produkcyjnego, dla każdego z badanych systemów dokonywane były zapisy testowych treści w ilości 5000 obiektów/paczka i odczytów 1000 obiektów/paczka. Kolejne przedstawione poniżej dane odwzorowują czas potrzebny na zrealizowanie zadań dla każdej paczki. Elementem, który zwiększył poziom realizmu w przeprowadzonym badaniu jest czynnik polegający na uruchomieniu czterech jednoczesnych procesów odczytywania danych i jednego zapisującego. Riak Riak to stabilny (jak na analizowaną domenę tematu) produkt służący do przechowywanych informacji, wykorzystujący tzw. partycjonowanie danych (ang. shard- partition). Riak umożliwia użycie jako backendu przechowującego dane Bitcask, LevelDB i Innostore (opartego o InnoDB), z których Bitcask jest najbardziej dojrzałą implementacją. Opisywany system posiada rówież wbudowaną obsługę modelu MapReduce, natywanie wspiera JavaScript (przy użyciu silnika SpiderMonkey ) i Erlang (w którym został w większości napisany) Riak odczytywanie dokumentów Wnioski z obserwacji: Na podstawie przeprowadzonych kilkukrotnie testów, widać bardzo dobre powtarzalne wyniki czasu odczytu 1000 dokumentów powtarzalne wyniki osiągały wartości na poziomie 0,2 sekundy. Zauważalna była anomalia dla pierwszej paczki danych, która była przetwarzana znacząco (bo dwukrotnie) dłużej niż kolejne dane. Czas odczytu danych jest bardzo satysfakcjonujący i pozwala na rekomendację do użycia aplikacji do dalszych testów i analiz. próbka danych (1000 dokumentów) proces 1 proces 2 proces 3 proces 4 Średnia (s) 1 0,370094 0,282219 0,322115 0,226924 0,300338 2 0,161424 0,123674 0,116841 0,140836 0,13569375 3 0,183364 0,36066 0,189187 0,396704 0,28247875 4 0,113149 0,260247 0,150975 0,257866 0,19555925 5 0,115468 0,231424 0,158454 0,231098 0,184111 6 0,140537 0,371733 0,238468 0,399212 0,2874875 7 0,113641 0,252103 0,1493 0,259765 0,19370225 8 0,20874 0,14855 0,145867 0,272221 0,1938445 9 0,122635 0,18939 0,140379 0,192936 0,161335 10 0,131621 0,226118 0,163899 0,180077 0,17542875 11 0,198314 0,320547 0,33507 0,344482 0,29960325 12 0,151099 0,210735 0,160189 0,243574 0,19139925 13 0,27471 0,225677 0,219005 0,310549 0,25748525

14 0,166453 0,126311 0,182459 0,110838 0,14651525 15 0,138911 0,104603 0,193903 0,097119 0,133634 16 0,224002 0,297763 0,312001 0,145232 0,2447495 17 0,101338 0,195748 0,169664 0,10174 0,1421225 18 0,118687 0,242847 0,190134 0,086707 0,15959375 19 0,190806 0,145399 0,296418 0,138504 0,19278175 20 0,131855 0,092318 0,1258 0,090746 0,11017975 21 0,209568 0,154044 0,20159 0,143059 0,17706525 22 0,218177 0,184512 0,360444 0,10378 0,21672825 23 0,160398 0,207499 0,234444 0,092683 0,173756 24 0,207529 0,218686 0,340921 0,1353 0,225609 25 0,312402 0,093826 0,21867 0,100212 0,1812775 26 0,190466 0,101314 0,239535 0,106072 0,15934675 27 0,196942 0,163817 0,411433 0,186084 0,239569 28 0,16494 0,095163 0,187673 0,267903 0,17891975 29 0,269538 0,154668 0,210856 0,203536 0,2096495 30 0,119851 0,091741 0,128016 0,117068 0,114169 31 0,243484 0,100741 0,096427 0,12357 0,1410555 32 0,343053 0,293054 0,164831 0,173232 0,2435425 33 0,222177 0,144521 0,092071 0,115325 0,1435235 34 0,194318 0,159841 0,09868 0,11912 0,14298975 35 0,320434 0,251912 0,266756 0,287883 0,28174625 36 0,190831 0,137302 0,197466 0,204128 0,18243175 37 0,19152 0,250659 0,296034 0,324034 0,26556175 38 0,112886 0,125228 0,19057 0,194899 0,15589575 39 0,087139 0,095554 0,134439 0,195062 0,1280485 40 0,154989 0,173055 0,274042 0,298965 0,22526275 41 0,111275 0,147269 0,249523 0,186129 0,173549 42 0,160278 0,100564 0,128824 0,096582 0,121562 43 0,287028 0,213694 0,309383 0,149656 0,23994025 44 0,187428 0,140026 0,259474 0,180608 0,191884 45 0,292678 0,170268 0,297882 0,149341 0,22754225 46 0,203977 0,104531 0,186134 0,147108 0,1604375 47 0,1617 0,142391 0,134756 0,190555 0,1573505 48 0,209582 0,197866 0,157517 0,159062 0,18100675 49 0,157556 0,213133 0,088125 0,096719 0,13888325 50 0,140303 0,277934 0,189537 0,101639 0,17735325 51 0,202297 0,184034 0,276488 0,145625 0,202111 52 0,190308 0,138466 0,215967 0,192003 0,184186 53 0,256316 0,197691 0,292707 0,300555 0,26181725

54 0,149329 0,10534 0,132685 0,323527 0,17772025 55 0,135379 0,182021 0,109244 0,180529 0,15179325 56 0,173526 0,194718 0,199655 0,245411 0,2033275 57 0,18802 0,118749 0,115747 0,133037 0,13888825 58 0,195739 0,129845 0,131279 0,161206 0,15451725 59 0,302066 0,206478 0,158808 0,190235 0,21439675 60 0,230534 0,13575 0,095285 0,136311 0,14947 61 0,295655 0,183942 0,15526 0,31268 0,23688425 62 0,191812 0,152731 0,095111 0,19122 0,1577185 63 0,245634 0,11504 0,091146 0,208272 0,165023 64 0,361631 0,18729 0,139961 0,436359 0,28131025 65 0,232524 0,159906 0,101314 0,228763 0,18062675 66 0,297371 0,236769 0,211012 0,267234 0,2530965 67 0,158636 0,125295 0,169941 0,111897 0,14144225 68 0,155518 0,214953 0,113808 0,161592 0,16146775 69 0,297083 0,245602 0,154105 0,323205 0,25499875 70 0,077036 0,16287 0,154305 0,197459 0,1479175 71 0,124532 0,124165 0,19618 0,211393 0,1640675 72 0,187733 0,200413 0,311669 0,183182 0,22074925 73 0,128102 0,258377 0,266371 0,124086 0,194234 74 0,20146 0,256598 0,359948 0,209266 0,256818 75 0,121191 0,119417 0,228354 0,134165 0,15078175 76 0,159686 0,234072 0,236023 0,211883 0,210416 77 0,318183 0,370668 0,380237 0,178475 0,31189075 78 0,126681 0,199011 0,271352 0,095591 0,17315875 79 0,165373 0,15601 0,187937 0,112649 0,15549225 80 0,23206 0,282034 0,220451 0,137102 0,21791175 81 0,182646 0,214791 0,117814 0,130235 0,1613715 82 0,33259 0,440046 0,272912 0,183206 0,3071885 83 0,173841 0,154318 0,114933 0,100916 0,136002 84 0,184296 0,145073 0,136819 0,155116 0,155326 85 0,290991 0,229113 0,479128 0,2828 0,320508 86 0,132097 0,100336 0,276376 0,184488 0,17332425 87 0,094077 0,115372 0,347488 0,203968 0,19022625 88 0,230764 0,179483 0,274386 0,26476 0,23734825 89 0,095178 0,112902 0,096618 0,290723 0,14885525 90 0,231936 0,252796 0,203161 0,434384 0,28056925 91 0,265586 0,250452 0,151918 0,354593 0,25563725 92 0,183877 0,129446 0,134829 0,267108 0,178815 93 0,417155 0,243592 0,211152 0,436474 0,32709325

94 0,219173 0,103405 0,117513 0,316081 0,189043 95 0,2685 0,128369 0,172519 0,339102 0,2271225 96 0,476801 0,242073 0,194444 0,19947 0,278197 97 0,221942 0,261856 0,184295 0,114432 0,19563125 98 0,297719 0,370277 0,293465 0,297982 0,31486075 99 0,159411 0,3094 0,199885 0,156274 0,2062425 100 0,114669 0,231475 0,097136 0,132704 0,143996 średnia: 0,198452905 Riak zapisywanie dokumentów Wnioski z obserwacji: Średni czas potrzebny do zapisania 5000 dokumentów do nierelacyjnej bazy danych wynosił 19,3 sekundy. Był to nagorszy czas uzyskany w tym obszarze badawczym (czas zapisu przy jednym wątku w porównianiu do innych baz dokumentowych). Zaprezentowane wyniki pozwalają na wysnucie wniosku, że baza dokumentowa działająca w jednej instancji nie będzie optymalnym rozwiązaniem dla komercyjnego, responsywnego systemu przechowującego miliony danych z racji na nieadekwatność czasu potrzebnego na wprowadzenie informacji do system. próbka danych (5000 dokumentów) proces 1 1 25,117565 2 19,856468 3 18,211975 4 18,995207 5 22,450867 6 19,997164 7 19,055871 8 17,795036 9 18,48263 10 19,063777 11 21,300051 12 21,889719 13 21,201292 14 23,154452 15 18,735968 16 19,732154 17 18,451671 18 18,132456 19 18,338664 20 17,763238 21 19,025414 22 20,863026 23 18,029431 24 21,019045 25 19,705187 26 18,456505 27 18,653694 28 20,307664 29 20,158507 30 21,42794 31 22,061556 32 19,685935 33 19,286027 34 21,916073 35 19,07998 36 18,848654 37 18,371005 38 20,078398 39 18,540562 40 17,735012

41 19,724943 42 19,116322 43 18,580173 44 18,733839 45 18,519815 46 17,682089 47 17,946479 48 18,074267 49 19,980282 50 18,752353 51 18,788778 52 18,814585 53 19,494725 54 19,393314 55 17,783629 56 18,959561 57 19,530412 58 22,030753 59 18,743373 60 20,214898 61 17,283431 62 18,186742 63 17,295202 64 18,984801 65 18,479178 66 18,173229 67 17,9434 68 17,491156 69 18,263594 70 23,238857 71 20,090643 średnia: 72 19,765686 73 18,084924 74 18,854168 75 18,8371 76 19,326948 77 19,414134 78 18,631293 79 17,604429 80 19,266295 81 18,684463 82 19,516301 83 18,250571 84 22,090793 85 17,805073 86 21,373115 87 19,045895 88 18,048788 89 19,56047 90 17,15155 91 22,40935 92 17,805693 93 17,998535 94 19,210534 95 17,115557 96 18,020819 97 19,569123 98 22,910725 99 17,947244 100 18,620447 19,30190686 Cassandra Apache Cassandra is an open source distributed database management system. It is an Apache Software Foundation top- level project[1] designed to handle very large amounts of data spread out across many commodity servers while providing a highly available service with no single point of failure. It is a NoSQL solution that was initially developed by Facebook and powered their Inbox Search feature until late 2010.[2][3] Jeff Hammerbacher, who led the Facebook Data team at the time, has described Cassandra as a BigTable data model running on an Amazon Dynamo- like infrastructure.[4]

Cassandra provides a structured key- value store with tunable consistency.[5] Keys map to multiple values, which are grouped into column families. The column families are fixed when a Cassandra database is created, but columns can be added to a family at any time. Furthermore, columns are added only to specified keys, so different keys can have different numbers of columns in any given family. Cassandra odczyt Wnioski z obserwacji: Przeciętny czas potrzebny na odczytanie przez Cassandrę próbki danych w rozmiarze 1000 dokumentów wynosił 1,2 sekundy. Podobnie jak w przypadku Riaka, pierwsza próbka badanych danych w powtarzalny sposób była procesowana dwukrotnie dłużej niż kolejne próbki badawcze. Wartości będące rezultatem przeprowadzonego badania mają wysoką powtarzalność. Chociaż uzyskane wyniki nie są w pełni satysfakcjonujące, wskazują na potencjał i stanowią rekomendację do dalszej analizy tej nierelacyjnej bazy. próbka danych (1000 dokumentów) proces 1 proces 2 proces 3 proces 4 Średnia (s) 1 3,28591 2,10748 3,16421 1,971248 2,632212 2 1,012904 1,322019 1,005239 1,589256 1,2323545 3 1,06867 1,037374 1,056235 1,67689 1,20979225 4 0,919775 0,948427 0,95425 0,937752 0,940051 5 1,000159 0,970304 1,042403 0,797046 0,952478 6 1,200031 1,215697 0,727671 0,743338 0,97168425 7 0,824189 0,883677 0,743071 0,894001 0,8362345 8 0,969799 0,913358 0,86393 1,032077 0,944791 9 0,889408 0,773754 0,825778 0,893709 0,84566225 10 1,019739 1,072074 0,966653 0,828819 0,97182125 11 0,99267 0,867631 0,770719 0,872448 0,875867 12 0,914996 0,91556 1,029452 0,898442 0,9396125 13 0,883934 0,983751 0,978567 1,269259 1,02887775 14 0,832391 1,200539 0,851161 0,812815 0,9242265 15 0,919986 0,844895 0,92225 0,967332 0,91361575 16 0,670142 1,097903 1,030172 0,998614 0,94920775 17 0,927573 0,917103 0,701587 0,989434 0,88392425 18 0,839503 0,847014 0,672913 1,066898 0,856582 19 1,028439 0,851132 0,862697 1,026618 0,9422215 20 1,054361 0,72267 1,113124 1,104942 0,99877425 21 1,289655 0,906153 0,954528 1,153176 1,075878 22 0,765955 1,199763 1,270154 0,898946 1,0337045 23 0,973367 0,655447 0,727115 0,837012 0,79823525 24 1,208396 0,942689 0,917436 1,227425 1,0739865 25 1,281869 0,860694 1,128105 1,267802 1,1346175 26 0,644098 0,969935 0,753174 0,783994 0,78780025 27 1,116269 1,051746 1,089859 1,602231 1,21502625

28 0,723413 0,91047 1,453378 0,722261 0,9523805 29 1,076881 0,987444 1,407486 0,799687 1,0678745 30 0,952483 1,110174 1,118802 1,383989 1,141362 31 0,876692 0,875978 1,059953 0,937235 0,9374645 32 1,052496 1,051596 0,985288 1,063612 1,038248 33 0,922442 1,021716 1,064794 1,127645 1,03414925 34 1,232924 0,999761 1,126493 0,706664 1,0164605 35 1,006894 1,253493 1,354422 0,995237 1,1525115 36 0,724095 1,110683 1,023632 0,933366 0,947944 37 1,034584 0,835224 0,947798 1,121864 0,9848675 38 0,88336 0,836989 4,894832 4,612365 2,8068865 39 4,43045 0,941595 1,441015 1,039091 1,96303775 40 1,41765 4,624769 1,299856 0,786332 2,03215175 41 1,047344 1,379618 1,87368 1,173638 1,36857 42 1,228731 1,296018 1,739713 0,994065 1,31463175 43 1,288067 1,337856 1,228752 1,1933 1,26199375 44 1,492131 1,335944 1,238182 1,107316 1,29339325 45 1,447105 1,281139 1,080515 0,880141 1,172225 46 1,150389 1,222011 1,353134 1,113655 1,20979725 47 1,232932 1,168 0,970912 1,337168 1,177253 48 1,418763 1,220177 1,202094 1,064838 1,226468 49 1,146366 1,419756 1,815686 1,025227 1,35175875 50 1,441325 1,418586 1,710822 1,15488 1,43140325 51 2,856211 1,949002 1,285773 1,103264 1,7985625 52 1,37255 1,705514 0,905577 1,214711 1,299588 53 1,013229 1,262595 1,061766 1,567993 1,22639575 54 1,164652 1,090683 1,108072 1,256954 1,15509025 55 1,403217 1,083669 1,06214 0,804541 1,08839175 56 0,939885 1,365706 1,227396 1,108018 1,16025125 57 0,940739 0,900634 1,121973 1,319098 1,070611 58 1,731984 1,084967 1,880046 1,173278 1,46756875 59 1,226283 2,069638 1,403899 1,049874 1,4374235 60 1,215744 1,245696 1,91166 1,275897 1,41224925 61 1,736805 1,248401 1,028535 1,893072 1,47670325 62 1,200496 1,293799 0,896332 1,077104 1,11693275 63 1,028189 1,363419 1,132567 0,996532 1,13017675 64 1,297269 1,104753 1,237811 1,579315 1,304787 65 1,081577 1,40061 0,947266 1,044769 1,1185555 66 0,911223 1,226782 1,255082 1,028158 1,10531125 67 1,241498 0,989558 1,255123 1,130505 1,154171

68 1,53538 1,033132 0,966976 1,601479 1,28424175 69 0,885703 1,509849 0,907795 1,14145 1,11119925 70 1,018707 0,950249 1,038797 1,31046 1,07955325 71 1,18279 1,107526 1,043909 1,282764 1,15424725 72 1,485121 0,999062 1,319625 0,91549 1,1798245 73 1,137558 1,00121 0,974166 0,964983 1,01947925 74 1,077474 1,076415 0,914397 0,957686 1,006493 75 1,27025 1,01784 1,513614 1,467412 1,317279 76 0,949739 1,118395 1,036691 0,901066 1,00147275 77 0,948953 1,096935 1,230143 1,007137 1,070792 78 1,270762 0,999998 1,232791 1,357773 1,215331 79 0,989075 1,337045 1,360154 1,267539 1,23845325 80 1,236641 1,469398 1,184343 0,960483 1,21271625 81 1,288341 1,278314 1,200105 1,296214 1,2657435 82 1,604689 1,291887 1,396494 1,552334 1,461351 83 1,724449 2,210728 2,469122 1,390795 1,9487735 84 1,034633 1,942605 1,552046 1,523275 1,51313975 85 1,422919 0,97832 1,882142 2,08249 1,59146775 86 2,164246 1,318609 1,315584 1,251878 1,51257925 87 0,959295 1,657061 2,06028 1,117979 1,44865375 88 0,987557 1,087756 1,475537 1,849352 1,3500505 89 1,67146 1,846631 1,503892 1,206379 1,5570905 90 0,911555 1,457817 1,134781 2,050636 1,38869725 91 1,116717 1,221178 1,305497 0,883633 1,13175625 92 0,922858 1,10401 1,119546 1,20582 1,0880585 93 0,88586 1,05993 0,985741 1,305902 1,05935825 94 0,881065 1,178656 1,263074 0,870109 1,048226 95 0,846641 1,359904 1,283364 1,02186 1,12794225 96 1,063967 1,116001 0,763072 1,111725 1,01369125 97 1,166169 0,943378 0,903139 0,940566 0,988313 98 0,959854 1,17814 1,008145 1,298836 1,11124375 99 1,451796 0,749964 0,945422 0,86259 1,002443 100 1,184264 0,818514 0,693525 1,034925 0,932807 średnia: 1,198073088 Cassandra zapis Wnioski z obserwacji: Dane pozyskane w trakcie badania wskazują na satysfakcjonujący, powtarzalny średni czas 4,37 sekundy potrzebny do zapisania w bazie 5000 dokumentów. Można zauważyć duże, przeszło

dwukrotne rozbieżności pomiędzy minimalnym a maksymalnym czasem potrzebnym na zapisanie zbliżonej pod względem treści próbki informacji: min. 3,43s max 7.76s. próbka danych (5000 dokumentów) proces 1 1 7,184717 2 5,008715 3 4,692909 4 5,583207 5 6,211781 6 5,264736 7 7,556225 8 7,766225 9 4,900638 10 6,641015 11 6,847424 12 6,760424 13 6,29263 14 6,296028 15 4,26545 16 4,586553 17 4,076623 18 5,009299 19 6,154842 20 4,349621 21 4,367948 22 3,765081 23 3,754991 24 3,612126 25 3,445821 26 3,804559 27 3,774165 28 6,020412 29 5,316382 30 3,437886 31 4,415892 32 4,60804 33 3,965987 34 3,60597 35 4,445078 36 3,952601 37 3,951388 38 3,781798 39 3,805501 40 4,253884 41 3,689618 42 4,074434 43 4,375047 44 4,48701 45 4,120182 46 3,729441 47 3,604657 48 3,666139 49 3,640166 50 3,657569 51 3,622731 52 4,25035 53 4,271799 54 3,88207 55 3,513216 56 3,671004 57 4,842452 58 3,835282 59 5,530835 60 3,805101 61 4,635764 62 3,726947 63 3,804061 64 3,745215 65 4,582669 66 4,450828 67 3,70317 68 4,317778 69 3,73866 70 4,531509 71 3,579001 72 3,77018 73 3,677271

74 3,567912 75 3,524019 76 3,773639 77 4,116213 78 3,719216 79 3,816021 80 4,512121 81 3,690735 82 3,9071 83 4,267569 84 4,73164 85 3,559093 86 3,716271 87 3,676265 88 3,788664 89 3,707326 średnia: 90 3,646259 91 4,07724 92 3,533826 93 6,756861 94 3,644587 95 3,666434 96 3,843091 97 4,339641 98 3,729396 99 3,692825 100 3,843561 4,36914253 Mongo MongoDB (od słowa "humongous") to otwarty, nierelacyjny system zarządzania bazą danych napisany w języku C++. Charakteryzuje się dużą skalowalnością, wydajnością oraz brakiem ściśle zdefiniowanej struktury obsługiwanych baz danych. Zamiast tego, dane składowane są jako dokumenty w stylu JSON, co umożliwia aplikacjom bardziej naturalne ich przetwarzanie, przy zachowaniu możliwości tworzenia hierarchii oraz indeksowania. Mongo odczyt Wnioski z obserwacji: Wraz z ładowaniem kolejnych próbek do odczytania, aplikacja miała coraz większe problemy z obsłużeniem i odczytaniem danych. Powtarzalne wyniki wyraźnie wskazują na problemy w testowanej aplikacji dla podstawowej dla nierelacyjnych baz danych czynności odczytywania równocześnie 1000 dokumentów. Jedynym argumentem przemawiającym za dalszymi testami tego rozwiązania są rewelacyjne wyniki w obszarzenie zapisu dokumentów. próbka danych (1000 dokumentów) proces 1 proces 2 proces 3 proces 4 średnia 1 0,815223 0,757977 0,871453 0,49041 0,73376575 2 1,007445 0,942464 1,088689 0,997947 1,00913625 3 1,329526 1,287588 1,350336 1,285126 1,313144 4 1,567592 1,563612 1,574557 1,485109 1,5477175 5 1,841839 1,862078 2,096856 1,775622 1,89409875 6 2,074103 2,102238 2,332185 1,981862 2,122597

7 2,311137 2,537484 2,537402 2,148923 2,3837365 8 2,559693 2,848248 2,897672 2,384094 2,67242675 9 2,803027 3,16254 3,141841 2,583553 2,92274025 10 3,102333 3,435073 3,455266 2,875973 3,21716125 11 3,342682 3,692084 3,691317 3,366574 3,52316425 12 3,547412 3,944114 3,914614 3,588365 3,74862625 13 3,818146 4,264256 4,219854 3,916915 4,05479275 14 4,00627 4,515493 4,46577 4,186267 4,29345 15 4,292964 4,797387 4,715749 4,434161 4,56006525 16 4,520748 5,035619 4,89442 4,631919 4,7706765 17 4,823382 5,31702 5,137996 4,872671 5,03776725 18 5,025565 5,566142 5,371488 5,117381 5,270144 19 5,234114 5,773882 5,597996 5,337641 5,48590825 20 5,55683 6,082471 5,841361 5,6123 5,7732405 21 5,778591 6,294771 6,104152 5,808887 5,99660025 22 6,074895 6,558007 6,331421 6,072701 6,259256 23 6,283789 6,856742 6,545183 6,281753 6,49186675 24 6,475379 7,05431 6,856539 6,551548 6,734444 25 6,769412 7,329697 7,077489 6,835498 7,003024 26 6,927741 7,597789 7,321589 7,031472 7,21964775 27 7,124297 7,837931 7,575612 7,334608 7,468112 28 7,357263 8,055789 7,804936 7,599595 7,70439575 29 7,644496 8,335073 8,07746 7,893005 7,9875085 30 7,874214 8,530687 8,301671 8,123537 8,20752725 31 8,101364 8,714052 8,482825 8,355665 8,4134765 32 8,362373 8,951864 8,738711 8,604234 8,6642955 33 8,583956 9,177712 8,929489 8,804882 8,87400975 34 8,808843 9,419091 9,199695 9,047701 9,1188325 35 9,01208 9,619353 9,382578 9,267122 9,32028325 36 9,289444 9,864579 9,641908 9,531771 9,5819255 37 9,495595 10,044734 9,889704 9,715069 9,7862755 38 9,689338 10,246349 10,084779 9,927858 9,987081 39 9,948307 10,521318 10,323864 10,189263 10,245688 40 10,149421 10,821092 10,571647 10,426877 10,49225925 41 10,384615 11,071891 10,877559 10,669453 10,7508795 42 10,593089 11,27607 11,094078 10,900655 10,965973 43 10,799285 11,449032 11,379272 11,156363 11,195988 44 11,051413 11,684191 11,588593 11,356336 11,42013325 45 11,297253 11,854245 11,791423 11,573686 11,62915175 46 11,546039 12,202482 12,159371 11,825317 11,93330225

47 11,762557 12,430112 12,385593 12,138236 12,1791245 48 12,003739 12,765802 12,770158 12,391391 12,4827725 49 12,232525 12,992776 12,997483 12,59827 12,7052635 50 12,454861 13,1761 13,184164 12,877387 12,923128 51 13,212059 16,454743 16,478354 13,091996 14,809288 52 16,5016 17,050602 17,050893 13,259978 15,96576825 53 17,062348 17,295064 17,329337 16,456113 17,0357155 54 17,310099 18,136102 18,139893 17,047932 17,6585065 55 18,135887 18,712805 18,735887 17,33678 18,23033975 56 18,690563 19,027207 19,018783 18,135416 18,71799225 57 19,018388 19,249364 19,200562 18,712271 19,04514625 58 19,269507 19,474089 19,417084 19,022153 19,29570825 59 19,466672 19,718906 19,672075 19,470036 19,58192225 60 19,71931 20,031209 19,937352 19,741275 19,8572865 61 19,989196 20,286249 20,101575 20,010273 20,09682325 62 20,180566 20,458409 20,36052 20,306293 20,326447 63 20,382107 20,707738 20,53107 20,48232 20,52580875 64 20,552046 20,94801 20,727388 20,660093 20,72188425 65 20,787138 21,260498 20,983623 20,886603 20,9794655 66 20,994803 21,497158 21,208497 21,057846 21,189576 67 21,278125 21,770176 21,475396 21,326478 21,46254375 68 21,727054 22,005407 21,657784 21,535863 21,731527 69 21,916796 22,203235 21,824347 21,749003 21,92334525 70 22,114202 22,467976 22,064675 22,005522 22,16309375 71 22,284513 22,650731 22,258325 22,20565 22,34980475 72 22,520026 22,908646 22,514308 22,441481 22,59611525 73 22,693428 23,161186 22,707679 22,611409 22,7934255 74 22,947974 23,440015 22,958242 22,899933 23,061541 75 23,203469 23,625661 23,211053 23,164857 23,30126 76 23,436462 23,791178 23,439698 23,342441 23,50244475 77 23,66151 24,02631 23,696425 23,530687 23,728733 78 23,852254 24,206631 23,878177 23,712606 23,912417 79 24,144151 25,724011 24,167154 23,952451 24,49694175 80 24,356509 25,938575 24,397108 24,177136 24,717332 81 25,718813 26,16972 24,707533 24,422772 25,2547095 82 25,952041 26,457161 24,881219 24,716469 25,5017225 83 26,190685 26,667123 25,043007 24,888295 25,6972775 84 26,477463 26,926401 25,241702 25,082769 25,93208375 85 26,688099 27,104793 25,41629 25,262012 26,1177985 86 26,973696 27,386136 25,65674 25,457278 26,3684625

87 27,175675 27,612611 25,877913 25,661065 26,581816 88 27,36522 27,814214 26,057474 25,864835 26,77543575 89 27,610481 28,044635 26,34459 26,128437 27,03203575 90 27,794519 28,259093 26,528353 26,385792 27,24193925 91 28,008469 28,520719 26,740917 26,646421 27,4791315 92 28,195179 28,729979 26,948818 26,846467 27,68011075 93 28,54829 28,956866 27,196474 27,062012 27,9409105 94 28,79067 29,134668 27,409147 27,246923 28,145352 95 28,980189 29,299998 27,636968 27,430014 28,33679225 96 29,184451 29,49322 27,900605 27,682018 28,5650735 97 29,349363 29,665562 28,094046 27,891687 28,7501645 98 29,538055 29,879285 28,380269 28,129647 28,981814 99 29,698758 30,032554 28,603194 28,342563 29,16926725 100 29,880676 30,246982 28,852203 28,621947 29,400452 średnia: 15,22807137 Mongo zapis Wnioski z obserwacji: próbka danych (5000 dokumentów) proces 1 1 1,660125 2 1,164519 3 1,161081 4 1,080863 5 2,236756 6 1,686899 7 1,518161 8 1,993163 9 7,093378 10 1,586645 11 4,822721 12 2,2406 13 2,446196 14 1,689105 15 5,92887 16 0,904088 17 6,885684 18 1,905328 19 1,002193 20 0,936256 21 1,628564 22 0,880584 23 0,95931 24 0,909945 25 0,975603 26 0,876741 27 1,419423 28 0,92825 29 0,895246 30 0,935837 31 0,996257 32 1,021178 33 1,695314 34 0,915028 35 0,865808 36 2,870368 37 15,371232 38 0,886903

39 0,77903 40 3,425245 41 0,899833 42 0,935864 43 1,185725 44 1,045639 45 0,880993 46 0,993556 47 1,538634 48 1,064833 49 4,060016 50 1,500234 51 1,572685 52 0,957806 53 4,388792 54 1,17238 55 11,769803 56 0,921752 57 1,095236 58 1,452854 59 1,082794 60 1,617456 61 0,928873 62 1,701417 63 1,631944 64 1,20471 65 1,040781 66 0,94721 67 1,517812 68 2,366493 69 0,844053 70 0,852499 71 2,904852 średnia: 72 0,945695 73 2,29124 74 1,212513 75 0,978339 76 1,387619 77 6,22264 78 1,156262 79 1,329862 80 1,558291 81 1,103957 82 1,088755 83 4,584809 84 4,976751 85 1,775051 86 0,9034 87 0,905542 88 1,075528 89 0,907125 90 2,305284 91 0,943501 92 0,891526 93 0,972411 94 0,998023 95 4,04229 96 7,214301 97 21,813476 98 2,35951 99 0,957866 100 1,298069 2,23455662 Elastic search Elastic search odczyt Wnioski z obserwacji:

próbka danych (1000 dokumentów) proces 1 proces 2 proces 3 proces 4 średnia 1 1,154557 1,182739 1,220845 1,187858 1,18649975 2 0,255634 0,30499 0,255259 0,306392 0,28056875 3 0,333679 0,348112 0,311163 0,33583 0,332196 4 0,228376 0,332538 0,217475 0,346466 0,28121375 5 0,293023 0,440746 0,294934 0,454346 0,37076225 6 0,227604 0,203629 0,221148 0,3644 0,25419525 7 0,334627 0,411709 0,408632 0,43655 0,3978795 8 0,208443 0,259801 0,405692 0,429105 0,32576025 9 0,116254 0,151116 0,375461 0,348609 0,24786 10 0,193321 0,33646 0,408056 0,360834 0,32466775 11 0,338408 0,468007 0,437179 0,445457 0,42226275 12 0,40501 0,396003 0,348929 0,276098 0,35651 13 0,30491 0,334091 0,264179 0,360034 0,3158035 14 0,331855 0,251833 0,363175 0,323353 0,317554 15 0,494599 0,351148 0,331468 0,355524 0,38318475 16 0,363689 0,292887 0,25111 0,27626 0,2959865 17 0,328179 0,426474 0,217626 0,388713 0,340248 18 0,29925 0,32319 0,270279 0,192005 0,271181 19 0,374712 0,28237 0,381243 0,249709 0,3220085 20 0,202858 0,353038 0,395722 0,207723 0,28983525 21 0,29085 0,31587 0,321999 0,247198 0,29397925 22 0,27471 0,339743 0,327612 0,28819 0,30756375 23 0,193324 0,213625 0,262735 0,229453 0,22478425 24 0,287146 0,26124 0,503936 0,252226 0,326137 25 0,306314 0,177614 0,394846 0,16952 0,2620735 26 0,396732 0,219249 0,399546 0,246402 0,31548225 27 0,517685 0,376702 0,261903 0,411437 0,39193175 28 0,245126 0,301921 0,351044 0,280643 0,2946835 29 0,34086 0,360871 0,356659 0,323692 0,3455205 30 0,294111 0,180993 0,258646 0,221211 0,23874025 31 0,364819 0,349133 0,267282 0,354929 0,33404075 32 0,314004 0,304305 0,327433 0,451083 0,34920625 33 0,161975 0,2237 0,280636 0,253026 0,22983425 34 0,454307 0,329691 0,366107 0,334837 0,3712355 35 0,288349 0,292017 0,35853 0,290733 0,30740725 36 0,307213 0,381015 0,39611 0,40766 0,3729995

37 0,253351 0,265512 0,269642 0,288432 0,26923425 38 0,226505 0,288848 0,329248 0,348882 0,29837075 39 0,344657 0,243712 0,36791 0,330552 0,32170775 40 0,308833 0,264296 0,310824 0,240789 0,2811855 41 0,340162 0,367239 0,354854 0,352525 0,353695 42 0,30198 0,241707 0,312773 0,311163 0,29190575 43 0,314729 0,382856 0,323995 0,372 0,348395 44 0,137973 0,295868 0,266736 0,276355 0,244233 45 0,251015 0,381382 0,298328 0,301627 0,308088 46 0,27389 0,305713 0,263008 0,334027 0,2941595 47 0,214689 0,252502 0,204016 0,287996 0,23980075 48 0,320853 0,381448 0,257983 0,326929 0,32180325 49 0,232308 0,438879 0,201038 0,373719 0,311486 50 0,302291 0,445725 0,345005 0,232155 0,331294 51 0,269158 0,330739 0,335968 0,365291 0,325289 52 0,204667 0,275009 0,290017 0,222425 0,2480295 53 0,252612 0,380998 0,304339 0,339574 0,31938075 54 0,194512 0,151186 0,284321 0,336067 0,2415215 55 0,336765 0,293263 0,35453 0,333109 0,32941675 56 0,271531 0,272929 0,241468 0,299283 0,27130275 57 0,397277 0,357536 0,301948 0,359955 0,354179 58 0,392807 0,331135 0,36266 0,397268 0,3709675 59 0,283211 0,304798 0,348901 0,335056 0,3179915 60 0,374031 0,369483 0,276159 0,355462 0,34378375 61 0,274383 0,26766 0,319968 0,374144 0,30903875 62 0,291457 0,343768 0,430357 0,342701 0,35207075 63 0,245469 0,367077 0,325274 0,330529 0,31708725 64 0,361638 0,320014 0,358457 0,158707 0,299704 65 0,285663 0,33224 0,384484 0,292557 0,323736 66 0,241993 0,36376 0,277422 0,306234 0,29735225 67 0,13034 0,336184 0,338368 0,338888 0,285945 68 0,107359 0,27698 0,27287 0,286976 0,23604625 69 0,271441 0,347834 0,384495 0,371817 0,34389675 70 0,443761 0,401761 0,359961 0,351421 0,389226 71 0,296947 0,281444 0,260648 0,311095 0,2875335 72 0,381917 0,387194 0,342238 0,338054 0,36235075 73 0,228019 0,273695 0,249112 0,296397 0,26180575 74 0,337751 0,508672 0,232813 0,226465 0,32642525 75 0,236494 0,474256 0,22537 0,206934 0,2857635 76 0,352948 0,350387 0,247296 0,250779 0,3003525

77 0,229743 0,322846 0,331485 0,303338 0,296853 78 0,299555 0,232794 0,254043 0,253816 0,260052 79 0,250638 0,355646 0,36783 0,330638 0,326188 80 0,32214 0,346078 0,272424 0,304937 0,31139475 81 0,560325 0,362357 0,324953 0,332991 0,3951565 82 0,373985 0,267675 0,278736 0,28344 0,300959 83 0,359622 0,346087 0,356478 0,34784 0,35250675 84 0,353967 0,292522 0,31308 0,327807 0,321844 85 0,307981 0,303591 0,26921 0,287247 0,29200725 86 0,331982 0,512891 0,405306 0,311957 0,390534 87 0,274532 0,424697 0,191617 0,227668 0,2796285 88 0,365661 0,396201 0,166621 0,500136 0,35715475 89 0,336402 0,28706 0,305008 0,300521 0,30724775 90 0,281462 0,346728 0,205599 0,219757 0,2633865 91 0,410378 0,277436 0,280952 0,290241 0,31475175 92 0,435576 0,120196 0,268922 0,308247 0,28323525 93 0,195725 0,13668 0,279581 0,364308 0,2440735 94 0,440947 0,106205 0,262846 0,334189 0,28604675 95 0,395333 0,188146 0,377937 0,599403 0,39020475 96 0,409714 0,265821 0,564963 0,455529 0,42400675 97 0,283575 0,096991 0,242133 0,279637 0,225584 98 0,317684 0,197026 0,182615 0,198264 0,22389725 99 0,183326 0,127805 0,216483 0,096965 0,15614475 100 0,27509 0,284291 0,253441 0,106823 0,22991125 średnia: 0,318301205 Elastic search zapis Wnioski z obserwacji: próbka danych (5000 dokumentów) proces 1 1 9,003818 2 10,391392 3 11,533982 4 10,864471 5 5,895756 6 8,369219 7 8,459733 8 10,586376 9 10,914774 10 9,098377 11 12,870599 12 14,639993 13 13,736097 14 12,813401 15 9,694638 16 9,901205