NoSQL & relax with CouchDB

Transkrypt

1 NoSQL & relax with PyWaw #23 8 kwiecień 2013

2 Agenda 1 NoSQL - nierelacyjne systemy baz danych Wprowadzenie do NoSQL Rodzaje i porównanie baz NoSQL Polyglot persistence 2 Projekt w CERN wykorzystujacy 3 Warsaw NoSQL User Group NoSQL - podsumowanie Specjalna czastka

3 NoSQL nierelacyjne systemy baz danych Wprowadzenie do NoSQL Rodzaje i porównanie baz NoSQL Polyglot persistence NoSQL NoSQL = Not only SQL (nie tylko SQL) Systemy zarzadzania bazami danych, które nie opieraja się na tradycyjnym modelu relacyjnym. Cechy: rezygnacja z właściwości ACID i innych cech relacyjnych (np. złaczeń) łatwe skalowanie horyzontalne brak pojedynczego punktu awarii elastyczne schematy danych (agregaty)

4 Dlaczego NoSQL? Big data - wielkie zbiory danych Wprowadzenie do NoSQL Rodzaje i porównanie baz NoSQL Polyglot persistence Dynamo Cassandra Bigtable Voldemort

5 Wprowadzenie do NoSQL Rodzaje i porównanie baz NoSQL Polyglot persistence Teoria CAP Consistency (Spójność), Availability (Dostępność), Partition tolerance (Rozproszenie)

6 Wprowadzenie do NoSQL Rodzaje i porównanie baz NoSQL Polyglot persistence Rodzaje baz danych NoSQL (taksonomia) podstawowe trzy rodzaje 1. Klucz-wartość 2. Bazy dokumentowe 3. Bazy kolumnowe Bigtable Inne? (grafowe, obiektowe, hierarchiczne)

7 Polyglot persistence Wprowadzenie do NoSQL Rodzaje i porównanie baz NoSQL Polyglot persistence Polyglot Persistence Why now?

8 Polyglot persistence Wprowadzenie do NoSQL Rodzaje i porównanie baz NoSQL Polyglot persistence

9 - główne komponenty RELAX, Ubuntu One, BBC, CERN Projekt w CERN wykorzystujacy Apache has started. Time to relax.

10 - główne komponenty budowa wewnętrzna Projekt w CERN wykorzystujacy

11 - główne komponenty od strony użytkownika Projekt w CERN wykorzystujacy

12 - wewnętrzna struktura drzewo B+, plik append-only Projekt w CERN wykorzystujacy zapisy nie blokuja odczytów dowolna liczba odczytów trwały zapis danych duża zajętość dysku - baza wymaga kompresji

13 Konsekwencje pliku append-only Ciekawostka Projekt w CERN wykorzystujacy 4 dokumenty w bazie (rozmiar w bajtach - czerwony kolor) -rw-r r 1 adam adam :25 adam.couch po usunięciu dokumentów: 0 dokumentów -rw-r r 1 adam adam :27 adam.couch po kompresji (compaction) -rw-r r 1 adam adam :29 adam.couch

14 Futon administracja, replikacja, kompresja Projekt w CERN wykorzystujacy

15 Design documents MapReduce: liczba slotów PDU-s Projekt w CERN wykorzystujacy function(doc) { if (doc.doc_type == pdu && doc.slotcount) { emit(doc._id, doc.slotcount); } } function(keys, values, rereduce) { return sum(values); } incremental views: funkcje MapReduce (~ perspektywy zmaterializowane) validation functions: sprawdź wymagane pola shows functions: konwertuj dokument do wybranego formatu (np. HTML)

16 Jak Python rozmawia z? moduły biblioteki Projekt w CERN wykorzystujacy couchdb.client administracja: tworzenie bazy, usuwanie, replikacja, compaction (usuwanie poprzednich wersji dokumentów) couchdb.mapping odwzorowanie dokumentów w formacie JSON na obiekty w języku Python (uwaga na pole _rev - artyfakt) couchdb.design zarzadzanie design document (funkcje walidacji, formatowanie) couchdb.views tworzenie zapytań do bazy w formie funkcji MapReduce

17 NoSQL - nierelacyjne systemy baz danych Projekt w CERN wykorzystujacy Konfiguracja urzadze n : PDU (Power Distribution Unit)

18 Schemat danych dla konfiguracja urzadzenia <-> dokument w bazie Projekt w CERN wykorzystujacy DOCUMENT * _id * title * doc_type o hardware_model o serial_number o vendor DEVICE RACK * cooling_system_type TAPE_LIBRARY * is_active * ping_timeout TEMPERATURE_SENSOR UPS EOD o dip_address o plc_address RACK_MEMBER PDU RMS * is_active * ping_timeout DISK_ARRAY BLADE_ENCLOSURE SERVER * firmware_version * mac_address * smtp_server_name * smtp_server_port * _from_address * syslog_primary_host * syslog_secondary_host * syslog_port * _notifications_enabled * _primary_to o _secondary_to o dhcp_fqdn o autofw_updates o temp_humid_sensor_oid o outlet_power_oid o %_oid (% - can be replaced) NETWORK_DEVICE ROUTER SWITCH

19 Warsaw NoSQL User Group NoSQL - podsumowanie Specjalna czastka Warsaw NoSQL User Group CASE Co należy zrobić? ANALIZA Która bazę wybrano i dlaczego? UŻYCIE Model danych, wydajność, rozmiar danych. DOŚWIADCZENIE Moje wnioski z użycia danej bazy.

20 NoSQL - podsumowanie Warsaw NoSQL User Group NoSQL - podsumowanie Specjalna czastka bazy danych NoSQL dla wielkich zbiorów danych i specjalnych form danych (graf, częsta replikacja) teoria CAP i rozproszone bazy danych rodzaje baz NoSQL klucz-wartość dokumentowe kolumnowe wykorzystanie bazy dokumentowej bazy relacyjne wciaż użyteczne w ok. 90% przypadkach polyglot persistence - właściwa baza do danego problemu

21 Warsaw NoSQL User Group NoSQL - podsumowanie Specjalna czastka Dziękuję za uwagę