Hurtownie danych wykład 5

Transkrypt

1 Hurtownie danych wykład 5 dr Sebastian Zając SGH Warszawa 7 lutego 2017

2 1 Współbieżność i integracja Niezgodność impedancji 2

3 bazy danych Współbieżność i integracja Niezgodność impedancji Bazy relacyjne Bazy relacyjne jako oczywiste narzędzie wykorzystywane przy tworzeniu oprogramowania biznesowego i do przechowywania danych. zalety: możliwość trwałego przechowywania dużych ilości danych. Przypomnienie dwa rodzaje pamięci: pamięć główna szybka i nietrwała - brak zasilania, ograniczona pojemność magazyn wspierający obszerniejszy ale wolniejszy. Np. plik w systemie plików systemu operacyjnego, baza danych

4 bazy danych Współbieżność i integracja Niezgodność impedancji Współbieżność Wielu użytkowników przegląda jednocześnie te same dane oraz wykonuje modyfikację danych.czy dwie osoby mogą zarezerwować ten sam pokój? Programistycznie trudne do realizacji ale w bazach danych obsługiwane prze transakcje. Jeśli podczas wprowadzania zmian nastąpi błąd transakcja wycofa zmiany i przywróci poprzednie wartości. Integracja Systemy biznesowe zazwyczaj składają się z wielu aplikacji współpracujących w celu wykonania zadań, co wymaga zaawansowanej organizacji pracy tych aplikacji. Aplikacje wykorzystują często te same dane, a modyfikacje dokonane w jednej aplikacji muszą być widoczne także w innych. Zazwyczaj osiąga się to przez integrację poprzez współdzieloną BD.

5 bazy danych Współbieżność i integracja Niezgodność impedancji Ustandaryzowany model Popularność baz danych ze względu na udostępnianie w/w funkcjonalności w ustandaryzowany sposób. Mimo, iż pomiędzy systemami relacyjnymi występują różnice, podstawowy mechanizm jest taki sam. Dialekty języka SQL są bardzo podobne, transakcje obsługiwane są prawie identycznie. Niezgodność impedancji Model relacyjny organizuje dane w strukturę tabel i wierszy (relacje i krotki). Poleganie na relacjach wprowadza jednak ograniczenia: Dane w krotce muszą być proste - nie mogą zawierać listy bądź struktury zagnieżdżonej. Dla danych umieszczanych w pamięci głównej problem ten nie występuje.

6 bazy danych Współbieżność i integracja Niezgodność impedancji Rozwiązaniem problemu mogły być bazy obiektowe - wymaga jednak to procedur mapujących, co może prowadzić do ignorowania transakcji i spadku szybkości wykonywanych zapytań.

7 Klastry Po 2000 roku wiele firm internetowych zanotowało wzrosty. Strony internetowe zaczęły bardzo szczegółowo śledzić aktywność i analizować strukturę, co doprowadziło do pojawienia się olbrzymiej ilości danych: łącza, sieci społecznościowe, logi aktywności,dane mapujące. Ponadto największe strony stały się miejscami regularnie odwiedzanymi przez ogromne ilości użytkowników zwiększenie zasobów: skalowanie w górę - większa pamięć, dysk, procesor - wzrost kosztów! skalowanie w bok - wykorzystanie wielu słabszych maszyn w klastrze. bazy relacyjne nie są zaprojektowane do pracy w klastrach!!!

8 Bazy na klastrach Google i Amazon - pierwsze prace nad systemami bazodanowymi działającymi na klastrach (BigTable i Dynamo). Baza prawie NoSQL Termin NoSQL pojawił się po raz pierwszy w latach 90 jako nazwa bazy relacyjnej open source, której twórcą był Carlo Strozzi (Strozzi NoSQL) - dane w formie plików ASCII - krotka = linia oddzielona znakami tabulacji. Brak języka SQL do obsługi (skrypty BASH). 11 czerwca 2009 San Francisco - spotkanie (użytkownicy Hadoop) zorganizowane przez Johana Oskarssona. Poszukiwanie prostej nazwy (znacznik Twittera). Nazwę NoSQL zaproponował Eric Evans.

9 Termin NoSQL uzyskał wielką popularność ale sama nazwa nigdy dokładnie nie opisuje zjawiska. Dotyczy otwartych, rozproszonych i nierelacyjnych baz danych: Voldemort, Cassandra, Dynomite, HBase, Hypertable, CouchDB, MongoDB. Obecnie brak ogólnej definicji (czy też organizacji, która mogłaby stworzyć taką definicję). Główne cechy Bazy mogą, ale nie muszą wykorzystywać SQL (najczęściej język podobny do SQL np. CQL - Cassandra - dokładnie jak SQL, poza miejscami, gdzie się różni. Oprogramowanie Open Source Brak modelu relacyjnego Sprawne działanie w klastrze

10 Model danych - model, zgodnie z którym baza danych organizuje dane. Np. Model relacyjny wizualizowany jest jako zestaw tabel. Każda tabela posiada wiersze, każdy wiersz reprezentuje encję. Encje opisywane są za pomocą kolumn, a każda kolumna zawiera pojedynczą wartość. Modele NoSQL 1 modele zorientowane na agregacje klucz wartość dokument rodzina kolumn 2 modele grafowe

11 Agregacje Model relacyjny Dane podzielone na krotki (wiersze). Nie można zagnieżdżać krotek wewnątrz innych krotek. Operacje = modyfikacja i zwracanie krotek. Agregacje Operacje na danych bardziej skomplikowanych niż krotka. Wygodnie myśleć jako operacje na rozbudowanych rekordach pozwalających na przechowywanie innych rekordów. Agregacja - Kolekcja obiektów, które traktowane są jako jednostka.

12 JSON JavaScript Object Notation W bazach NoSQL najczęściej wykorzystuje się format JSON: { id :1, nazwa : Marcin, adresplatnika :[ miasto : Warszawa, ulica : Polna, nr : 43 ] }