Hurtownie danych wykład 5

Podobne dokumenty
Przetwarzanie danych z wykorzystaniem technologii NoSQL na przykładzie serwisu Serp24

Systemy baz danych w zarządzaniu przedsiębiorstwem. W poszukiwaniu rozwiązania problemu, najbardziej pomocna jest znajomość odpowiedzi

Wprowadzenie do baz NoSQL

MongoDB. wprowadzenie. dr inż. Paweł Boiński, Politechnika Poznańska

Bazy Danych. C. J. Date, Wprowadzenie do systemów baz danych, WNT - W-wa, (seria: Klasyka Informatyki), 2000

Organizacyjnie. Prowadzący: dr Mariusz Rafało (hasło: BIG)

Projektowanie rozwiązań Big Data z wykorzystaniem Apache Hadoop & Family

BAZY DANYCH. NIERELACYJNE BAZY DANYCH NoSQL I ASOCJACYJNE STRUKTURY DANYCH. Adrian Horzyk. Akademia Górniczo-Hutnicza

Szkolenie wycofane z oferty. Apache Cassandra - modelowanie, wydajność, analiza danych

Bazy danych Wykład zerowy. P. F. Góra

Informacje wstępne Autor Zofia Kruczkiewicz Wzorce oprogramowania 4

Wprowadzenie do Hurtowni Danych

Specjalizacja magisterska Bazy danych

Narzędzia i trendy Big Data

Wykład I. Wprowadzenie do baz danych

NoSQL & relax with CouchDB

Podstawowe pojęcia dotyczące relacyjnych baz danych. mgr inż. Krzysztof Szałajko

Obiektowość BD Powtórka Czas odpowiedzi. Bazy Danych i Systemy informacyjne Wykład 14. Piotr Syga

Definicja. Not Only SQL

Alicja Marszałek Różne rodzaje baz danych

Spis treści. Przedmowa

P o d s t a w y j ę z y k a S Q L

011 ASPEKTY BAZ NOSQL. Prof. dr hab. Marek Wisła

Bazy Danych. Bazy Danych i SQL Podstawowe informacje o bazach danych. Krzysztof Regulski WIMiIP, KISiM,

Definicja bazy danych TECHNOLOGIE BAZ DANYCH. System zarządzania bazą danych (SZBD) Oczekiwania wobec SZBD. Oczekiwania wobec SZBD c.d.

Krzysztof Kadowski. PL-E3579, PL-EA0312,

Nowe technologie baz danych

PRZESTRZENNE BAZY DANYCH WYKŁAD 2

BAZY DANYCH wprowadzenie. Opracował: dr inż. Piotr Suchomski

Big Data i 5V Nowe wyzwania w świecie danych Krzysztof Goczyła

Technologia informacyjna

Bazy Danych. Bazy Danych i SQL Podstawowe informacje o bazach danych. Krzysztof Regulski WIMiIP, KISiM, regulski@metal.agh.edu.pl

Instalacja SQL Server Express. Logowanie na stronie Microsoftu

AUREA BPM Oracle. TECNA Sp. z o.o. Strona 1 z 7

Systemy GIS Systemy baz danych

NoSQL. Technologie zarządzania treścią. dr inż. Robert Perliński

Baza danych. Modele danych

Systemy baz danych. mgr inż. Sylwia Glińska

Podstawowe pakiety komputerowe wykorzystywane w zarządzaniu przedsiębiorstwem. dr Jakub Boratyński. pok. A38

Opisy efektów kształcenia dla modułu

Tworzenie aplikacji bazodanowych

Bazy danych NoSQL. wprowadzenie. Szymon Francuzik Poznań,

Model logiczny SZBD. Model fizyczny. Systemy klientserwer. Systemy rozproszone BD. No SQL

*Grafomania z. Neo4j. Praktyczne wprowadzenie do grafowej bazy danych.

Bazy danych. Plan wykładu. Rozproszona baza danych. Fragmetaryzacja. Cechy bazy rozproszonej. Replikacje (zalety) Wykład 15: Rozproszone bazy danych

Bazy danych Wprowadzenie Wykład dla IV i V roku matematyki

Pojęcie systemu baz danych

WPROWADZENIE DO BAZ DANYCH

Database Connectivity

Bazy danych 12. Bazy NoSQL. P. F. Góra

Wykład 2. Relacyjny model danych

RELACYJNE BAZY DANYCH

Relacyjne bazy danych

PHP: bazy danych, SQL, AJAX i JSON

PRZEWODNIK PO PRZEDMIOCIE

Plan. Wprowadzenie. Co to jest APEX? Wprowadzenie. Administracja obszarem roboczym

Pojęcie bazy danych. Funkcje i możliwości.

Bazy danych. Zenon Gniazdowski WWSI, ITE Andrzej Ptasznik WWSI

INFORMATYKA Pytania ogólne na egzamin dyplomowy

Wprowadzenie do Hurtowni Danych

Dokumentacja techniczna. Młodzieżowe Pośrednictwo Pracy

Programowanie internetowe

2017/2018 WGGiOS AGH. LibreOffice Base

Modelowanie hierarchicznych struktur w relacyjnych bazach danych

INTERNETOWY KURS PODSTAW IT

MongoDB w zastosowaniu w serwisach społecznościowych

Relacyjne bazy danych a XML

SQL Server i T-SQL w mgnieniu oka : opanuj język zapytań w 10 minut dziennie / Ben Forta. Gliwice, Spis treści

Rozproszone bazy danych. Robert A. Kłopotek Wydział Matematyczno-Przyrodniczy. Szkoła Nauk Ścisłych, UKSW

Oracle11g: Wprowadzenie do SQL

Podstawowe zagadnienia z zakresu baz danych

010 NOSQL. Prof. dr hab. Marek Wisła

Projektowanie: architektura baz danych

BAZY DANYCH Podstawowe pojęcia

Więzy integralności referencyjnej i klucze obce. PYTANIE NA EGZAMIN LICENCJACKI

Bazy danych - wykład wstępny

FUNKCJE SZBD. ZSE - Systemy baz danych 1

Bazy danych i usługi sieciowe

Organizacja zajęć BAZY DANYCH II WYKŁAD 1. Plan wykładu. SZBD Oracle

WPROWADZENIE DO BAZ DANYCH

SZKOLENIE: Administrator baz danych. Cel szkolenia

Dr Michał Tanaś(

Wst p Model Danych Saklowalno± + replikacja Spójno± Ograniczenia. Cassandra. Paweª Róg. Pozna«, maj 2011

PRZEWODNIK PO PRZEDMIOCIE

Ogólny plan przedmiotu. Strony WWW. Literatura BAZY DANYCH. Materiały do wykładu:

Hurtownie danych w praktyce

BAZY DANYCH WYKŁAD 5 NO-SQL DATABASE

Programowanie Komponentowe WebAPI

Technologie Informacyjne

Hbase, Hive i BigSQL

PROGRAM NAUCZANIA DLA ZAWODU TECHNIK INFORMATYK, O STRUKTURZE PRZEDMIOTOWEJ

Programowanie obiektowe

MongoDB w zastosowaniu w serwisach społecznościowych

K1A_W11, K1A_W18. Egzamin. wykonanie ćwiczenia lab., sprawdzian po zakończeniu ćwiczeń, egzamin, K1A_W11, K1A_W18 KARTA PRZEDMIOTU

Podstawy programowania. Wykład: 12. Struktury, unie, pola bitowe. dr Artur Bartoszewski -Podstawy programowania, sem 1 - WYKŁAD

Analityka danych w środowisku Hadoop. Piotr Czarnas, 5 czerwca 2017

Wrocławska Wyższa Szkoła Informatyki Stosowanej. Bazy danych. Dr hab. inż. Krzysztof Pieczarka.

Bazy danych 2. Wykład 1

CZĘŚĆ I. WARSTWA PRZETWARZANIA WSADOWEGO

PAŃSTWOWA WYŻSZA SZKOŁA ZAWODOWA W NOWYM SĄCZU SYLABUS PRZEDMIOTU. Obowiązuje od roku akademickiego: 2011/2012

Transkrypt:

Hurtownie danych wykład 5 dr Sebastian Zając SGH Warszawa 7 lutego 2017

1 Współbieżność i integracja Niezgodność impedancji 2

bazy danych Współbieżność i integracja Niezgodność impedancji Bazy relacyjne Bazy relacyjne jako oczywiste narzędzie wykorzystywane przy tworzeniu oprogramowania biznesowego i do przechowywania danych. zalety: możliwość trwałego przechowywania dużych ilości danych. Przypomnienie dwa rodzaje pamięci: pamięć główna szybka i nietrwała - brak zasilania, ograniczona pojemność magazyn wspierający obszerniejszy ale wolniejszy. Np. plik w systemie plików systemu operacyjnego, baza danych

bazy danych Współbieżność i integracja Niezgodność impedancji Współbieżność Wielu użytkowników przegląda jednocześnie te same dane oraz wykonuje modyfikację danych.czy dwie osoby mogą zarezerwować ten sam pokój? Programistycznie trudne do realizacji ale w bazach danych obsługiwane prze transakcje. Jeśli podczas wprowadzania zmian nastąpi błąd transakcja wycofa zmiany i przywróci poprzednie wartości. Integracja Systemy biznesowe zazwyczaj składają się z wielu aplikacji współpracujących w celu wykonania zadań, co wymaga zaawansowanej organizacji pracy tych aplikacji. Aplikacje wykorzystują często te same dane, a modyfikacje dokonane w jednej aplikacji muszą być widoczne także w innych. Zazwyczaj osiąga się to przez integrację poprzez współdzieloną BD.

bazy danych Współbieżność i integracja Niezgodność impedancji Ustandaryzowany model Popularność baz danych ze względu na udostępnianie w/w funkcjonalności w ustandaryzowany sposób. Mimo, iż pomiędzy systemami relacyjnymi występują różnice, podstawowy mechanizm jest taki sam. Dialekty języka SQL są bardzo podobne, transakcje obsługiwane są prawie identycznie. Niezgodność impedancji Model relacyjny organizuje dane w strukturę tabel i wierszy (relacje i krotki). Poleganie na relacjach wprowadza jednak ograniczenia: Dane w krotce muszą być proste - nie mogą zawierać listy bądź struktury zagnieżdżonej. Dla danych umieszczanych w pamięci głównej problem ten nie występuje.

bazy danych Współbieżność i integracja Niezgodność impedancji Rozwiązaniem problemu mogły być bazy obiektowe - wymaga jednak to procedur mapujących, co może prowadzić do ignorowania transakcji i spadku szybkości wykonywanych zapytań.

Klastry Po 2000 roku wiele firm internetowych zanotowało wzrosty. Strony internetowe zaczęły bardzo szczegółowo śledzić aktywność i analizować strukturę, co doprowadziło do pojawienia się olbrzymiej ilości danych: łącza, sieci społecznościowe, logi aktywności,dane mapujące. Ponadto największe strony stały się miejscami regularnie odwiedzanymi przez ogromne ilości użytkowników zwiększenie zasobów: skalowanie w górę - większa pamięć, dysk, procesor - wzrost kosztów! skalowanie w bok - wykorzystanie wielu słabszych maszyn w klastrze. bazy relacyjne nie są zaprojektowane do pracy w klastrach!!!

Bazy na klastrach Google i Amazon - pierwsze prace nad systemami bazodanowymi działającymi na klastrach (BigTable i Dynamo). Baza prawie NoSQL Termin NoSQL pojawił się po raz pierwszy w latach 90 jako nazwa bazy relacyjnej open source, której twórcą był Carlo Strozzi (Strozzi NoSQL) - dane w formie plików ASCII - krotka = linia oddzielona znakami tabulacji. Brak języka SQL do obsługi (skrypty BASH). 11 czerwca 2009 San Francisco - spotkanie (użytkownicy Hadoop) zorganizowane przez Johana Oskarssona. Poszukiwanie prostej nazwy (znacznik Twittera). Nazwę NoSQL zaproponował Eric Evans.

Termin NoSQL uzyskał wielką popularność ale sama nazwa nigdy dokładnie nie opisuje zjawiska. Dotyczy otwartych, rozproszonych i nierelacyjnych baz danych: Voldemort, Cassandra, Dynomite, HBase, Hypertable, CouchDB, MongoDB. Obecnie brak ogólnej definicji (czy też organizacji, która mogłaby stworzyć taką definicję). Główne cechy Bazy mogą, ale nie muszą wykorzystywać SQL (najczęściej język podobny do SQL np. CQL - Cassandra - dokładnie jak SQL, poza miejscami, gdzie się różni. Oprogramowanie Open Source Brak modelu relacyjnego Sprawne działanie w klastrze

Model danych - model, zgodnie z którym baza danych organizuje dane. Np. Model relacyjny wizualizowany jest jako zestaw tabel. Każda tabela posiada wiersze, każdy wiersz reprezentuje encję. Encje opisywane są za pomocą kolumn, a każda kolumna zawiera pojedynczą wartość. Modele NoSQL 1 modele zorientowane na agregacje klucz wartość dokument rodzina kolumn 2 modele grafowe

Agregacje Model relacyjny Dane podzielone na krotki (wiersze). Nie można zagnieżdżać krotek wewnątrz innych krotek. Operacje = modyfikacja i zwracanie krotek. Agregacje Operacje na danych bardziej skomplikowanych niż krotka. Wygodnie myśleć jako operacje na rozbudowanych rekordach pozwalających na przechowywanie innych rekordów. Agregacja - Kolekcja obiektów, które traktowane są jako jednostka.

JSON JavaScript Object Notation W bazach NoSQL najczęściej wykorzystuje się format JSON: { id :1, nazwa : Marcin, adresplatnika :[ miasto : Warszawa, ulica : Polna, nr : 43 ] }