Bazy danych NoSQL. Szymon Francuzik Poznań,
|
|
- Krystian Marek
- 8 lat temu
- Przeglądów:
Transkrypt
1 Bazy danych NoSQL Szymon Francuzik Poznań, Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
2 Plan prezentacji 1 Definicja 2 Motywacje 3 Klasyfikacja NoSQL 4 Amazon Dynamo Przeznaczenie Realizacja 5 Cassandra Przeznaczenie Rozpraszanie API 6 RavenDB Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
3 RDBMS Relacyjne systemy zarządzania bazami danych: relacyjny model danych Edgar Codd (IBM) 1970 język SQL transakcje ACID Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
4 Model relacyjny Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
5 ACID Atomicity (atomowość) Consistency (spójność) Isolation (izolacja) Durability (trwałość) Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
6 Definicja NoSQL Wikipedia: NoSQL jest klasą systemów zarządzania bazą danych nie pasujących do powszechnie stosowanego modelu relacyjnych baz danych: brak języka SQL (w szczególności brak operacji JOIN) nierelacyjny model danych nie musi zapewniać ACID rozproszona, odporna na awarie architektura Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
7 Wydajność atomowość spójność izolacja trwałość Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
8 Skalowalność Możliwość zwiększania wydajności systemu wraz z rosnącym zapotrzebowaniem. skalowanie wertykalne (ang. scale up) skalowanie horyzontalne (ang. scale out) sharding (partycjonowanie poziome) partycjonowanie pionowe repliki do odczytu Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
9 CAP Theorem (Brewer s conjecture) Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
10 PACELC Partition yes no Availability Consistency Latency Consistency Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
11 Alternatywa dla ACID BASE: Basically Available Soft-state Eventual consistency Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
12 Model danych relacyjny model danych nie zawsze wygodny normalizacja vs. efektywność brakujące dane trudności przy zmianie schematu danych Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
13 Motywacje Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
14 Podział ze względu na reprezentację danych klucz-wartość hierarchiczna struktura klucz-wartość ( BigTable-like ) dokumentowe grafowe Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
15 Bazy klucz-wartość przechowują pary klucz-wartość dostęp do danych jedynie po kluczu przykłady: Berkeley DB Riak Dynamo Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
16 Bazy z hierarchiczną strukturą klucz-wartość wzorowane na BigTable (Google) każdy wiersz może mieć przyporządkowany inny zestaw kolumn częściowo ustrukturalizowane przykłady: HBase Cassandra SimpleDB row-key1 columnfamily1 supercolumn1 supercolumn2 col1 col2 col1 col3... val1 val2 val3 val4... row-key2 supercolumn1 supercolumn2 columnfamily row1 supercolumn1 row2 column1 column2 supercolumn2 column3 Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
17 Bazy z hierarchiczną strukturą klucz-wartość Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
18 Dokumentowe bazy danych przechowuje dokumenty zamiast wierszy/rekordów dokument: wpis w bazie składający się z pól (nazwa-wartość) możliwość odwoływania się po polach nie będących kluczem podstawowym przykłady: CouchDB MongoDB ThruDB { imie: "Jan", nazwisko: "Kowalski", nr_indeksu: 98765, oceny: [5, 4.5, 3, 4] dzienny: true } db.students.find({nazwisko: "Kowalski"}) Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
19 Grafowe bazy danych węzły, krawędzie (łuki), własności szybki dostęp do powiązanych danych przykłady: HyperGraphDB Neo4J Trinity Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
20 Amazon Dynamo baza typu klucz-wartość stworzona do zarządzania stanem usług oferowanych przez Amazon: koszyk zakupów: dziesiątki milionów zapytań, do 3 mln transakcji zakupu dziennie sesje klientów: setki tysięcy równoległych sesji inne usługi: katalog produktów, system rekomendacji rozproszona architektura serwery rozproszone po całym świecie spójność ostateczna Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
21 Cele niezawodność (dostępność) nawet kosztem spójności skalowalność pozioma commodity hardware SLA ograniczenia na czas odpowiedzi Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
22 Dlaczego nie RDBMS dostęp do danych poprzez klucz podstawowy nie potrzeba modelu relacyjnego brak operacji odwołujących się do kilku elementów nie potrzeba transakcji RDBMS wymaga specjalistów i drogiego sprzętu ograniczona dostępność w przypadku awarii słaba skalowalność pozioma brak wsparcia dla automatycznego partycjonowania Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
23 Interfejs komunikacja po HTTP operacje: get(key) odsyła wartość oraz kontekst put(key, context, value) Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
24 Partycjonowanie danych consistent hashing (MD5 128b) Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
25 Replikacja konfigurowalna liczba replik lista preferencji sloppy quorum Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
26 Uspójnianie stanu uspójnianie przy odczycie anti-entropy hinted handoff Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
27 Wielowersyjność obiektów wersja obiektu opisywana przez zegar wektorowy: TS 1 : {(S 1,3), (S 2,5), (S 3,1)} TS 2 : {(S 1,3), (S 2,4), (S 3,2)} TS 3 : {(S 1,3), (S 2,6), (S 3,2)} przechowywanie wersji powstałych współbieżnie do czasu uspójnienia przez klienta przy odczycie klient otrzymuje wszystkie dostępne wersje obiektu zymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
28 Cassandra hierarchiczna struktura klucz wartość Facebook indeksowanie na potrzeby przeszukiwania skrzynki użytkownika setki milionów użytkowników 600+ rdzeni rozmiar indeksu: 120+ TB open source Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
29 Struktura danych przestrzeń kluczy (keyspace) rodzina kolumn (column family) zdefiniowane statycznie super kolumny (super columns) kolumny (columns) wiersz (row) pojedynczy element z przypisanymi kolumnami/super-kolumnami row-key columnfamily1 columnfamily1 supercolumn1 supercolumn2 col21 col22 col1 col2 col1 col3... val5 val6 val1 val2 val3 val4... Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
30 Reprezentacja danych klucz i wartość reprezentowana jako tablica bajtów kolumny i super-kolumny posortowane po nazwach lub czasie modyfikacji indeksowanie kluczy Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
31 Indeksowanie Adam index_by_users_interactions Marek Kasia... m100 m252 m124 m511 m Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
32 Partycjonowanie danych consistent hashing dynamiczne równoważenie obciążenia dwie strategie podziału: random partitioner order preserving partitioner Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
33 Replikacja możliwość konfigurowania liczby replik strategia rozmieszczania replik: przydział prosty świadoma topologi sieci: rack aware, datacenter aware Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
34 Kontrola poziomu spójności Zapisy: any one quorum local_quorum each_quorum all Odczyty: one quorum local_quorum each_quorum all Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
35 Uspójnianie replik uspójnianie przy odczycie anti-entropy hinted handoff Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
36 Interfejs Thrift RPC framework for cross-language service development wspierane języki: C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, OCaml gotowe biblioteki dla wybranych języków programowania Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
37 Example Code v a r c l i e n t F a c t o r y = new K e y e d C a s s a n d r a C l i e n t F a c t o r y ( new C a s s a n d r a C l i e n t P o o l F a c t o r y ( ). C r e a t e ( ), new K e y e d C a s s a n d r a C l i e n t F a c t o r y. C o n f i g ( ) ) ; v a r c l i e n t = c l i e n t F a c t o r y. Make ( new Endpoint ( " l o c a l h o s t ", ) ) ; v a r k e y s p a c e = c l i e n t. GetKeyspace ( " Keyspace1 " ) ; v a r path = new ColumnPath ( " Standard1 ", n u l l, " g r e e t i n g " ) ; k e y s p a c e. I n s e r t ( "0", path, " H e l l o World! " ) ; Column column = k e y s p a c e. GetColumn ( "0", path ) ; C o n s o l e. W r i t e L i n e ( column. Value ) ; Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
38 RavenDB dokumentowa JSON schema-less transakcje Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
39 Skalowalność replikacja sharding Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
40 Interfejs.NET Client HTTP RESTful API Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
41 .NET Client Example BlogPost p o s t = new BlogPost ( ) { T i t l e = " H e l l o RavenDB", C a t e g o r y = "RavenDB", Content = " This i s a b l o g about RavenDB", Comments = new BlogComment [ ] { new BlogComment ( ) { T i t l e=" U n r e a l i s t i c ", Content=" example1 " }, new BlogComment ( ) { T i t l e=" Nice ", Content=" example2 "}} } ; s e s s i o n. S t o r e ( p o s t ) ; s e s s i o n. SaveChanges ( ) ; Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
42 RESTful Example PUT / docs / B l o g P o s t s /1 HTTP/ 1. 1 Accept Encoding : d e f l a t e, g z i p Content Type : a p p l i c a t i o n / j s o n ; c h a r s e t=u t f 8 Host : : Content Length : 378 { " T i t l e " : " H e l l o RavenDB", " C a t e g o r y " : "RavenDB", " Content " : " This i s a b l o g about RavenDB", "Comments" : [ {" T i t l e " : " U n r e a l i s t i c ", " Content " : " This example i s u n r e a l i s t i c " }, {" T i t l e " : " Nice ", " Content " : " This example i s n i c e "} ] } Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, / 45
43 Bibliografia Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
44 Bibliografia Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
45 Bibliografia Szymon Francuzik Bazy () danych NoSQL Poznań, / 45
Bazy danych NoSQL. wprowadzenie. Szymon Francuzik Poznań,
Bazy danych NoSQL wprowadzenie Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Poznań, 16.05.2012 Szymon Francuzik szymon.francuzik@cs.put.poznan.pl Bazy () danych NoSQL Poznań, 16.05.2012 1 / 37 Plan
Bardziej szczegółowoMongoDB. wprowadzenie. dr inż. Paweł Boiński, Politechnika Poznańska
MongoDB wprowadzenie dr inż. Paweł Boiński, Politechnika Poznańska Plan Historia Podstawowe pojęcia: Dokument Kolekcja Generowanie identyfikatora Model danych Dokumenty zagnieżdżone Dokumenty z referencjami
Bardziej szczegółowoWst p Model Danych Saklowalno± + replikacja Spójno± Ograniczenia. Cassandra. Paweª Róg. Pozna«, maj 2011
Paweª Róg Pozna«, maj 2011 Agenda 1 2 3 4 5 Agenda 1 2 3 4 5 NoSQL Inne podej±cie do systemu zarz dzania danymi Dane nie wymagaj okre±lonego schematu tabelarycznego Unikaj operacji join Po co? Sªaba skalowalno±c
Bardziej szczegółowoBAZY DANYCH. NIERELACYJNE BAZY DANYCH NoSQL I ASOCJACYJNE STRUKTURY DANYCH. Adrian Horzyk. Akademia Górniczo-Hutnicza
BAZY DANYCH NIERELACYJNE BAZY DANYCH NoSQL I ASOCJACYJNE STRUKTURY DANYCH Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Katedra Automatyki
Bardziej szczegółowoNoSQL & relax with CouchDB
NoSQL & relax with PyWaw #23 8 kwiecień 2013 Agenda 1 NoSQL - nierelacyjne systemy baz danych Wprowadzenie do NoSQL Rodzaje i porównanie baz NoSQL Polyglot persistence 2 Projekt w CERN wykorzystujacy 3
Bardziej szczegółowoPrzetwarzanie danych z wykorzystaniem technologii NoSQL na przykładzie serwisu Serp24
Przetwarzanie danych z wykorzystaniem technologii NoSQL na przykładzie serwisu Serp24 Agenda Serp24 NoSQL Integracja z CMS Drupal Przetwarzanie danych Podsumowanie Serp24 Darmowe narzędzie Ułatwia planowanie
Bardziej szczegółowo*Grafomania z. Neo4j. Praktyczne wprowadzenie do grafowej bazy danych.
*Grafomania z Neo4j Praktyczne wprowadzenie do grafowej bazy danych. Jak zamodelować relacyjną bazę danych reprezentującą następujący fragment rzeczywistości: Serwis WWW opisuje pracowników różnych firm
Bardziej szczegółowoDefinicja. Not Only SQL
Definicja Not Only SQL Baza danych NoSQL to program zapewniający szybki dostęp do danych różniący się w jakiś sposób od stadardowych baz RDBMS. Baza NoSQL to szereg różnych rozwiązań nazwanych jednym określeniem.
Bardziej szczegółowoHbase, Hive i BigSQL
Hbase, Hive i BigSQL str. 1 Agenda 1. NOSQL a HBase 2. Architektura HBase 3. Demo HBase 4. Po co Hive? 5. Apache Hive 6. Demo hive 7. BigSQL 1 HBase Jest to rozproszona trwała posortowana wielowymiarowa
Bardziej szczegółowoWprowadzenie do NoSql. Maksymilian Wiesiołek
Wprowadzenie do NoSql Maksymilian Wiesiołek Agenda O mnie, ACID a CAP, wstęp do NoSql PostgreSql, Redis Hbase, MongoDb, Neo4j, Agenda Coherence, Rozwiązania hybrydowe, Na co warto zwrócić uwagę, Zagrożenia,
Bardziej szczegółowoBig Data i 5V Nowe wyzwania w świecie danych Krzysztof Goczyła
Big Data i 5V Nowe wyzwania w świecie danych Krzysztof Goczyła Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika Gdańska kris@eti.pg.gda.pl Sopot, 10.09.2014 1 O czym będzie? Co to jest Big
Bardziej szczegółowoNoSQL: Riak. dr inż. Sebastian Ernst Katedra Informatyki Stosowanej
NoSQL: Riak dr inż. Sebastian Ernst Katedra Informatyki Stosowanej Twierdzenie CAP W przypadku rozdziału węzłów (partition), możliwe jest zachowanie jednej z dwóch cech: spójności (consistency) wszystkie
Bardziej szczegółowoHurtownie danych wykład 5
Hurtownie danych wykład 5 dr Sebastian Zając SGH Warszawa 7 lutego 2017 1 Współbieżność i integracja Niezgodność impedancji 2 bazy danych Współbieżność i integracja Niezgodność impedancji Bazy relacyjne
Bardziej szczegółowoWprowadzenie do baz NoSQL
Wprowadzenie do baz NoSQL Technologie zarządzania treścią dr inż. Robert Perliński rperlinski@icis.pcz.pl Politechnika Częstochowska Instytut Informatyki Teoretycznej i Stosowanej 13 października 2016
Bardziej szczegółowoBazy danych 12. Bazy NoSQL. P. F. Góra
Bazy danych 12. Bazy NoSQL P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2019 Bazy NoSQL: Nierelacyjne bazy danych, zaprojektowane (między innymi) do tego, aby rozwiazywać problemy z dostępnościa i spójnościa
Bardziej szczegółowoPojęcie bazy danych. Funkcje i możliwości.
Pojęcie bazy danych. Funkcje i możliwości. Pojęcie bazy danych Baza danych to: zbiór informacji zapisanych według ściśle określonych reguł, w strukturach odpowiadających założonemu modelowi danych, zbiór
Bardziej szczegółowoWprowadzenie do Hurtowni Danych
Wprowadzenie do Hurtowni Danych Organizacyjnie Prowadzący: mgr. Mariusz Rafało mrafalo@sgh.waw.pl http://mariuszrafalo.pl (hasło HD2) Literatura 1. Inmon, W., Linstedt, D. (2014). Data Architecture: A
Bardziej szczegółowo(Apache) CouchDB. Krzysztof Kulewski 2008
(Apache) CouchDB Krzysztof Kulewski 2008 Czym CouchDB nie jest? Czym CouchDB nie jest? Relacyjną bazą danych Czym CouchDB nie jest? Relacyjną bazą danych Zamiennikiem dla relacyjnej bazy danych Czym CouchDB
Bardziej szczegółowoTechnologie Informacyjne
Bazy danych Szkoła Główna Służby Pożarniczej Zakład Informatyki i Łączności November 28, 2016 1 Płaskie pliki 2 Hierarchiczne bazy danych 3 Sieciowe bazy danych 4 Relacyjne bazy danych 5 Kolumnowe Bazy
Bardziej szczegółowo011 ASPEKTY BAZ NOSQL. Prof. dr hab. Marek Wisła
011 ASPEKTY BAZ NOSQL Prof. dr hab. Marek Wisła Transakcje Większość baz nierelacyjnych zaprojektowanych z myślą o skalowalności nie wspiera transakcji spełniających warunki ACID. Brak gwarancji ACID oznacza,
Bardziej szczegółowoBAZY DANYCH WYKŁAD 5 NO-SQL DATABASE
BAZY DANYCH WYKŁAD 5 NO-SQL DATABASE CO TO JEST NOSQL NoSQL obejmuje szeroką gamę różnych technologii baz danych, które zostały opracowane w odpowiedzi na wymagania stawiane w budowaniu nowoczesnych aplikacji:
Bardziej szczegółowoSzkolenie wycofane z oferty. Apache Cassandra - modelowanie, wydajność, analiza danych
Szkolenie wycofane z oferty Program szkolenia: Apache Cassandra - modelowanie, wydajność, analiza danych Informacje: Nazwa: Kod: Kategoria: Grupa docelowa: Czas trwania: Forma: Apache Cassandra - modelowanie,
Bardziej szczegółowoNierelacyjne bazy danych
Nierelacyjne bazy danych Wprowadzenie do baz danych typu NoSQL Grzegorz Gołaszewski, Wojciech Waloszek, Teresa Zawadzka, Michał Zawadzki Zasady prowadzenia przedmiotu (1) Osoby prowadzące: mgr inż. Grzegorz
Bardziej szczegółowoBazy Danych. C. J. Date, Wprowadzenie do systemów baz danych, WNT - W-wa, (seria: Klasyka Informatyki), 2000
Bazy Danych LITERATURA C. J. Date, Wprowadzenie do systemów baz danych, WNT - W-wa, (seria: Klasyka Informatyki), 2000 J. D. Ullman, Systemy baz danych, WNT - W-wa, 1998 J. D. Ullman, J. Widom, Podstawowy
Bardziej szczegółowoObiektowość BD Powtórka Czas odpowiedzi. Bazy Danych i Systemy informacyjne Wykład 14. Piotr Syga
Bazy Danych i Systemy informacyjne Wykład 14 Piotr Syga 18.01.2019 Motywacja Ograniczenia relacyjnych baz danych proste typu i struktury klucze (w tym sztuczne) relacje między tabelami uwzględniane w triggerach
Bardziej szczegółowo010 NOSQL. Prof. dr hab. Marek Wisła
010 NOSQL Prof. dr hab. Marek Wisła Problem Big Data Przetwarzanie ogromnych ilości danych w bazie relacyjnej może powodować powstanie problemów wynikających z samego modelu relacyjnego, np. łączenie ogromnych
Bardziej szczegółowoBazy danych NoSQL Część II. Maciej Zakrzewicz Politechnika Poznańska, Instytut Informatyki,
Bazy danych NoSQL Część II Maciej Zakrzewicz Politechnika Poznańska, Instytut Informatyki, http://zakrzewicz.pl 1 Apache Cassandra Rozproszony, zdecentralizowany, kolumnowy (columnoriented) system bazy
Bardziej szczegółowoOrganizacyjnie. Prowadzący: dr Mariusz Rafało (hasło: BIG)
Big Data Organizacyjnie Prowadzący: dr Mariusz Rafało mrafalo@sgh.waw.pl http://mariuszrafalo.pl (hasło: BIG) Automatyzacja Automatyzacja przetwarzania: Apache NiFi Źródło: nifi.apache.org 4 Automatyzacja
Bardziej szczegółowoCZĘŚĆ I. WARSTWA PRZETWARZANIA WSADOWEGO
Spis treści Przedmowa Podziękowania O książce Rozdział 1. Nowy paradygmat dla Big Data 1.1. Zawartość książki 1.2. Skalowanie tradycyjnej bazy danych 1.2.1. Skalowanie za pomocą kolejki 1.2.2. Skalowanie
Bardziej szczegółowoProjektowanie rozwiązań Big Data z wykorzystaniem Apache Hadoop & Family
Kod szkolenia: Tytuł szkolenia: HADOOP Projektowanie rozwiązań Big Data z wykorzystaniem Apache Hadoop & Family Dni: 5 Opis: Adresaci szkolenia: Szkolenie jest adresowane do programistów, architektów oraz
Bardziej szczegółowoRozdział 1 Wprowadzenie do baz danych. (c) Instytut Informatyki Politechniki Poznańskiej 1
Rozdział 1 Wprowadzenie do baz danych 1 Model danych 2 Funkcje systemu zarządzania bazą danych Wymagania spójność bazy danych po awarii trwałość danych wielodostęp poufność danych wydajność rozproszenie
Bardziej szczegółowoArchitektura Doświadczenia i wnioski. Amazon Dynamo. Tomasz Klukowski 2.04.2009
2.04.2009 Opis problemu Decyzje podjęte przez twórców Dynamo Plan prezentacji 1 Wstęp Opis problemu Decyzje podjęte przez twórców Dynamo 2 3 Opis problemu Decyzje podjęte przez twórców Dynamo Lista życzeń
Bardziej szczegółowoBazy danych Wprowadzenie Wykład dla IV i V roku matematyki
Bazy danych Wprowadzenie Wykład dla IV i V roku matematyki 28 lutego 2016 Literatura Podstawowy wykład z systemów baz danych, J.D.Ullman, J.Widom, wyd. WNT Systemy baz danych. Pełny wykład, H.Garcia-Molina,
Bardziej szczegółowona podstawie bazy Oracle NoSQL
na podstawie bazy Oracle NoSQL Rozproszona baza danych stworzona w oparciu o Oracle Berkeley DB Java Edition Podstawowa organizacja danych typu kluczwartość Klucz złożony z klucza głównego i podrzędnego
Bardziej szczegółowoTematy projektów Edycja 2014
Tematy projektów Edycja 2014 Robert Wrembel Poznan University of Technology Institute of Computing Science Robert.Wrembel@cs.put.poznan.pl www.cs.put.poznan.pl/rwrembel Reguły Projekty zespołowe max. 4
Bardziej szczegółowoProblemy niezawodnego przetwarzania w systemach zorientowanych na usługi
Problemy niezawodnego przetwarzania w systemach zorientowanych na usługi Jerzy Brzeziński, Anna Kobusińska, Dariusz Wawrzyniak Instytut Informatyki Politechnika Poznańska Plan prezentacji 1 Architektura
Bardziej szczegółowo1. WPROWADZENIE... 1 2. PRZEBADANE TECHNOLOGIE... 2 3. ŚRODOWISKO BADAWCZE... 3 4. ZAPISYWANIE I ODCZYTYWANIE W OBRĘBIE JEDNEJ INSTANCJI...
Tytuł dokumentu: Porównanie dokumentowych baz NoSQL na potrzeby sub- projektu agregacji danych Sygnatura projektu: POIG.01.04.00-14- 056/11, Stworzenie innowacyjnych technologii i narzędzi do budowy portali
Bardziej szczegółowoNarzędzia i trendy Big Data
Narzędzia i trendy Big Data 1 Zamiast wstępu Model relacyjny 1970: podwaliny teoretyczne modelu 1980: SQL hype 1990: upowszechnienie standardu i narzędzi Model map-reduce 1995: koncepcja przetwarzania
Bardziej szczegółowoCouchDB. Michał Nowikowski
CouchDB Michał Nowikowski Agenda Wprowadzenie do CouchDB Mój przypadek Wyniki i wnioski Dokumenty CouchDB Format JSON Pary nazwa wartość Możliwe tablice i struktury Załączniki Brak limitów na liczbę i
Bardziej szczegółowoBazy danych - wykład wstępny
Bazy danych - wykład wstępny Wykład: baza danych, modele, hierarchiczny, sieciowy, relacyjny, obiektowy, schemat logiczny, tabela, kwerenda, SQL, rekord, krotka, pole, atrybut, klucz podstawowy, relacja,
Bardziej szczegółowoSystemy rozproszone danych strukturalnych
Systemy rozproszone danych strukturalnych Seminarium Systemy Rozproszone 2010/2011 Marcin Walas 21 kwietnia 2011 NoSQL NoSQL to określenie na systemy zarządzania bazami danych, które różnią się od klasycznych
Bardziej szczegółowoWrocławska Wyższa Szkoła Informatyki Stosowanej. Bazy danych. Dr hab. inż. Krzysztof Pieczarka. Email: krzysztof.pieczarka@gmail.
Wrocławska Wyższa Szkoła Informatyki Stosowanej Bazy danych Dr hab. inż. Krzysztof Pieczarka Email: krzysztof.pieczarka@gmail.com Literatura: Connoly T., Begg C., Systemy baz danych Praktyczne metody projektowania,
Bardziej szczegółowoZaawansowany kurs języka Python
DBM, SQL 10 listopada 2011 Rodzaje baz danych Trwałe słowniki Klient-serwer SQL Bekreley DB Gnu dbm (n)dbm Firebird Sqlite Oracle MySQL PostgeSQL DB/2 Plan wykładu 1 Bazy danych DBM 2 3 4 Grafowe bazy
Bardziej szczegółowoZACHOWANIE SPÓJNOŚCI DANYCH W WYBRANYCH SYSTEMACH NOSQL
STUDIA INFORMATICA 2012 Volume 33 Number 2A (105) Dariusz R. AUGUSTYN, Piotr BAJERSKI, Robert BRZESKI Politechnika Śląska, Instytut Informatyki ZACHOWANIE SPÓJNOŚCI DANYCH W WYBRANYCH SYSTEMACH NOSQL Streszczenie.
Bardziej szczegółowoBaza danych. Modele danych
Rola baz danych Systemy informatyczne stosowane w obsłudze działalności gospodarczej pełnią funkcję polegającą na gromadzeniu i przetwarzaniu danych. Typowe operacje wykonywane na danych w systemach ewidencyjno-sprawozdawczych
Bardziej szczegółowoIwona Milczarek, Małgorzata Marcinkiewicz, Tomasz Staszewski. Poznań, 30.09.2015
Iwona Milczarek, Małgorzata Marcinkiewicz, Tomasz Staszewski Poznań, 30.09.2015 Plan Geneza Architektura Cechy Instalacja Standard SQL Transakcje i współbieżność Indeksy Administracja Splice Machince vs.
Bardziej szczegółowoBazy danych Wykład zerowy. P. F. Góra
Bazy danych Wykład zerowy P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2012 Patron? Św. Izydor z Sewilli (VI wiek), biskup, patron Internetu (sic!), stworzył pierwszy katalog Copyright c 2011-12 P.
Bardziej szczegółowoWybrane działy Informatyki Stosowanej
Wybrane działy Informatyki Stosowanej Java Enterprise Edition WebServices Serwer aplikacji GlassFish Dr hab. inż. Andrzej Czerepicki a.czerepicki@wt.pw.edu.pl http://www2.wt.pw.edu.pl/~a.czerepicki Aplikacje
Bardziej szczegółowoProjektowanie: architektura baz danych
2012 Projektowanie: architektura baz danych Paweł Sieniawski, Columb Technologies S.A. Wyzwania w projektowaniu i programowaniu e-usługi Poznań, 11 października 2012 Dobra architektura czyli jaka? Taxxo
Bardziej szczegółowoAplikacje webowe z wykorzystaniem Node.js oraz Express
Aplikacje webowe z wykorzystaniem Node.js oraz Express Adresaci szkolenia: Kurs przeznaczony jest dla programistów pragnących tworzyć skalowalne aplikacje z wykorzystaniem Node.js. Parametry szkolenia:
Bardziej szczegółowoNoSQL. Technologie zarządzania treścią. dr inż. Robert Perliński rperlinski@icis.pcz.pl
NoSQL Technologie zarządzania treścią dr inż. Robert Perliński rperlinski@icis.pcz.pl Politechnika Częstochowska Instytut Informatyki Teoretycznej i Stosowanej NoSQL 2/36 Plan wykładu 1 NoSQL 2 Model danych
Bardziej szczegółowoNowe technologie baz danych
Nowe technologie baz danych Partycjonowanie Partycjonowanie jest fizycznym podziałem danych pomiędzy różne pliki bazy danych Partycjonować można tabele i indeksy bazy danych Użytkownik bazy danych nie
Bardziej szczegółowoSeminarium Bazy Danych I. BigTable. Piotr Świgoń Uniwersytet Warszawski
Seminarium Bazy Danych I BigTable Piotr Świgoń Uniwersytet Warszawski Rzędy wielkości Miliardy URL'i i linków, wiele wersji stron Setki milionów użytkowników Tysiące zapytań na sekundę 2.7 3.3 GB rozmiar
Bardziej szczegółowoBig Data to skalowalność i prostota obsługi wielkich ilości danych!
Obsługa aplikacji, które operują na ogromnych zbiorach danych, czyli na przykład portali społecznościowych, przekracza możliwości zwykłych relacyjnych baz. Praca ze złożonymi zbiorami danych wymaga architektury
Bardziej szczegółowoBazy danych. Dr inż. Paweł Kasprowski
Plan wykładu Bazy danych Architektura systemów zarządzania bazami danych Realizacja zapytań algebra relacji Wielodostęp do danych - transakcje Dr inż. Paweł Kasprowski pawel@kasprowski.pl Aplkacja przechowująca
Bardziej szczegółowoBudowanie interfejsów do baz danych
Budowanie interfejsów do baz danych Wprowadzenie Organizacja zajęć O sobie O Projekcie Termin rozpoczęcia Tematyka (propozycje?) Narzędzia (pendrive lub hosting) 2008 Szczepan Bednarz 2 z 20 Bazy danych
Bardziej szczegółowoProjektowanie rozwiązań Big Data z wykorzystaniem Apache Hadoop & Family
Kod szkolenia: Tytuł szkolenia: HADOOP Projektowanie rozwiązań Big Data z wykorzystaniem Apache Hadoop & Family Dni: 5 Partner merytoryczny Opis: Adresaci szkolenia: Szkolenie jest adresowane do programistów,
Bardziej szczegółowoTransakcje. (c) Instytut Informatyki Politechniki Poznańskiej
ransakcje Definicja i własności transakcji, zatwierdzanie i wycofywanie, punkty bezpieczeństwa, spójność, anomalie współbieżnego dostępu do danych, poziomy izolacji transakcji, blokady, zakleszczenie Definicja
Bardziej szczegółowoWspółczesne systemy baz danych
Współczesne systemy baz danych dr hab. inż. Andrzej Czerepicki Politechnika Warszawska Wydział Transportu Zakład Systemów Informatycznych i Mechatronicznych (SIMT) 2019 Prowadzący Dr hab. inż. Andrzej
Bardziej szczegółowoWprowadzenie do Hurtowni Danych
Wprowadzenie do Hurtowni Danych BIG DATA Definicja Big Data Big Data definiowane jest jako składowanie zbiorów danych o tak dużej złożoności i ilości danych, że jest to niemożliwe przy zastosowaniu podejścia
Bardziej szczegółowoAdam Cankudis IFP UAM
W s t ę p d o r e l a c y j n y c h b a z d a n y c h Adam Cankudis IFP UAM B i b l i o g r a f i a T. Morzy i in., Bazy danych, [w:] Studia Informatyczne, Pierwszy stopie ń, http://wazniak.mimuw.edu.pl/
Bardziej szczegółowoTechnologia informacyjna
Technologia informacyjna Pracownia nr 9 (studia stacjonarne) - 05.12.2008 - Rok akademicki 2008/2009 2/16 Bazy danych - Plan zajęć Podstawowe pojęcia: baza danych, system zarządzania bazą danych tabela,
Bardziej szczegółowoWięzy integralności referencyjnej i klucze obce. PYTANIE NA EGZAMIN LICENCJACKI
Więzy integralności referencyjnej i klucze obce. PYTANIE NA EGZAMIN LICENCJACKI Relacyjny model baz danych. PYTANIE NA EGZAMIN LICENCJACKI Wszystkie wartości danych oparte są na prostych typach danych.
Bardziej szczegółowoWybrane działy Informatyki Stosowanej
Wybrane działy Informatyki Stosowanej Java Enterprise Edition. WebServices. Język XML. Serwer aplikacji GlassFish. Dr inż. Andrzej Czerepicki a.czerepicki@wt.pw.edu.pl http://www2.wt.pw.edu.pl/~a.czerepicki
Bardziej szczegółowoDefinicja bazy danych TECHNOLOGIE BAZ DANYCH. System zarządzania bazą danych (SZBD) Oczekiwania wobec SZBD. Oczekiwania wobec SZBD c.d.
TECHNOLOGIE BAZ DANYCH WYKŁAD 1 Wprowadzenie do baz danych. Normalizacja. (Wybrane materiały) Dr inż. E. Busłowska Definicja bazy danych Uporządkowany zbiór informacji, posiadający własną strukturę i wartość.
Bardziej szczegółowoBazy danych NoSQL Część III. Maciej Zakrzewicz Politechnika Poznańska, Instytut Informatyki,
Bazy danych NoSQL Część III Maciej Zakrzewicz Politechnika Poznańska, Instytut Informatyki, http://zakrzewicz.pl 1 Redis Serwer bazy danych NoSQL typu Key-Value Store Open source Przechowuje bazę danych
Bardziej szczegółowoPodstawowe pojęcia dotyczące relacyjnych baz danych. mgr inż. Krzysztof Szałajko
Podstawowe pojęcia dotyczące relacyjnych baz danych mgr inż. Krzysztof Szałajko Czym jest baza danych? Co rozumiemy przez dane? Czym jest system zarządzania bazą danych? 2 / 25 Baza danych Baza danych
Bardziej szczegółowoAdministracja bazami danych
Administracja bazami danych dr inż. Grzegorz Michalski Na podstawie wykładów dra inż. Juliusza Mikody Klient tekstowy mysql Program mysql jest prostym programem uruchamianym w konsoli shell do obsługi
Bardziej szczegółowoProjekt Fstorage. www.fstorage.pl. Łukasz Podkalicki Bartosz Kropiewnicki
Projekt Fstorage www.fstorage.pl Łukasz Podkalicki Bartosz Kropiewnicki Konspekt 1. Problemy związane ze składowaniem plików 2. Dostępne darmowe technologie 3. Opis najczęściej stosowanej technologii 4.
Bardziej szczegółowoSystemy rozproszone. na użytkownikach systemu rozproszonego wrażenie pojedynczego i zintegrowanego systemu.
Systemy rozproszone Wg Wikipedii: System rozproszony to zbiór niezależnych urządzeń (komputerów) połączonych w jedną, spójną logicznie całość. Połączenie najczęściej realizowane jest przez sieć komputerową..
Bardziej szczegółowoBaza danych. Baza danych to:
Baza danych Baza danych to: zbiór danych o określonej strukturze, zapisany na zewnętrznym nośniku (najczęściej dysku twardym komputera), mogący zaspokoić potrzeby wielu użytkowników korzystających z niego
Bardziej szczegółowoKopie bezpieczeństwa NAPRAWA BAZ DANYCH
Kopie bezpieczeństwa NAPRAWA BAZ DANYCH Sprawdzanie spójności bazy danych Jednym z podstawowych działań administratora jest zapewnienie bezpieczeństwa danych przez tworzenie ich kopii. Przed wykonaniem
Bardziej szczegółowoRozproszone bazy danych. Robert A. Kłopotek Wydział Matematyczno-Przyrodniczy. Szkoła Nauk Ścisłych, UKSW
Rozproszone bazy danych Robert A. Kłopotek r.klopotek@uksw.edu.pl Wydział Matematyczno-Przyrodniczy. Szkoła Nauk Ścisłych, UKSW Scentralizowana baza danych Dane są przechowywane w jednym węźle sieci Można
Bardziej szczegółowoBazy danych 11. Systemy rozproszone, twierdzenie CAP i bazy NoSQL. P. F. Góra
Bazy danych 11. Systemy rozproszone, twierdzenie CAP i bazy NoSQL P. F. Góra http://th-www.if.uj.edu.pl/zfs/gora/ 2018 Nowe wyzwania Sytuacja na przełomie lat dziewięćdziesiatych i dwutysięcznych: duże
Bardziej szczegółowoBazy danych i usługi sieciowe
Bazy danych i usługi sieciowe Wstęp do problematyki baz danych Paweł Daniluk Wydział Fizyki Jesień 2014 P. Daniluk (Wydział Fizyki) BDiUS w. I Jesień 2014 1 / 17 Plan wykładu 1 Bazy danych 1 Motywacja
Bardziej szczegółowoPodstawowe pakiety komputerowe wykorzystywane w zarządzaniu przedsiębiorstwem. dr Jakub Boratyński. pok. A38
Podstawowe pakiety komputerowe wykorzystywane w zarządzaniu przedsiębiorstwem zajęcia 1 dr Jakub Boratyński pok. A38 Program zajęć Bazy danych jako podstawowy element systemów informatycznych wykorzystywanych
Bardziej szczegółowoWykład V. Rzut okiem na języki programowania. Studia Podyplomowe INFORMATYKA Podstawy Informatyki
Studia Podyplomowe INFORMATYKA Podstawy Informatyki Wykład V Rzut okiem na języki programowania 1 Kompilacja vs. interpretacja KOMPILACJA Proces, który przetwarza program zapisany w języku programowania,
Bardziej szczegółowoObsługa transakcji rozproszonych Java. Marek Wojciechowski, Maciej Zakrzewicz Instytut Informatyki, Politechnika Poznańska
Obsługa transakcji rozproszonych w języku j Java Marek Wojciechowski, Maciej Zakrzewicz Instytut Informatyki, Politechnika Poznańska Plan prezentacji Transakcje i ich własności Proste transakcje w JDBC
Bardziej szczegółowoKarta (sylabus) modułu/przedmiotu Mechanika i Budowa Maszyn Studia I stopnia
Karta (sylabus) modułu/przedmiotu Mechanika i Budowa Maszyn Studia I stopnia Przedmiot: Bazy danych Rodzaj przedmiotu: Podstawowy Kod przedmiotu: MBM 1 S 0 5 64-4 _1 Rok: III Semestr: 5 Forma studiów:
Bardziej szczegółowoTworzenie aplikacji bazodanowych
Wydział Informatyki Politechnika Białostocka Studia stacjonarne Tworzenie aplikacji bazodanowych Prowadzący: pokój: E-mail: WWW: Małgorzata Krętowska, Agnieszka Oniśko 206 (Małgorzata Krętowska), 207 (Agnieszka
Bardziej szczegółowoHurtownie danych. 31 stycznia 2017
31 stycznia 2017 Definicja hurtowni danych Hurtownia danych wg Williama Inmona zbiór danych wyróżniający się następującymi cechami uporządkowany tematycznie zintegrowany zawierający wymiar czasowy nieulotny
Bardziej szczegółowoSystemy Rozproszone. Zagadnienia do egzaminu.
Systemy Rozproszone. Zagadnienia do egzaminu. 1. Definicje systemu rozproszonego i podstawowe pojęcia związane z takim systemem: węzeł, klient, serwer, peer, zasób, usługa. 2. Główne wyzwania związane
Bardziej szczegółowo77. Modelowanie bazy danych rodzaje połączeń relacyjnych, pojęcie klucza obcego.
77. Modelowanie bazy danych rodzaje połączeń relacyjnych, pojęcie klucza obcego. Przy modelowaniu bazy danych możemy wyróżnić następujące typy połączeń relacyjnych: jeden do wielu, jeden do jednego, wiele
Bardziej szczegółowoWykład XII. optymalizacja w relacyjnych bazach danych
Optymalizacja wyznaczenie spośród dopuszczalnych rozwiązań danego problemu, rozwiązania najlepszego ze względu na przyjęte kryterium jakości ( np. koszt, zysk, niezawodność ) optymalizacja w relacyjnych
Bardziej szczegółowoSystemy baz danych w zarządzaniu przedsiębiorstwem. W poszukiwaniu rozwiązania problemu, najbardziej pomocna jest znajomość odpowiedzi
Systemy baz danych w zarządzaniu przedsiębiorstwem W poszukiwaniu rozwiązania problemu, najbardziej pomocna jest znajomość odpowiedzi Proces zarządzania danymi Zarządzanie danymi obejmuje czynności: gromadzenie
Bardziej szczegółowoPERSPEKTYWY ZASTOSOWANIA BAZ DANYCH NoSQL W INTELIGENTNYCH SYSTEMACH TRANSPORTOWYCH
PRACE NAUKOWE POLITECHNIKI WARSZAWSKIEJ z. 90 Transport 2013 Andrzej Czerepicki Politechnika Warszawska, Wydział Transportu PERSPEKTYWY ZASTOSOWANIA BAZ DANYCH NoSQL W INTELIGENTNYCH SYSTEMACH TRANSPORTOWYCH
Bardziej szczegółowoWPROWADZENIE DO BAZ DANYCH
WPROWADZENIE DO BAZ DANYCH Pojęcie danych i baz danych Dane to wszystkie informacje jakie przechowujemy, aby w każdej chwili mieć do nich dostęp. Baza danych (data base) to uporządkowany zbiór danych z
Bardziej szczegółowoProgramowanie w języku Java. Wykład 13: Java Platform, Enterprise Edition (Java EE)
Programowanie w języku Java Wykład 13: Java Platform, Enterprise Edition (Java EE) Standard J2EE Programowanie w języku Java 2 J2EE - komunikacja Programowanie w języku Java 3 J2EE warstwa biznesowa Programowanie
Bardziej szczegółowoProgramowanie obiektowe
Programowanie obiektowe Wykład 13 Marcin Młotkowski 27 maja 2015 Plan wykładu Trwałość obiektów 1 Trwałość obiektów 2 Marcin Młotkowski Programowanie obiektowe 2 / 29 Trwałość (persistence) Definicja Cecha
Bardziej szczegółowoMigracja do PostgreSQL za pomocą narzędzi Enterprise DB
Migracja do PostgreSQL za pomocą narzędzi Enterprise DB Przemysław Deć Konsultant IT Linux Polska Sp. z o.o. Cele prezentacji Czym jest Enterprise DB Korzyści migracji do opensource`owej bazy danych Kompatybilność
Bardziej szczegółowoArchitektura rozproszonych magazynów danych
Big data Big data, large data cloud. Rozwiązania nastawione na zastosowanie w wielkoskalowych serwisach, np. webowych. Stosowane przez Google, Facebook, itd. Architektura rozproszonych magazynów danych
Bardziej szczegółowoProcesowanie i partycjonowanie Analysis Services od podszewki (300) Adrian Chodkowski Adrian.Chodkowski@outlook.com
Media Partners Procesowanie i partycjonowanie Analysis Services od podszewki (300) Adrian Chodkowski Adrian.Chodkowski@outlook.com Adrian Chodkowski Konsultant Business Intelligence w Jcommerce S.A Certyfikowany
Bardziej szczegółowoZSE - Systemy baz danych MODELE BAZ DANYCH. Ewolucja technologii baz danych
1 MODELE BAZ DANYCH Ewolucja technologii baz danych 2 3 Języki programowania a bazy danych 4 5 6 Model danych Model danych (ang. data base model) to zestaw pojęć do opisu świata rzeczywistego. Jest to
Bardziej szczegółowoPrzegląd grafowych baz danych. Paweł Bednarz
Przegląd grafowych baz danych Paweł Bednarz Porządek prezentacji: Wstęp Po co nam grafowe bazy danych? Reprezentacja danych, interfejsy Do jakich problemów je stosować? Porównanie grafowych baz danych
Bardziej szczegółowoIndeksy w bazach danych. Motywacje. Techniki indeksowania w eksploracji danych. Plan prezentacji. Dotychczasowe prace badawcze skupiały się na
Techniki indeksowania w eksploracji danych Maciej Zakrzewicz Instytut Informatyki Politechnika Poznańska Plan prezentacji Zastosowania indeksów w systemach baz danych Wprowadzenie do metod eksploracji
Bardziej szczegółowoSpecjalizacja magisterska Bazy danych
Specjalizacja magisterska Bazy danych Strona Katedry http://bd.pjwstk.edu.pl/katedra/ Prezentacja dostępna pod adresem: http://www.bd.pjwstk.edu.pl/bazydanych.pdf Wymagania wstępne Znajomość podstaw języka
Bardziej szczegółowoCzym jest jpalio? jpalio jpalio jpalio jpalio jpalio jpalio jpalio jpalio
Czym jest jpalio? jpalio to unikalna platforma technologiczna pozwalająca na stworzenie szeregu produktów dostosowanych do indywidualnych preferencji klienta. W naszej ofercie znajduje się m.in. system
Bardziej szczegółowoModelowanie hierarchicznych struktur w relacyjnych bazach danych
Modelowanie hierarchicznych struktur w relacyjnych bazach danych Wiktor Warmus (wiktorwarmus@gmail.com) Kamil Witecki (kamil@witecki.net.pl) 5 maja 2010 Motywacje Teoria relacyjnych baz danych Do czego
Bardziej szczegółowoINFORMATYKA Pytania ogólne na egzamin dyplomowy
INFORMATYKA Pytania ogólne na egzamin dyplomowy 1. Wyjaśnić pojęcia problem, algorytm. 2. Podać definicję złożoności czasowej. 3. Podać definicję złożoności pamięciowej. 4. Typy danych w języku C. 5. Instrukcja
Bardziej szczegółowoKrzysztof Kadowski. PL-E3579, PL-EA0312,
Krzysztof Kadowski PL-E3579, PL-EA0312, kadowski@jkk.edu.pl Bazą danych nazywamy zbiór informacji w postaci tabel oraz narzędzi stosowanych do gromadzenia, przekształcania oraz wyszukiwania danych. Baza
Bardziej szczegółowo