Systemy baz danych. Kompletny podręcznik. Wydanie II

Transkrypt

1

2 Idź do Spis treści Przykładowy rozdział Skorowidz Katalog książek Katalog online Zamów drukowany katalog Twój koszyk Dodaj do koszyka Cennik i informacje Zamów informacje o nowościach Zamów cennik Czytelnia Fragmenty książek online Systemy baz danych. Kompletny podręcznik. Wydanie II Autorzy: Hector Garcia-Molina, Jeffrey D. Ullman, Jennifer Widom Tłumaczenie: Tomasz Walczak ISBN: Tytuł oryginału: Database Systems: The Complete Book (2nd Edition) Format: , stron: 1048 Pierwsze tak szczegółowe, kompleksowe wprowadzenie! Trzej znani naukowcy z dziedziny IT nauczą Cię: profesjonalnego projektowania i korzystania z baz danych tworzenia i wdrażania złożonych aplikacji bazodanowych sprawnej implementacji systemów zarządzania bazami danych Z kluczowej roli, jaką bazy danych odgrywają w codziennym życiu milionów ludzi, zdajemy sobie sprawę za każdym razem, gdy wpisujemy hasło w wyszukiwarce Google, robimy zakupy w internetowej księgarni czy logujemy się do swojego konta w banku. Szybkie, bezpieczne i niezawodne przetwarzanie oraz przechowywanie ogromnych ilości informacji stało się dziś strategicznym czynnikiem funkcjonowania większości firm, organizacji i instytucji państwowych. Ten ogromny potencjał współczesnych baz danych jest dziś sumą wiedzy i technologii rozwijanych przez kilka ostatnich dziesięcioleci. Owocem tych prac jest przede wszystkim wyspecjalizowane oprogramowanie systemy zarządzania bazami danych DBMS, czyli rozbudowane narzędzia do wydajnego tworzenia dużych zbiorów informacji i zarządzania nimi. Niestety, mają one jedną zasadniczą wadę należą do najbardziej złożonych rodzajów oprogramowania! W związku z tym trzech znanych naukowców w dziedzinie IT z Uniwersytetu Stanforda. Hector Garcia-Molina, Jeffrey D. Ullman i Jennifer Widom postanowiło stworzyć pierwszy tak kompletny podręcznik, wprowadzający do systemów baz danych. Zawiera on opis najnowszych standardów bazy danych SQL 1999, SQL/PSM, SQL/CLI, JDBC, ODL oraz XML i to w znacznie szerszym zakresie niż w większości publikacji. Podręcznik został przygotowany w taki sposób, aby po jego przeczytaniu użytkowanie czy projektowanie baz danych, pisanie programów w różnych językach związanych z systemami DBMS oraz ich sprawna implementacja nie stanowiły dla Czytelnika najmniejszego problemu! Kompleksowe podejście do systemów baz danych z punktu widzenia projektanta, użytkownika i programisty Kontakt Helion SA ul. Kościuszki 1c Gliwice tel helion@helion.pl Helion

3 Spis tre ci Wst p...25 O autorach wiat systemów baz danych Ewolucja systemów baz danych Wczesne systemy zarz dzania bazami danych Relacyjne systemy baz danych Coraz mniejsze systemy Coraz wi ksze systemy Integrowanie informacji Elementy systemu zarz dzania bazami danych Polecenia w j zyku definicji danych Omówienie przetwarzania zapyta Zarz dzanie pami ci i buforem Przetwarzanie transakcji Procesor zapyta Zarys dziedziny systemów baz danych Literatura do rozdzia u I Modelowanie relacyjnych baz danych Relacyjny model danych Przegl d modeli danych Czym jest model danych? Wa ne modele danych Krótki opis modelu relacyjnego Krótki opis modelu semistrukturalnego Inne modele danych Porównanie podej do modelowania Podstawy modelu relacyjnego Atrybuty Schematy Krotki Dziedziny Równowa ne reprezentacje relacji...49

4 4 SPIS TRE CI Egzemplarze relacji Klucze relacji Przyk adowy schemat bazy danych wiczenia do podrozdzia u Definiowanie schematu relacji w j zyku SQL Relacje w SQL-u Typy danych Proste deklaracje tabel Modyfikowanie schematów relacji Warto ci domy lne Deklarowanie kluczy wiczenia do podrozdzia u Algebraiczny j zyk zapyta Dlaczego potrzebujemy specjalnego j zyka zapyta? Czym jest algebra? Przegl d algebry relacji Operacje specyficzne dla zbiorów wykonywane na relacjach Projekcja Selekcja Iloczyn kartezja ski Z czenia naturalne Z czenia warunkowe czenie operacji w celu tworzenia zapyta Nadawanie i zmienianie nazw Zale no ci mi dzy operacjami Notacja liniowa wyra e algebraicznych wiczenia do podrozdzia u Wi zy relacji Algebra relacji jako j zyk wi zów Wi zy integralno ci referencyjnej Wi zy klucza Inne przyk ady dotycz ce wi zów wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u Teoria projektowania relacyjnych baz danych Zale no ci funkcyjne Definicja zale no ci funkcyjnej Klucze relacji Nadklucze wiczenia do podrozdzia u Regu y dotycz ce zale no ci funkcyjnych Wnioskowanie na temat zale no ci funkcyjnych Regu a podzia u i czenia Trywialne zale no ci funkcyjne Obliczanie domkni cia atrybutów Dlaczego algorytm obliczania domkni dzia a? Regu a przechodnio ci Domykanie zbiorów zale no ci funkcyjnych Projekcje zale no ci funkcyjnych wiczenia do podrozdzia u

5 SPIS TRE CI Projektowanie schematów relacyjnych baz danych Anomalie Dekompozycja relacji Posta normalna Boyce a-codda Dekompozycja do BCNF wiczenia do podrozdzia u Dekompozycja dobre, z e i okropne skutki Odzyskiwanie informacji po dekompozycji Test dla z cze bezstratnych oparty na algorytmie chase Dlaczego algorytm chase dzia a? Zachowywanie zale no ci wiczenia do podrozdzia u Trzecia posta normalna Definicja trzeciej postaci normalnej Algorytm syntezy do schematów o trzeciej postaci normalnej Dlaczego algorytm syntezy do 3NF dzia a? wiczenia do podrozdzia u Zale no ci wielowarto ciowe Niezale no atrybutów i wynikaj ca z tego nadmiarowo Definicja zale no ci wielowarto ciowej Wnioskowanie na temat ZW Czwarta posta normalna Dekompozycja do czwartej postaci normalnej Zwi zki mi dzy postaciami normalnymi wiczenia do podrozdzia u Algorytm wyprowadzania ZW Domkni cie i algorytm chase Rozszerzanie algorytmu chase na ZW Dlaczego algorytm chase dzia a dla ZW? Projekcje ZW wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u Wysokopoziomowe modele baz danych Model zwi zków encji Zbiory encji Atrybuty Zwi zki Diagramy ER Egzemplarze diagramów ER Krotno w zwi zkach binarnych w modelu ER Zwi zki wieloargumentowe Role w zwi zkach Atrybuty zwi zków Przekszta canie zwi zków wieloargumentowych na binarne Podklasy w modelu ER wiczenia do podrozdzia u Zasady projektowania Wierno Unikanie nadmiarowo ci Prostota ma znaczenie...149

6 6 SPIS TRE CI Wybór odpowiednich zwi zków Wybór elementów odpowiedniego rodzaju wiczenia do podrozdzia u Wi zy w modelu ER Klucze w modelu ER Reprezentowanie kluczy w modelu ER Integralno referencyjna Wi zy stopni wiczenia do podrozdzia u S abe zbiory encji Przyczyny tworzenia s abych zbiorów encji Wymogi zwi zane ze s abymi zbiorami encji Notacja do opisu s abych zbiorów encji wiczenia do podrozdzia u Z diagramów ER na projekty relacyjne Ze zbiorów encji na relacje Ze zwi zków ER na relacje czenie relacji Przekszta canie s abych zbiorów encji wiczenia do podrozdzia u Przekszta canie struktur podklas na relacje Przekszta canie w stylu modelu ER Podej cie obiektowe Stosowanie warto ci null do czenia relacji Porównanie podej wiczenia do podrozdzia u J zyk UML Klasy w j zyku UML Klucze klas w UML-u Asocjacje Asocjacje zwrotne Klasy asocjacji Podklasy w UML-u Agregacje i kompozycje wiczenia do podrozdzia u Z diagramów UML na relacje Podstawy przekszta cania diagramów UML na relacje Z podklas w UML-u na relacje Z agregacji i kompozycji na relacje Odpowiednik s abych zbiorów encji w UML-u wiczenia do podrozdzia u J zyk ODL Deklaracje klas Atrybuty w ODL-u Zwi zki w ODL-u Zwi zki zwrotne Krotno zwi zków Typy w ODL-u Podklasy w ODL-u Deklarowanie kluczy w ODL-u wiczenia do podrozdzia u

7 SPIS TRE CI Z projektów w ODL-u na projekty relacyjne Z klas w ODL-u na relacje Atrybuty z o one w klasach Przedstawianie atrybutów warto ci w formie zbioru Reprezentowanie innych konstruktorów typów Przedstawianie zwi zków w ODL-u wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u II Programowanie relacyjnych baz danych Algebraiczne i logiczne j zyki zapyta Operacje relacyjne na wielozbiorach Dlaczego wielozbiory? Suma, cz wspólna i ró nica dla wielozbiorów Projekcje wielozbiorów Selekcja na wielozbiorach Iloczyn kartezja ski wielozbiorów Z czenia wielozbiorów wiczenia do podrozdzia u Dodatkowe operatory algebry relacji Eliminowanie powtórze Operatory agregacji Grupowanie Operator grupowania Rozszerzanie operatora projekcji Operator sortowania Z czenia zewn trzne wiczenia do podrozdzia u Logika relacji Predykaty i atomy Atomy arytmetyczne Regu y i zapytania w Datalogu Znaczenie regu Datalogu Predykaty ekstensjonalne i intensjonalne Regu y Datalogu stosowane do wielozbiorów wiczenia do podrozdzia u Algebra relacji i Datalog Operacje logiczne Projekcja Selekcja Iloczyn kartezja ski Z czenia Symulowanie w Datalogu operacji z o onych Porównanie Datalogu i algebry relacji wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u

8 8 SPIS TRE CI 6. SQL j zyk baz danych Proste zapytania w SQL-u Projekcje w SQL-u Selekcja w SQL-u Porównywanie a cuchów znaków Dopasowywanie wzorców w SQL-u Data i czas Warto ci NULL i porównania z takimi warto ciami Warto logiczna UNKNOWN Porz dkowanie danych wyj ciowych wiczenia do podrozdzia u Zapytania obejmuj ce wi cej ni jedn relacj Iloczyn kartezja ski i z czenia w SQL-u Jednoznaczne okre lanie atrybutów Zmienne krotkowe Przetwarzanie zapyta obejmuj cych wiele relacji Suma, cz wspólna i ró nica zapyta wiczenia do podrozdzia u Podzapytania Podzapytania zwracaj ce warto ci skalarne Warunki dotycz ce relacji Warunki obejmuj ce krotki Podzapytania skorelowane Podzapytania w klauzulach FROM Wyra enia ze z czeniami w SQL-u Z czenia naturalne Z czenia zewn trzne wiczenia do podrozdzia u Operacje na ca ych relacjach Eliminowanie powtórze Powtórzenia w sumach, cz ciach wspólnych i ró nicach Grupowanie i agregacja w SQL-u Operatory agregacji Grupowanie Grupowanie, agregacja i warto ci null Klauzule HAVING wiczenia do podrozdzia u Modyfikowanie bazy danych Wstawianie Usuwanie Aktualizowanie wiczenia do podrozdzia u Transakcje w SQL-u Mo liwo szeregowania operacji Atomowo Transakcje Transakcje tylko do odczytu Odczyt brudnych danych Inne poziomy izolacji wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u

9 SPIS TRE CI 9 7. Wi zy i wyzwalacze Klucze zwyk e i klucze obce Deklarowanie wi zów klucza obcego Zachowywanie integralno ci referencyjnej Odroczone sprawdzanie wi zów wiczenia do podrozdzia u Wi zy atrybutów i krotek Wi zy NOT NULL Wi zy CHECK atrybutów Wi zy CHECK krotek Porównanie wi zów krotek i atrybutów wiczenia do podrozdzia u Modyfikowanie wi zów Przypisywanie nazw wi zom Modyfikowanie wi zów tabel wiczenia do podrozdzia u Asercje Tworzenie asercji Stosowanie asercji wiczenia do podrozdzia u Wyzwalacze Wyzwalacze w SQL-u Mo liwo ci w zakresie projektowania wyzwalaczy wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u Widoki i indeksy Widoki wirtualne Deklarowanie widoków Zapytania o widoki Zmienianie nazw atrybutów wiczenia do podrozdzia u Modyfikowanie widoków Usuwanie widoku Widoki modyfikowalne Wyzwalacze INSTEAD OF dla widoków wiczenia do podrozdzia u Indeksy w SQL-u Cel stosowania indeksów Deklarowanie indeksów wiczenia do podrozdzia u Wybieranie indeksów Prosty model kosztów Wybrane przydatne indeksy Obliczanie najlepszych indeksów Automatyczne wybieranie tworzonych indeksów wiczenia do podrozdzia u Widoki zmaterializowane Przechowywanie widoku zmaterializowanego Okresowa konserwacja widoków zmaterializowanych...339

10 10 SPIS TRE CI Modyfikowanie zapyta w celu zastosowania widoków zmaterializowanych Automatyczne tworzenie widoków zmaterializowanych wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u SQL w rodowisku serwerowym Architektura trójwarstwowa Warstwa serwerów Warstwa aplikacji Warstwa bazy danych rodowisko SQL-a rodowiska Schematy Katalogi Klienty i serwery w rodowisku SQL-a Po czenia Sesje Modu y Interfejs cz cy SQL z j zykiem macierzystym Problem niezgodno ci impedancji czenie SQL-a z j zykiem macierzystym Sekcja DECLARE U ywanie zmiennych wspólnych Jednowierszowe instrukcje SELECT Kursory Modyfikowanie danych za pomoc kursora Zabezpieczanie si przed jednoczesnymi aktualizacjami Dynamiczny SQL wiczenia do podrozdzia u Procedury sk adowane Tworzenie funkcji i procedur w PSM-ie Wybrane proste formy instrukcji w PSM-ie Instrukcje rozga ziaj ce Zapytania w PSM-ie P tle w PSM-ie P tle FOR Wyj tki w PSM-ie Stosowanie funkcji i procedur PSM-a wiczenia do podrozdzia u U ywanie interfejsu poziomu wywo a Wprowadzenie do SQL/CLI Przetwarzanie instrukcji Pobieranie danych z wyników zapytania Przekazywanie parametrów do zapyta wiczenia do podrozdzia u Interfejs JDBC Wprowadzenie do JDBC Tworzenie instrukcji w JDBC Operacje na kursorach w JDBC Przekazywanie parametrów wiczenia do podrozdzia u

11 SPIS TRE CI PHP Podstawy PHP Tablice Biblioteka DB z repozytorium PEAR Tworzenie po czenia z baz danych za pomoc biblioteki DB Wykonywanie instrukcji SQL-a Operacje oparte na kursorze w PHP Dynamiczny SQL w PHP wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u Zaawansowane zagadnienia z obszaru relacyjnych baz danych Bezpiecze stwo i uwierzytelnianie u ytkowników w SQL-u Uprawnienia Tworzenie uprawnie Proces sprawdzania uprawnie Przyznawanie uprawnie Diagramy przyznanych uprawnie Odbieranie uprawnie wiczenia do podrozdzia u Rekurencja w SQL-u Definiowanie relacji rekurencyjnych w SQL-u Problematyczne wyra enia w rekurencyjnym SQL-u wiczenia do podrozdzia u Model obiektowo-relacyjny Od relacji do relacji obiektowych Relacje zagnie d one Referencje Podej cie obiektowe a obiektowo-relacyjne wiczenia do podrozdzia u Typy definiowane przez u ytkownika w SQL-u Definiowanie typów w SQL-u Deklaracje metod w typach UDT Definicje metod Deklarowanie relacji za pomoc typów UDT Referencje Tworzenie identyfikatorów obiektów dla tabel wiczenia do podrozdzia u Operacje na danych obiektowo-relacyjnych Pod anie za referencjami Dost p do komponentów krotek o typie UDT Generatory i modyfikatory Sortowanie elementów o typie UDT wiczenia do podrozdzia u Techniki OLAP OLAP i hurtownie danych Aplikacje OLAP Wielowymiarowe uj cie danych w aplikacjach OLAP Schemat gwiazdy Podzia i wycinki wiczenia do podrozdzia u

12 12 SPIS TRE CI Kostki danych Operator kostki (CUBE) Operator kostki w SQL-u wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u III Modelowanie i programowanie danych semistrukturalnych Semistrukturalny model danych Dane semistrukturalne Uzasadnienie powstania modelu danych semistrukturalnych Reprezentowanie danych semistrukturalnych Integrowanie informacji za pomoc danych semistrukturalnych wiczenia do podrozdzia u XML Znaczniki semantyczne XML ze schematem i bez niego Poprawny sk adniowo XML Atrybuty Atrybuty cz ce elementy Przestrzenie nazw XML i bazy danych wiczenia do podrozdzia u Definicje typów dokumentu Forma definicji DTD Korzystanie z definicji DTD Listy atrybutów Identyfikatory i referencje wiczenia do podrozdzia u XML Schema Struktura dokumentów XML Schema Elementy Typy z o one Atrybuty Typy proste z ograniczeniami Klucze w XML Schema Klucze obce w dokumentach XML Schema wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u J zyki programowania dla formatu XML XPath Model danych w j zyku XPath W z y dokumentu Wyra enia XPath Wzgl dne wyra enia XPath Atrybuty w wyra eniach XPath Osie Kontekst wyra e Symbole wieloznaczne...478

13 SPIS TRE CI Warunki w wyra eniach XPath wiczenia do podrozdzia u J zyk XQuery Podstawy j zyka XQuery Wyra enia FLWR Zast powanie zmiennych ich warto ciami Z czenia w XQuery Operatory porównywania w XQuery Eliminowanie powtórze Kwantyfikatory w XQuery Agregacje Rozga zianie w wyra eniach XQuery Sortowanie wyników zapytania wiczenia do podrozdzia u J zyk XSLT Podstawy j zyka XSLT Szablony Pobieranie warto ci z danych w formacie XML Rekurencyjne stosowanie szablonów Iteracje w XSLT Instrukcje warunkowe w XSLT wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u IV Implementowanie systemów baz danych Zarz dzanie pami ci drugiego stopnia Hierarchia pami ci Hierarchia pami ci Transfer danych mi dzy poziomami Pami nietrwa a i trwa a Pami wirtualna wiczenia do podrozdzia u Dyski Mechanika dysków Kontroler dysku Cechy operacji dost pu do dysku wiczenia do podrozdzia u Przyspieszanie dost pu do pami ci drugiego stopnia Model przetwarzania oparty na wej ciu-wyj ciu Porz dkowanie danych wed ug cylindrów U ywanie wielu dysków Tworzenie dysków lustrzanych Szeregowanie operacji dyskowych i algorytm windy Wst pne pobieranie i buforowanie na du skal wiczenia do podrozdzia u Problemy z dyskami Nieregularne b dy Sumy kontrolne Pami stabilna...524

14 14 SPIS TRE CI Mo liwo ci obs ugi b dów w pami ci stabilnej Przywracanie danych po awarii dysku Tworzenie kopii lustrzanych jako technika zapewniania nadmiarowo ci Bloki parzysto ci Usprawnienie RAID Obs uga awarii kilku dysków wiczenia do podrozdzia u Porz dkowanie danych na dysku Rekordy o sta ej d ugo ci Umieszczanie rekordów o sta ej d ugo ci w blokach wiczenia do podrozdzia u Przedstawianie adresów bloków i rekordów Adresy w systemach klient-serwer Adresy logiczne i ustrukturyzowane Przemiana wska ników Zapisywanie bloków z powrotem na dysku Rekordy i bloki przyklejone wiczenia do podrozdzia u Dane i rekordy o zmiennej d ugo ci Rekordy o polach o zmiennej d ugo ci Rekordy z powtarzaj cymi si polami Rekordy o zmiennym formacie Rekordy, które nie mieszcz si w bloku Obiekty BLOB Zapisywanie kolumn wiczenia do podrozdzia u Modyfikowanie rekordów Wstawianie Usuwanie Aktualizacje wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u Struktury indeksów Podstawy struktur indeksów Pliki sekwencyjne Indeksy g ste Indeksy rzadkie Wiele poziomów indeksu Indeksy pomocnicze Zastosowania indeksów pomocniczych Poziom po redni w indeksach pomocniczych Pobieranie dokumentów i indeksy odwrócone wiczenia do podrozdzia u Drzewa zbalansowane Struktura drzew zbalansowanych Zastosowania drzew zbalansowanych Wyszukiwanie w drzewach zbalansowanych Zapytania zakresowe Wstawianie elementów do drzew zbalansowanych Usuwanie elementów z drzew zbalansowanych...579

15 SPIS TRE CI Wydajno drzew zbalansowanych wiczenia do podrozdzia u Tablice z haszowaniem Tablice z haszowaniem w pami ci drugiego stopnia Wstawianie elementów do tablicy z haszowaniem Usuwanie elementów z tablicy z haszowaniem Wydajno indeksów opartych na tablicy z haszowaniem Tablice z haszowaniem rozszerzalnym Wstawianie do tablic z haszowaniem rozszerzalnym Tablice z haszowaniem liniowym Wstawianie do tablic z haszowaniem liniowym wiczenia do podrozdzia u Indeksy wielowymiarowe Zastosowania indeksów wielowymiarowych Wykonywanie zapyta zakresowych za pomoc tradycyjnych indeksów Wykonywanie zapyta o najbli szego s siada z wykorzystaniem tradycyjnych indeksów Przegl d struktur wielowymiarowych indeksów Struktury haszuj ce na wielowymiarowe dane Pliki siatki Wyszukiwanie w pliku siatki Wstawianie danych do plików siatki Wydajno plików siatki Podzielone funkcje haszuj ce Porównanie plików siatki i haszowania podzielonego wiczenia do podrozdzia u Struktury drzewiaste dla danych wielowymiarowych Indeksy na wielu kluczach Wydajno indeksów na wielu kluczach Drzewa kd Operacje na drzewach kd Przystosowywanie drzew kd do pami ci drugiego stopnia Drzewa czwórkowe R-drzewa Operacje na r-drzewach wiczenia do podrozdzia u Indeksy bitmapowe Uzasadnienie stosowania indeksów bitmapowych Bitmapy skompresowane Operacje na wektorach bitowych w postaci kodów d ugo ci serii Zarz dzanie indeksami bitmapowymi wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u Wykonywanie zapyta Wprowadzenie do operatorów z fizycznego planu zapytania Skanowanie tabel Sortowanie w trakcie skanowania tabel Model oblicze dla operatorów fizycznych Parametry do pomiaru kosztów Koszty operacji wej cia-wyj cia dla operatorów skanowania Iteratory do implementowania operatorów fizycznych...631

16 16 SPIS TRE CI Algorytmy jednoprzebiegowe Algorytmy jednoprzebiegowe dla operacji krotkowych Algorytmy jednoprzebiegowe dla jednoargumentowych operacji na ca ych relacjach Algorytmy jednoprzebiegowe dla operacji dwuargumentowych wiczenia do podrozdzia u Z czenia zagnie d one Krotkowe z czenia zagnie d one Iterator dla krotkowych z cze zagnie d onych Algorytm z czenia zagnie d onego opartego na blokach Analiza z cze zagnie d onych Przegl d opisanych wcze niej algorytmów wiczenia do podrozdzia u Algorytmy dwuprzebiegowe oparte na sortowaniu Dwuetapowe wielo cie kowe sortowanie przez scalanie Eliminowanie powtórze za pomoc sortowania Grupowanie i agregacja z wykorzystaniem sortowania Algorytm obliczania sumy oparty na sortowaniu Obliczanie za pomoc sortowania cz ci wspólnej i ró nicy Prosty algorytm z czenia oparty na sortowaniu Analiza prostego z czenia przez sortowanie Wydajniejsze z czenie przez sortowanie Omówienie algorytmów opartych na sortowaniu wiczenia do podrozdzia u Dwuprzebiegowe algorytmy oparte na haszowaniu Podzia relacji przez haszowanie Algorytm usuwania powtórze oparty na haszowaniu Grupowanie i agregacja oparte na haszowaniu Suma, cz wspólna i ró nica oparte na haszowaniu Algorytm z czenia przez haszowanie Zmniejszanie liczby dyskowych operacji wej cia-wyj cia Przegl d algorytmów opartych na haszowaniu wiczenia do podrozdzia u Algorytmy oparte na indeksach Indeksy klastruj ce i nieklastruj ce Selekcja oparta na indeksie Z czenie za pomoc indeksu Z czenia z wykorzystaniem posortowanego indeksu wiczenia do podrozdzia u Zarz dzanie buforem Architektura mened era buforów Strategie zarz dzania buforami Zwi zki mi dzy fizycznym operatorem selekcji a zarz dzaniem buforami wiczenia do podrozdzia u Algorytmy o wi cej ni dwóch przebiegach Wieloprzebiegowe algorytmy oparte na sortowaniu Wydajno wieloprzebiegowych algorytmów opartych na sortowaniu Wieloprzebiegowe algorytmy oparte na haszowaniu Wydajno wieloprzebiegowych algorytmów opartych na haszowaniu wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u

17 SPIS TRE CI Kompilator zapyta Parsowanie i przetwarzanie wst pne Analiza sk adni i drzewa wyprowadzenia Gramatyka prostego podzbioru SQL-a Preprocesor Przetwarzanie wst pne zapyta obejmuj cych widoki wiczenia do podrozdzia u Prawa algebraiczne pomocne przy ulepszaniu planów zapyta Prawa przechodnio ci i czno ci Prawa obejmuj ce selekcj Przenoszenie selekcji Prawa obejmuj ce projekcj Prawa dotycz ce z cze i iloczynów Prawa obejmuj ce eliminowanie powtórze Prawa dotycz ce grupowania i agregacji wiczenia do podrozdzia u Od drzewa wyprowadzenia do logicznych planów zapyta Przekszta canie na algebr relacji Eliminowanie podzapyta z warunków Usprawnianie logicznego planu zapytania Grupowanie operatorów cznych i przechodnich wiczenia do podrozdzia u Szacowanie kosztów operacji Szacowanie wielko ci relacji po rednich Szacowanie rozmiaru po projekcji Szacowanie rozmiaru relacji po selekcji Szacowanie rozmiaru wyniku z czenia Z czenia naturalne oparte na wielu atrybutach Z czenia wielu relacji Szacowanie rozmiaru wyników innych operacji wiczenia do podrozdzia u Wprowadzenie do wyboru planu na podstawie kosztów Szacowanie parametrów zwi zanych z rozmiarem Obliczanie statystyk Heurystyki zmniejszania kosztów logicznych planów zapyta Sposoby wyliczania planów fizycznych wiczenia do podrozdzia u Okre lanie kolejno ci z cze Znaczenie lewego i prawego argumentu z czenia Drzewa z cze Lewostronnie zag bione drzewa z cze Programowanie dynamiczne przy okre laniu kolejno ci z cze i grupowaniu Programowanie dynamiczne i bardziej szczegó owe funkcje obliczania kosztów Algorytm zach anny wyboru kolejno ci z czenia wiczenia do podrozdzia u Uzupe nianie fizycznego planu zapytania Wybór metody selekcji Wybieranie metody z czenia Przekazywanie potokowe a materializacja Przekazywanie potokowe w operacjach jednoargumentowych Przekazywanie potokowe w operacjach dwuargumentowych...739

18 18 SPIS TRE CI Notacja dla fizycznych planów zapyta Porz dkowanie operacji fizycznych wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u Radzenie sobie z awariami systemu Problemy i modele z obszaru odpornych operacji Rodzaje awarii Wi cej o transakcjach Prawid owe wykonywanie transakcji Operacje podstawowe w transakcjach wiczenia do podrozdzia u Rejestrowanie z mo liwo ci wycofywania Rekordy dziennika Regu y rejestrowania z mo liwo ci wycofywania Przywracanie stanu z wykorzystaniem rejestrowania z mo liwo ci wycofywania Tworzenie punktów kontrolnych Nieblokuj ce punkty kontrolne wiczenia do podrozdzia u Rejestrowanie z mo liwo ci powtarzania Regu a rejestrowania z mo liwo ci powtarzania Przywracanie stanu przy stosowaniu rejestrowania z mo liwo ci powtarzania Tworzenie punktów kontrolnych w dzienniku z mo liwo ci powtarzania Przywracanie stanu za pomoc dziennika z mo liwo ci powtarzania z punktami kontrolnymi wiczenia do podrozdzia u Rejestrowanie z mo liwo ci wycofywania i powtarzania Regu y wycofywania i powtarzania Przywracanie stanu przy rejestrowaniu z mo liwo ci wycofywania i powtarzania Tworzenie punktów kontrolnych w dziennikach z mo liwo ci wycofywania i powtarzania wiczenia do podrozdzia u Zabezpieczanie si przed uszkodzeniem no nika Archiwum Archiwizowanie nieblokuj ce Przywracanie stanu za pomoc archiwum i dziennika wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u Sterowanie wspó bie no ci Harmonogramy szeregowe i szeregowalne Harmonogramy Harmonogramy szeregowe Harmonogramy szeregowalne Skutki semantyki dzia ania transakcji Notacja do opisu transakcji i harmonogramów wiczenia do podrozdzia u Szeregowalno konfliktowa Konflikty Grafy poprzedzania i sprawdzanie szeregowalno ci konfliktowej...791

19 SPIS TRE CI Dlaczego test z wykorzystaniem grafu poprzedzania dzia a? wiczenia do podrozdzia u Wymuszanie szeregowalno ci za pomoc blokad Blokady Program szereguj cy z funkcj blokowania Blokowanie dwufazowe Dlaczego blokowanie dwufazowe dzia a? wiczenia do podrozdzia u Systemy blokowania z kilkoma rodzajami blokad Blokady dzielone i na wy czno Macierze zgodno ci Rozwijanie blokad Blokady z aktualizacj Blokady inkrementacji wiczenia do podrozdzia u Architektura programu szereguj cego z funkcj blokowania Program szereguj cy wstawiaj cy operacje zwi zane z blokadami Tablica blokad wiczenia do podrozdzia u Hierarchie elementów bazy danych Blokady o ró nej szczegó owo ci Blokady ostrzegawcze Fantomy i poprawna obs uga wstawiania wiczenia do podrozdzia u Protokó drzewa Uzasadnienie blokowania opartego na drzewach Regu y dost pu do danych w strukturach drzewiastych Dlaczego protokó drzewa dzia a? wiczenia do podrozdzia u Sterowanie wspó bie no ci za pomoc znaczników czasu Znaczniki czasu Fizycznie niewykonalne dzia ania Problemy z brudnymi danymi Regu y szeregowania na podstawie znaczników czasu Wielowersyjne znaczniki czasu Znaczniki czasu a blokowanie wiczenia do podrozdzia u Sterowanie wspó bie no ci przez sprawdzanie poprawno ci Architektura programu szereguj cego opartego na sprawdzaniu poprawno ci Regu y sprawdzania poprawno ci Porównanie trzech mechanizmów sterowania wspó bie no ci wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u Wi cej o zarz dzaniu transakcjami Szeregowalno a mo liwo przywracania stanu Problem brudnych danych Kaskadowe ponawianie Harmonogramy odtwarzalne Harmonogramy zapobiegaj ce kaskadowemu ponawianiu...846

20 20 SPIS TRE CI Zarz dzanie ponawianiem przy u yciu blokad Zatwierdzanie grupowe Rejestrowanie logiczne Przywracanie stanu na podstawie dzienników logicznych wiczenia do podrozdzia u Zakleszczenie Wykrywanie zakleszczenia za pomoc limitów czasu Graf oczekiwania Zapobieganie zakleszczeniu przez porz dkowanie elementów Wykrywanie zakleszcze za pomoc znaczników czasu Porównanie metod zarz dzania zakleszczeniem wiczenia do podrozdzia u D ugie transakcje Problemy z d ugimi transakcjami Sagi Transakcje kompensuj ce Dlaczego transakcje kompensuj ce dzia aj? wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u Równoleg e i rozproszone bazy danych Równoleg e algorytmy dzia aj ce na relacjach Modele równoleg o ci Równoleg e wykonywanie operacji dzia aj cych krotka po krotce Algorytmy równoleg e dla operacji dzia aj cych na ca ych relacjach Wydajno algorytmów równoleg ych wiczenia do podrozdzia u System map-reduce do obs ugi równoleg o ci Model pami ci Funkcja odwzorowuj ca Funkcja redukuj ca wiczenia do podrozdzia u Rozproszone bazy danych Podzia danych Transakcje rozproszone Replikacja danych wiczenia do podrozdzia u Przetwarzanie zapyta rozproszonych Problem z czenia w rodowisku rozproszonym Redukcje za pomoc z cze cz ciowych Z czenia wielu relacji Hipergrafy acykliczne Ci gi kompletnej redukcji dla hipergrafów acyklicznych Dlaczego algorytm pe nej redukcji dzia a? wiczenia do podrozdzia u Zatwierdzanie w rodowisku rozproszonym Zapewnianie atomowo ci w rodowisku rozproszonym Dwufazowe zatwierdzanie Przywracanie stanu przy transakcjach rozproszonych wiczenia do podrozdzia u

21 SPIS TRE CI Blokowanie w rodowisku rozproszonym Scentralizowane systemy blokad Model kosztów dla algorytmów blokowania rozproszonego Blokowanie zreplikowanych elementów Blokowanie kopii podstawowej Blokady globalne oparte na blokadach lokalnych wiczenia do podrozdzia u Wyszukiwanie rozproszone w systemach P2P Sieci P2P Problem z haszowaniem rozproszonym Scentralizowane rozwi zania z obszaru haszowania rozproszonego Okr g z ci ciwami Odno niki w okr gach z ci ciwami Wyszukiwanie z wykorzystaniem tablicy podr cznej Dodawanie nowych w z ów Opuszczanie sieci przez w z y Awaria w z a wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u V Inne zagadnienia z obszaru zarz dzania du ymi zbiorami danych Integrowanie informacji Wprowadzenie do integrowania informacji Po co stosowa integrowanie informacji? Problem heterogeniczno ci Tryby integrowania informacji Federacyjne systemy baz danych Hurtownie danych Mediator wiczenia do podrozdzia u Nak adki w systemach opartych na mediatorze Szablony wzorców zapyta Generatory nak adek Filtry Inne operacje nak adki wiczenia do podrozdzia u Optymalizacja oparta na mo liwo ciach Problem ograniczonych mo liwo ci róde Notacja do opisywania mo liwo ci róde Wybór planu zapytania na podstawie mo liwo ci Do czanie optymalizacji na podstawie kosztów wiczenia do podrozdzia u Optymalizowanie zapyta mediatora Uproszczona notacja dla ozdobników Uzyskiwanie wyników podzada Algorytm a cuchowy Sumowanie widoków w mediatorze wiczenia do podrozdzia u

22 22 SPIS TRE CI Mediator lokalny w formie widoku Uzasadnienie stosowania mediatorów LAV Terminologia dotycz ca mediatorów LAV Rozszerzanie rozwi za Zawieranie si zapyta koniunkcyjnych Dlaczego test na istnienie odwzorowania zawieraj cego dzia a? Wyszukiwanie rozwi za dla zapyta mediatora Dlaczego twierdzenie LMSS jest prawdziwe? wiczenia do podrozdzia u Okre lanie encji Okre lanie, czy rekordy reprezentuj t sam encj Scalanie podobnych rekordów Przydatne cechy funkcji okre lania podobie stwa i scalania Algorytm R-Swoosh dla rekordów ICAR Dlaczego algorytm R-Swoosh dzia a? Inne sposoby okre lania encji wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u Dr enie danych Wyszukiwanie cz sto wyst puj cych zbiorów elementów Model koszyka zakupów Podstawowe definicje Regu y asocjacji Model oblicze dla cz sto wyst puj cych zbiorów elementów wiczenia do podrozdzia u Algorytmy do wyszukiwania cz sto wyst puj cych zbiorów elementów Rozk ad cz sto wyst puj cych zbiorów elementów Naiwny algorytm wyszukiwania cz stych zbiorów elementów Algorytm a-priori Implementacja algorytmu a-priori Lepsze wykorzystanie pami ci g ównej Kiedy warto stosowa algorytm PCY? Algorytm wieloetapowy wiczenia do podrozdzia u Wyszukiwanie podobnych elementów Miara podobie stwa Jaccarda Zastosowania podobie stwa Jaccarda Minhashing Minhashing i odleg o Jaccarda Dlaczego minhashing dzia a? Implementowanie minhashingu wiczenia do podrozdzia u LSH Okre lanie encji i przyk ad zastosowania LSH Zastosowanie LSH do sygnatur czenie minhashingu i LSH wiczenia do podrozdzia u

23 SPIS TRE CI Grupowanie du ych zbiorów danych Zastosowania grupowania Miary odleg o ci Grupowanie aglomeracyjne Algorytmy oparte na k- rednich Algorytm k- rednich dla du ych zbiorów danych Przetwarzanie porcji punktów z pami ci wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u Systemy baz danych i internet Architektura wyszukiwarek Komponenty wyszukiwarek Roboty internetowe Przetwarzanie zapyta w wyszukiwarkach Tworzenie rankingu stron Okre lanie wa nych stron za pomoc wska nika PageRank Intuicyjne podstawy algorytmu PageRank Rekurencyjne uj cie wska nika PageRank pierwsze podej cie Pu apki i lepe uliczki Wska nik PageRank z uwzgl dnieniem pu apek i lepych uliczek wiczenia do podrozdzia u Wska nik PageRank specyficzny dla tematu Zbiór teleportacji Obliczanie wska nika PageRank specyficznego dla tematu Spam odno nikami Wska nik PageRank specyficzny dla tematu i spam odno nikami wiczenia do podrozdzia u Strumienie danych Systemy zarz dzania strumieniami danych Zastosowania strumieni Model danych oparty na strumieniach Przekszta canie strumieni na relacje Przekszta canie relacji na strumienie wiczenia do podrozdzia u Dr enie danych w strumieniach Uzasadnienie Okre lanie liczby bitów Okre lanie liczby ró nych elementów wiczenia do podrozdzia u Podsumowanie rozdzia u Literatura do rozdzia u Skorowidz

24 15 Wykonywanie zapyta Obszerne zagadnienie przetwarzania zapyta opisano w tym i nast pnym (16.) rozdziale. Procesor zapyta to grupa komponentów systemu DBMS, które przekszta caj zapytania u ytkownika i polecenia modyfikacji danych na ci g operacji na bazie danych oraz wykonuj je. Poniewa SQL umo liwia wyra anie zapyta na bardzo wysokim poziomie, procesor zapyta musi obs ugiwa wiele szczegó ów dotycz cych wykonywania zapyta. Ponadto naiwna strategia wykonywania zapyta mo e spowodowa nieoptymalne wykorzystanie czasu. Na rysunku 15.1 przedstawiono podzia zagadnie z rozdzia ów 15. i 16. Ten rozdzia dotyczy g ównie wykonywania zapyta algorytmów manipuluj cych danymi z bazy. Skoncentrowano si na operacjach rozszerzonej algebry relacji opisanych w podrozdziale 5.2. Poniewa SQL dzia a zgodnie z modelem opartym na wielozbiorach, za o ono, e relacje to wielozbiory, dlatego u yto przeznaczonych dla nich operatorów z podrozdzia u G ówne elementy procesora zapyta Omówiono podstawowe metody wykonywania operacji algebry relacji. Metody te ró ni si podstawow strategi. G ówne podej cia to skanowanie, haszowanie, sortowanie i indeksowanie. Techniki ró ni si te za o eniami dotycz cymi ilo ci dost pnej pami ci g ównej. Niektóre algorytmy wymagaj, aby pami g ówna umo liwia a zapisanie przynajmniej jednej z relacji uwzgl dnianych w operacji. W innych przyj to, e argumenty operacji s za du e, aby mie ci y si w pami ci. Poszczególne algorytmy ró ni si kosztem i u ywanymi strukturami.

25 WYKONYWANIE ZAPYTA Wst p do kompilowania zapyta Aby wykonywaniu zapytania nada kontekst, przedstawiono bardzo krótki zarys nast pnego rozdzia u. Kompilacja zapytania dzieli si na trzy g ówne kroki pokazane na rysunku a) Parsowanie. Tworzone jest drzewo wyprowadzenia dla zapytania. b) Przepisywanie zapytania. Drzewo wyprowadzenia jest przekszta cane na wyj ciowy plan zapytania, który zwykle stanowi algebraiczn reprezentacj zapytania. Wyj ciowy plan jest nast pnie przekszta cany na równowa ny, którego wykonanie powinno zaj mniej czasu. c) Generowanie planu fizycznego. Abstrakcyjny plan zapytania z punktu b), cz sto nazywany logicznym planem zapytania, jest przekszta cany na fizyczny plan zapytania przez wybór algorytmów b d cych implementacj operatorów z planu logicznego, a tak e przez wybór kolejno ci stosowania tych operatorów. Plan fizyczny, podobnie jak efekt parsowania i plan logiczny, jest reprezentowany jako drzewo wyra enia. Plan fizyczny obejmuje te takie szczegó y jak sposób dost pu do relacji z zapytania, a tak e informacje o tym kiedy (i czy w ogóle) relacj nale y sortowa Zarys procesu kompilowania zapyta Kroki b) i c) zwi zane s z optymalizatorem zapyta i stanowi trudne aspekty kompilowania zapytania. Aby wybra najlepszy plan zapytania, trzeba ustali pewne rzeczy. (1) Która z algebraicznie równowa nych postaci zapytania prowadzi do powstania najwydajniejszego algorytmu ustalania odpowiedzi? (2) Których algorytmów nale y u y jako implementacji ka dej operacji z wybranej postaci zapytania? (3) Jak operacje powinny przekazywa dane mi dzy sob potokowo, przez bufory pami ci g ównej czy przez dysk? Ka dy wybór oparty jest na metadanych dotycz cych bazy. Typowe metadane dost pne dla optymalizatora zapyta obejmuj rozmiar ka dej relacji, statystyki w rodzaju przybli onej liczby i cz stotliwo ci wyst powania ró nych warto ci atrybutu, informacje o istnieniu okre lonych indeksów i informacje o uk adzie danych na dysku.