Krzysztof Stencel Obiektowe i półstrukturalne bazy danych

Transkrypt

1 Krzysztof Stencel Obiektowe i półstrukturalne bazy danych

2 Spis tre±ci 1 Wst p Zawarto± rozdziaªów Projekt LoXiM Strukturalne obiektowe bazy danych Relacyjny model danych Poj cia pierwotne Schemat tabel/relacji i schemat relacyjnej bazy danych Egzemplarz relacji i egzemplarz relacyjnej bazy danych Obiektowy model danych Poj cia pierwotne Warto±ci Typy danych Hierarchia typów danych Schemat struktury obiektowej bazy danych Przykªad schematu obiektowej bazy danych Egzemplarz obiektowej bazy danych Dziedziczenie struktury Warto±ci domy±lne Brak koniktów dziedziczenia wielokrotnego Klasykacja wielokrotna i dynamiczna Model zachowania Sygnatury metod Schemat zachowania Egzemplarz schematu zachowania Problem dyspozycji Podsumowanie

3 X Spis tre±ci 3 Przegl d j zyków zapyta«obiektowych baz danych NaszQL Ahoj przygodo! Zª czenie zale»ne Agregacja bez GROUP BY Wyra»enia ±cie»kowe Zmienne ±cie»kowe Dane póªstrukturalne OEM Lorel i UnQL Dane XML XML-QL Transformacje XSLT Podsumowanie Obiektowo-relacyjne bazy danych Zalety typów obiektowych Elementy obiektowo±ci w SQL: Elementy obiektowo±ci w Oracle Kolekcje Typy u»ytkownika Konstruktor Metody typu obiektowego Typ referencyjny Porównywanie warto±ci typów obiektowych Perspektywy obiektowe Rozszerzony przykªad. Baza zamówie« Lorel - j zyk póªstrukturalnych zapyta« Model danych Podstawowe zaªo»enie j zyka Równo± w pi ciu smakach Wspólne przedrostki ±cie»ek Wyra»enia ±cie»kowe Przykªad przykªadów Podsumowanie Aparat wykonawczy j zyka Lorel Przykªadowe dane Wykonywanie zapyta«w LORE Maszyna wirtualna aparatu wykonawczego LORE Scan Join Select Aggr Plan wykonania zapytania

4 Spis tre±ci XI 6.4 Indeksy V index Lindex Bindex P index T index Plan wykonania zapytania z u»yciem indeksu Zapytanie z wynikiem wielowymiarowym Konstrukcja wyniku zapytania Analiza mo»liwych planów wykonania Podsumowanie DataGuide Póªschemat danych i jego zastosowania Póªschemat w formie DataGuide Algorytm konstrukcji silnego DataGuide Przyrostowa piel gnacja silnego DataGuide Zastosowanie DataGuide w realizacji zapyta« Podsumowanie J zyki zapyta«dla danych XML Przykªadowy dokument XML Przegl d j zyków Lorel XML-QL XML-GL XSLT XQL XPath Krok lokalizacyjny Osie Predykaty Zapis skrócony Przykªady Podstawowe elementy XQuery Wyra»enia ±cie»kowe Konstruktor elementu FLWOR Instrukcje warunkowe i kwantykatory Funkcje i rekurencja Kontrola poprawno±ci typów Dwa systemy typów Schemat przykªadowego dokumentu Badanie typu Typ argumentu funkcji

5 XII Spis tre±ci Instrukcja wyboru dla typu Typy elementarne Podsumowanie Zadanie Podej±cie stosowe do j zyków zapyta« Modele skªadu obiektów Dane póªstrukturalne (model M0) Dane obiektowe, klasy (model M1) Role dynamiczne(model M2) Hermetyzacja (model M3) Stos ±rodowisk i wi zanie nazw Stos ±rodowisk Wi zanie nazw Funkcja nested J zyk zapyta«sbql Skªadnia zapyta« Stos wyników Semantyka zapyta« Operatory algebraiczne Operatory niealgebraiczne Przykªadowe zapytania w SBQL Póªmocna kontrola typów w j zykach zapyta« Mocna kontrola typów Przyczynkowo± istniej cych systemów typów Przykªad niespójno±ci w systemie typów ODMG Kolekcje Póªmocna kontrola typów Prosty czy wymy±lny system typów? Niezale»no± danych i schematy baz danych ródªa zb dnej zªo»ono±ci Koncepcja systemu kontroli typów Zewn trzny system typów Architektura trójwarstwowa Deklaracja obiektu Deklaracja podprogramu Typy nazwane Typy rozró»nione Deklaracja klasy Deklaracja interfejsu Programista systemowy Administrator Programista administracyjny Programista aplikacyjny

6 Spis tre±ci XIII Przykªadowa skªadnia zewn trznego systemu typów Schemat bazy danych i metabaza Metabaza Atrybuty wierzchoªków metabazy Korzenie, przynale»no± do klas i dziedziczenie Metabaza jako sªownik danych Role dynamiczne Hermetyzacja Podprogramy i ich parametry referencyjne Perspektywy Sygnatury Denicja sygnatur Statyczna funkcja nested Tablice decyzyjne wyprowadzania typów Operatory arytmetyczne i napisowe Operatory porównania Operatory logiczne Generyczne operatory algebraiczne Generyczne operatory niealgebraiczne Operator punktu staªego Podsumowanie Aparat statycznej kontroli typów Architektura aparatu kontroli typów Procedura statycznej kontroli typów Modykacja drzewa skªadni zapytania Wznowienie procesu kontroli typów po bª dzie Sygnatury wariantowe i rozwidlenie procesu Przykªadowa statyczna kontrola typów Przykªad dla schematu danych z dziedziczeniem Strumieniony aparat wykonawczy JLoXiM Motywacja Zaªo»enia Strumie« Rekord kontrolny Resultset Dziedzina komunikacji Relacja zgodno±ci rekordów kontrolnych Uporz dkowanie strumienia Komponenty Store Stamp GetNested RefMaterializer Merge

7 XIV Spis tre±ci HighestDened Komponenty dla operatorów algebraicznych BreakBag MakeBag Select Konstrukcja sieci wykonawczej dla zapytania Statyczne wi zanie nazw i operatorów Budowa planu sieci wykonawczej Przykªady sieci Optymalizacje sieci wykonawczej Realizacja Implementacja strumieni Scalanie komponentów Strumienie a pami wspóªdzielona Minimalizacja ilo±ci danych odczytywanych ze skªadu JLoXiM - platforma eksperymentalna Podsumowanie Uniwersalny model stanu obiektu Relacyjna baza danych a obiekty C Niezgodno± modelu danych Niezgodno± czasu wi zania Niezgodno± czasu»ycia obiektów Uniwersalny model stanu Model relacyjny Model M0/AS Model danych XML Model obiektowy j zyka C Model obiektowy j zyków Java,.NET oraz Python Podsumowanie Uniwersalny j zyk zapyta« Operatory j zyka UQL Zmiana nazwy Spªaszczanie Odwzorowanie Ewaluacja Pobieranie k-tego podobiektu Filtrowanie Zagnie»d»anie Klonowanie Produkt kartezja«ski Grupowanie Ró»nica

8 Spis tre±ci XV Transpozycja Zwijanie Przykªady odwzorowa«zapyta« Dalsze prace Literatura Indeks

9 1 Wst p Burzliwy rozwój obiektowych baz danych miaª miejsce w latach dziewi dziesi tych XX wieku. W ostatnich latach XX wieku silnie rozwijaªa si te» koncepcja póªstrukturalnych baz danych. Obecnie nadal u»ywa si obu tych rodzajów baz danych. Chocia» s one dalej rozbudowywane, jednak zajmuj raczej nisze rynkowe i nie s ju» wiod cymi technologiami. Przez ostanie 10 lat prowadziªem wykªad monograczny o takich bazach danych, a tak»e prace badawcze nad rozwojem ich koncepcji. Niniejszy tom jest zbiorem materiaªów zebranych przeze mnie w tym okresie. Mo»na go podzieli na dwie cz ±ci. Pierwsza z nich to podr cznik do prowadzonego przeze mnie wykªadu monogracznego. Druga cz ± to zbiór wyników bada«naukowych. Niektóre z przedstawionych tu zagadnie«byªy przedmiotem wcze±niejszych publikacji [BS01, BS07, Ste06]. W niniejszej ksi»ce zebraªem je wszystkie, zaktualizowaªem, rozszerzyªem, a tak»e uzupeªniªem caªkiem nowym materiaªem dydaktycznym i naukowym. Wszystko stanowi jednolit monogra obiektowych i póªstrukturalnych baz danych. 1.1 Zawarto± rozdziaªów Rozdziaªy 2-9 skªadaj si na podr cznik do nauki przedmiotu Obiektowe i póªstrukturalne bazy danych. Rozdziaª 2 zawiera informacje o obiektowym strukturalnym modelu danych. Jego celem jest m.in. przekonanie czytelnika,»e nie tylko relacyjny, ale tak»e obiektowy model danych mo»na sformalizowa. W rozdziale 3 zaproponowaªem klasykacj j zyków zapyta«dla baz obiektowych o modelach opisanych w rozdz. 2 oraz wªasny pro±ciutki referencyjny j zyk zapyta«naszql. Oba te rozdziaªy s napisanym caªkowicie od nowa i uzupeªnionym materia- ªem z [BS07]. W rozdziale 4 przedstawiªem zagadnienia zwi zane z obiektoworelacyjnym modelem danych i metodami projektowania i programowania takich baz danych. Rozdziaª ten stanowi istotnie rozszerzenie materiaªu przedstawionego w [BS01].

10 2 1 Wst p Rozdziaªy 5-7 stanowi caªkowicie nowy materiaª po±wi cony bardzo ciekawemu przedsi wzi ciu budowy systemu zarz dzania bazami danych LORE i aparatu wykonawczego j zyka zapyta«lorel. Rozdziaª 5 to omówienie tego j zyka. W rozdziale 6 przedstawiªem architektur i zasady dziaªania aparatu wykonawczego LORE. Z kolei rozdziaª 7 to prezentacja koncepcji póªschematu w formie DataGuide. W rozdziale 8 omówiªem j zyki zapyta«dla danych XML, a w szczególno- ±ci najwa»niejszy z nich XQuery, który jest ju» standardem przemysªowym. Rozdziaª ten to rozwini cie i uzupeªnienie tre±ci przedstawionych w [BS07]. Rozdziaª 9, jako ostatni w cz ±ci dydaktycznej, stanowi prezentacj architektury stosowej zaproponowanej pod koniec XX wieku przez prof. Kazimierza Subiet. W czasie dziaªania grupy roboczej OMG, która miaªa wypracowa nowy standard dla obiektowych baz danych, uznano architektur stosow za idealny punkt wyj±ciowy do budowy tego standardu. Rozdziaª 9 jest uzupeªnieniem zagadnie«omówionych w [Ste06]. Rozdziaªy to artykuªy naukowe zawieraj ce oryginalny wkªad w rozwój dziedziny baz danych. W rozdziale 10 zebraªem informacje o mojej autorskiej koncepcji póªmocnej kontroli typów pierwotnie opublikowanej w [Ste06, LSS06]. Rozdziaª 11 to oryginalna koncepcja strumieniowego aparatu wykonawczego SBQL. Pocz tkowe rozdziaªy ksi»ki zawieraj omówienie wielu ró»nych modeli danych. Rozdziaªy 12 i 13 to raport z próby zbudowania uniwersalnego modelu danych i uniwersalnego j zyka zapyta«. W szczególno±ci, uniwersalny model danych staª si podstaw do pewnych ogólnych wniosków na temat systemów odwzorowa«obiektowo-relacyjnych. 1.2 Projekt LoXiM W tym punkcie pragn opisa swoje do±wiadczenia z pewnego du»ego przedsi wzi cia programistycznego prowadzonego w ramach zaj ze studentami. Na pocz tku roku akademickiego 2005/6 rozpocz li±my budow systemu zarz - dzania baz danych zgodnie z architektur stosow (por. rozdz. 9). SBQL byª jego natywnym j zykiem zapyta«. Docelowo ów SZBD miaª obsªugiwa tak»e zapytania w innych j zykach zapyta«, takich jak SQL, OQL, Lorel i XQuery. Zapytania tych j zyków miaªy by odwzorowywane na SBQL, który odgrywaª rol asemblera. Budowanemu SZBD nadaªem nazw LoXiM, która to nazwa przegraªa w 2005 roku konkurs na miano nowej wersji systemu budowanego przez zespóª Kazimierza Subiety w PJWSTK. Zwyci sk w tamtym konkursie okazaªa si ODRA b d ca skrótem od Object Database for Rapid Application development [AHK + 08]. Nazwa LoXiM byªa wzorowana na nazwie legendarnego systemu LOQIS [Sub90a]. Sªowo LoXiM zawiera anagram skrótu XML, gdy» miaª to by system póªstrukturalny. Maªe literki o oraz i miaªy symbolizo-

11 1.2 Projekt LoXiM 3 wa obiektowo± i Internet, poniewa» w zamierzeniu system miaª by u»ywany w aplikacjach WWW. J zykiem implementacji LoXiM jest C++. Oczekiwaªem,»e studenci sami zorganizuj prace zgodnie z zasadami in»ynierii oprogramowania. Byli to przecie» studenci dwóch ostatnich lat studiów magisterskich 1. Studenci przyst pili do prac i z czasem powstaªy pierwsze zr by funkcjonalno±ci [Ole07]. Wkrótce system rozrósª si do ogromnych rozmiarów jak na przedsi wzi cie akademickie (ponad wierszy kodu). Poszczególne fragmenty stawaªy si przedmiotem licznych prac magisterskich: optymalizacja zapyta«[sit07], klasy w modelu M1 [Kac07], podsystem dzienników [Bud07, Per10], interfejs programistyczny dla Javy [Ros07], aktualizowalne perspektywy [Gry08], narz dzia do monitorowania [Kla08], uniwersalny protokóª komunikacyjny [Tab08], póªmocna kontrola typów [Hum20], indeksy [Tur08], sterownik JDBC [Mic09], narz dzia do administracji zdalnej [Kos09] oraz interfejsy i schematy zewn trzne [D b09]. Powstaªa te» witryna przedsi wzi cia loxim.mimuw.edu.pl. Niestety, z czasem okazaªo si,»e budowa tego systemu przerosªa studentów. Jako± kodu okazaªa si zbyt niska. Dawaª si we znaki brak niezb dnych narz dzi i metodyk in»ynierii oprogramowania. Nadzieja,»e studenci informatyki sami spostrzeg ten brak, a mo»e nawet w por mu zaradz, okazaªa si pªonna. Wybór C++ jako j zyka programowania te» okazaª si niefortunny. LoXiM miaª ogromne wycieki pami ci. W ci gu kilku minut przetwarzania zapyta«potraª zgubi jeden gigabajt. Podj li±my próby naprawy tej sytuacji poprzez diagnozowanie i porz dkowanie [Dop09, Tim09] oraz refaktoryzacj aparatu wykonawczego [Šo±10]. Niestety, wysiªki te nie przyniosªy rezultatów. Owszem, ograniczono wycieki pami ci i zwi kszono stabilno±, jednak nie byªo mowy o doprowadzeniu LoXiM do jako±ci pozwalaj cej nawet na beta-testowanie. Przyczyn kªopotów byªo kilka. Po pierwsze, studenci nie byli w stanie narzuci sobie i kolegom najlepszych praktyk in»ynierii oprogramowania. Po drugie, okazaªo si,»e studenci nie znaj C++ oraz technik bezpiecznego pisania programów w tym j zyku. Po trzecie, brakowaªo ci gªo±ci studenci ko«czyli prace magisterskie i opuszczali zespóª na zawsze. W trakcie prac nad poprawianiem LoXiMa kilku studentów postanowiªo napisa podobny system od nowa, ale w ±rodowisku.net. Wkrótce powstaª w C# system LoXiM# [Grz09] maj cy lepsz stabilno±. Korzystaj c z aparatu wykonawczego i skªadu danych LoXiM#, studenci zbudowali fasad do obsªugi skªadu XML [Kac08] oraz procesor zapyta«sql [Pie09]. Niestety, wkrótce LoXiM# zostaª porzucony. Przyczyn byªa silna niech studentów MIMUW do technologii rmy Microsoft. Opisuj t histori, aby osoby pragn ce prowadzi podobne przedsi wzi cia mogªy unikn podobnych potkni. Ostatecznie zdecydowaªem o zbudowaniu w Javie nowej wersji LoXiMa. Postanowiªem odgórnie narzuci metody i techniki in»ynierii oprogramowania. Byªy to kroki sªuszne, poniewa» otrzy- 1 Miaªo to miejsce przed wprowadzeniem systemu bolo«skiego.

12 4 1 Wst p many system JLoXiM okazaª si stabilny i pozbawiony wad dwóch swoich poprzedników. Zastosowanie Javy wyeliminowaªo wiele kªopotów z zarz dzaniem pami ci operacyjn. Od pocz tku te» nad kodem ¹ródªowym czuwaª osobi±cie Piotr Tabor, sªuchacz studium doktoranckiego, który wcze±niej braª udziaª w budowie LoXiM. Dla JLoXiMa wybrali±my architektur warstwow widoczn na rys. 1.1 oraz peªn wymienno± wszystkich komponentów. Realizacja nowego j zyka zapyta«wymagaªa jedynie podmiany moduªów aparatu wykonawczego wstrzykiwanych w technologii Java Spring. Wymusili±my stosowanie wielu dobrych praktyk in»ynierii oprogramowania, jak codzienna budowa, testowanie regresywne, ±ledzenie usterek, przegl dy kodu itd. Zarówno LoXiM, jak i JLoXiM byªy dla studentów doskonaª lekcj o prowadzeniu przedsi wzi programistycznych, przy czym LoXiM to przykªad negatywny (jak tego nie robi ), a JLoXiM pozytywny (jak to robi ). JLoXiM ze swoj elastyczn architektur staª si poligonem do±wiadczalnym dla bada«naukowych nad strumieniowymi aparatami wykonawczymi. Wyniki tych prac opisali±my w rozdz. 11 niniejszego tomu oraz opublikowali±my w [TS10]. Raport z implementacji tego podej±cia znajduje si w pracy magisterskiej [Kut11]. Wymienno± wszelkich moduªów JLoXiM oznaczaªa,»e mogªy powsta liczne odmienne moduªy skªadowania danych [Ada11, wi11]. Opracowano na nowo tak»e wiele standardowych komponentów SZBD: podsystem odtwarzania po awariach [Šup11], indeksy [Len11], mened»er transakcji [Chm11], kontroler wspóªbie»no±ci [Bªa10], póªmocn kontrol typów [Man10] i obiektowe interfejsy programistyczne [Dor10]. Ostateczne wyniki przedsi wzi programistycznych pod wspóln nazw LoXiM mo»na uzna za pozytywne. To fakt,»e studenci nie byli w stanie narzuci sobie sami re»imu metodologicznego pozwalaj cego budowa du»e systemy informatyczne. Gdy jednak ten re»im wprowadzono z zewn trz, studenci ch tnie si mu poddali i potrali projektowa i programowa zgodnie z reguªami naszej profesji. Mam nadziej,»e z czasem poradz sobie tak»e z narzucaniem takiego re»imu sobie i innym. Wokóª projektu LoXiM powstaªo 29 prac magisterskich i dwa artykuªy konferencyjne [TS10, DST12]. Napisano kilkaset tysi cy linii kodu. Samej bazy danych nie udaªo si szeroko spopularyzowa w»adnej wersji. Kod ¹ródªowy bazy JLoXiM posªu»yª jako przedmiot studium problemowego z in-»ynierii oprogramowania opisanego w artykule [DST12]. Dokumentacj oraz kod ¹ródªowy JLoXiM mo»na znale¹ w witrynie projektu pod adresem jloxim.mimuw.edu.pl.