PROJEKT WSPÓŁFINANSOWANY ZE ŚRODKÓW UNII EUROPEJSKIEJ W RAMACH EUROPEJSKIEGO FUNDUSZU SPOŁECZNEGO OPIS PRZEDMIOTU. Rozproszone Systemy Baz Danych

Transkrypt

1 OPIS PRZEDMIOTU Nazwa przedmiotu Rozproszone Systemy Baz Danych Kod przedmiotu Wydział Instytut/Katedra Kierunek Specjalizacja/specjalność Wydział Matematyki, Fizyki i Techniki Instytut Mechaniki i Informatyki Stosowanej informatyka Sieci i systemy rozproszone Poziom organizacyjny studiów studia pierwszego stopnia System studiów Stacjonarne / niestacjonarne Rok/semestr II 4 Tytuł i/lub stopień naukowy/tytuł zawodowy, imię i nazwisko prowadzącego/ prowadzących przedmiot Prof. dr hab. inż. Zbyszko Królikowski Dr inż. Izabela Rojek Liczba godzin dydaktycznych 30h W, 30h L / 23 W, 21 L Liczba punktów ECTS 4 Opisywana forma zajęć Wykład, laboratorium Rygor egzamin Typ przedmiotu specjalnościowy Język wykładowy język polski Przedmioty wprowadzające i wymagania wstępne Bazy danych

2 Założenia i cele przedmiotu (w formie efektów kształcenia) Celem przedmiotu jest wprowadzenie studentów w zagadnienia i technologie integracji danych. Przedmiot obejmuje przedstawienie problemu integracji danych oraz omówienie technologii hurtowni danych, systemów rozproszonych baz danych oraz systemów mediacyjnych. W ramach wykładu są omawiane zagadnienia projektowania schematów pojęciowych i logicznych hurtowni danych, modelu wielowymiarowego hurtowni danych, podstawowych zagadnień systemów rozproszonych baz danych (alokacja danych, zarządzanie współbieżnością dostępu do danych, optymalizacji zapytań w systemach rozproszonych, replikacji danych), oraz projektowania systemów mediacyjnych. W ramach laboratorium są realizowane praktycznie ćwiczenia ilustrujące materiał wykładowy dotyczący hurtowni danych i systemów rozproszonych baz danych. W ramach laboratorium zostanie wykorzystane oprogramowanie Oracle i MS SQL Server. Treści programowe przedmiotu Metody dydaktyczne Zakres obejmuje: 1. rozproszone bazy danych 2. integrację baz danych 3. systemy mediacyjne 4. hurtownie danych Wykład jest prowadzony z wykorzystaniem prezentacji w postaci slajdów wyświetlanych za pomocą projektora multimedialnego. Ponadto, prowadzący w trakcie wykładów zadaje krótkie ćwiczenia do samodzielnej realizacji. Rozwiązania są prezentowane przez studentów stymulując w ten sposób dyskusje. Laboratoria są poprzedzone wprowadzeniem do problematyki, szeroko ilustrowanym przykładami. Następnie studenci samodzielnie realizują zadania praktyczne przy komputerach, korzystając z bazy danych. Rozwiązania zadań są dyskutowane na forum grupy. Laboratoria są prowadzone w oparciu o Oracle i MS SQL Server. Forma i warunki zaliczenia przedmiotu wymagania i system oceniania Wykład: Dwa kolokwia pisemne z treści prezentowanych na wykładzie. Laboratorium: zaliczenie z oceną na podstawie praktycznego zaliczenia zagadnień przy użyciu komputera. Literatura podstawowa H. Garcia-Molina, J.D. Ullman, J. Widom, Implementacja systemów baz danych, Seria: Klasyka Informatyki, WNT, W-wa, Elmasri R., Navathe S., Wprowadzenie do systemów baz danych, Wyd. Helion, (4th Edition), 2005 Królikowski Z., Hurtownie danych logiczne i fizyczne struktury danych, Wyd. Polit. Poznańskiej, 2007

3 Wrembel R., Bębel B., Oracle - Projektowanie rozproszonych baz danych, Helion, 2003 Poe V., Klauser P., Brobst S., Tworzenie hurtowni danych, WNT, Warszawa, 2000 Elmasri R., Navathe S.: Fundamentals of Database Systems (third edition). Addison Wesley, 2000 Literatura uzupełniająca (w tym portale internetowe) Malinowski E., Zimanyi E., Advanced Data Warehouse Design: From Conventional to Spatial and Temporal Applications, Springer Verlag, 2008 Todman Ch, Projektowanie hurtowni danych. Zarządzanie kontaktami z klientami (CRM), WNT, Warszawa, 2003 Loney K., Koch G., Oracle9i: The Complete Reference. McGraw-Hill/Osborne, 2002 Loney K., Theriault M., Oracle9i DBA Handbook. McGraw- Hill/Osborne, 2002 Connolly T., Begg C., Database Systems - A Practical Approach to Design, Implementation, and Management (third edition), Addison-Wesley, 2002 Coulouris G., Dollimore J., Kindberg T., Systemy rozproszone. Podstawy i projektowanie, WNT, Warszawa, 1999 Dye C., Oracle Distributed Systems, O'Reilly & Associates, data podpis prowadzącego przedmiot/ koordynatora przedmiotu*

4 PROGRAM NAUCZANIA PRZEDMIOTU Nazwa przedmiotu Opisywana forma zajęć Liczba godzin dydaktycznych Wykład 30h / 23h Rozproszone Systemy Baz Danych Tytuł i/lub stopień naukowy/tytuł zawodowy, imię i nazwisko prowadzącego Prof. dr hab. inż. Zbyszko Królikowski, Dr inż. Izabela Rojek Szczegółowa tematyka zajęć W ramach wykładów są omawiane następujące zagadnienia: 1. Architektura systemów rozproszonych baz danych. 2. Budowa systemów rozproszonych baz danych. Problemy związane z replikacją danych. Omawiane są architektury replikacji jednokierunkowej i dwukierunkowej. Architektury i techniki replikacji danych są ilustrowane rozwiązaniami Oracle, MS SQL Server. 3. Zarządzanie transakcjami w środowiskach systemów rozproszonych baz danych. Omawiane są protokoły 2PC i 3PC zatwierdzania transakcji rozproszonych, studium przypadku awarii transakcji rozproszonej realizowane w systemie Oracle. Mechanizm transakcji może powodować zakleszczenia. Prezentowane są techniki wykrywania zakleszczeń w systemach rozproszonych baz danych. 4. Fragmentacja relacji (horyzontalna, wertykalna) 5. Zaawansowana replikacja danych (replikacja 2 kierunkowa, implementacja Oracle) 6. Problematyka alokacji danych. Podstawowe algorytmy alokacji danych w węzłach systemu rozproszonych baz danych. 7. Optymalizacja zapytań w systemach rozproszonych baz danych. Techniki optymalizacji zapytań adresujących wiele węzłów systemu rozproszonej bazy danych. 8. Metody integracji danych składowanych w źródłach rozproszonych. Systemy federacyjnych baz danych, w tym: architektura, schemat globalny a schematy eksportowe, składowe tłumaczące, przykład takiego systemu, problemy pojawiające się w trakcie korzystania z takich systemów: transakcje długotrwające, propagacja modyfikacji z poziomu globalnego na poziomy lokalne, problem spójności bazy danych na poziomie globalnym. 9. Systemy mediacyjne, w tym: problemy z integracją danych różnice w interpretacji danych pochodzących z różnych źródeł, architektura systemów mediacyjnych, sposoby przekształcania danych po wyszukaniu ich ze źródła moduł wrappera, cele i funkcje modułu mediatora danych, przykłady realizacji zapytań SQL w takim środowisku. 10. Hurtownie danych, w tym: modele przetwarzania OLTP vs. OLAP, charakterystyka tych

5 modeli przetwarzania, problemy realizacji systemów OLAP, koncepcja hurtowni danych, zalety i wady tego rozwiązania, architektura hurtowni danych. 11. Hurtownie danych cd., w tym: źródła danych ich klasyfikacja i charakterystyka, moduły monitorowania i konwersji danych, procesy ETL charakterystyka i metody implementacji, czyszczenie danych, moduł integratora. 12. Hurtownie danych cd., w tym: architektura z tematycznym i operacyjnym magazynem danych, systemy komercyjne, struktury danych w magazynie (dane elementarne, dane historyczne, dane zagregowane i meta dane). 13. Przetwarzanie analityczne w hurtowniach danych, w tym: kategorie analizowanych danych (fakty i wymiary), hierarchia atrybutów, model relacyjny OLAP vs. model MOLAP, schematy logiczne tych modeli (gwiazda, płatek śniegu, konstelacja faktów), operatory wspomagające analizę danych wielowymiarowych. 14. Systemy mobilnych baz danych, w tym: przetwarzanie mobilne i komunikacja bezprzewodowa. architektura platformy mobilnej, związek klient-siec, mobilna się ad-hoc, problemy implementacji baz danych wynikające z cech środowisk mobilnych, problemy związane z zarządzaniem danymi rozpraszanie i replikowanie danych, modele transakcyjne, przetwarzanie zapytań w środowisku mobilnym. Forma i warunki zaliczenia przedmiotu wymagania i system oceniania Literatura podstawowa Literatura uzupełniająca (w tym portale internetowe) Wykład jest zaliczany na podstawie pisemnego kolokwium. H. Garcia-Molina, J.D. Ullman, J. Widom, Implementacja systemów baz danych, Seria: Klasyka Informatyki, WNT, W-wa, Elmasri R., Navathe S., Wprowadzenie do systemów baz danych, Wyd. Helion, (4th Edition), 2005 Królikowski Z., Hurtownie danych logiczne i fizyczne struktury danych, Wyd. Polit. Poznańskiej, 2007 Wrembel R., Bębel B., Oracle - Projektowanie rozproszonych baz danych, Helion, 2003 Poe V., Klauser P., Brobst S., Tworzenie hurtowni danych, WNT, Warszawa, 2000 Elmasri R., Navathe S.: Fundamentals of Database Systems (third edition). Addison Wesley, 2000 Malinowski E., Zimanyi E., Advanced Data Warehouse Design: From Conventional to Spatial and Temporal Applications, Springer Verlag, 2008 Todman Ch, Projektowanie hurtowni danych. Zarządzanie kontaktami z klientami (CRM), WNT, Warszawa, 2003 Loney K., Koch G., Oracle9i: The Complete Reference. McGraw- Hill/Osborne, 2002 Loney K., Theriault M., Oracle9i DBA Handbook. McGraw- Hill/Osborne, 2002

6 Connolly T., Begg C., Database Systems - A Practical Approach to Design, Implementation, and Management (third edition), Addison-Wesley, 2002 Coulouris G., Dollimore J., Kindberg T., Systemy rozproszone. Podstawy i projektowanie, WNT, Warszawa, 1999 Dye C., Oracle Distributed Systems, O'Reilly & Associates, data podpis prowadzącego daną formę zajęć data podpis koordynatora przedmiotu Wykład 1 Architektura systemów rozproszonych baz danych. W ramach tego wykładu omawiane są wprowadzenie do problemu, definicje, komponenty architektury. Wykład 2 Budowa systemów rozproszonych baz danych. W ramach tego wykładu omawiane są problemy związane z replikacją danych. Omawiane są architektury replikacji jednokierunkowej i dwukierunkowej. Architektury i techniki replikacji danych są ilustrowane rozwiązaniami Oracle, MS SQL Server. Wykład 3 Zarządzanie transakcjami w środowiskach systemów rozproszonych baz danych. Omawiane są protokoły 2PC i 3PC zatwierdzania transakcji rozproszonych. Wykład zawiera ponadto studium przypadku awarii transakcji rozproszonej realizowane w systemie Oracle. Mechanizm transakcji może powodować zakleszczenia. W ramach wykładu są prezentowane techniki wykrywania zakleszczeń w systemach rozproszonych baz danych. Wykład 4 Fragmentacja relacji (horyzontalna, wertykalna). W ramach tego wykładu omawiane są typy fragmentacji. Wykład 5 Zaawansowana replikacja danych. W ramach tego wykładu omawiane są replikacja 2 kierunkowa oraz implementacja Oracle. Wykład 6 Problematyka alokacji danych. W ramach wykładu są prezentowane podstawowe algorytmy alokacji danych w węzłach systemu rozproszonych baz danych.

7 Wykład 7 Optymalizacja zapytań w systemach rozproszonych baz danych. W ramach wykładu są omawiane techniki optymalizacji zapytań adresujących wiele węzłów systemu rozproszonej bazy danych. Wykład 8 Kolokwium pisemne z rozproszonych systemów baz danych. Wykład 9 Metody integracji danych składowanych w źródłach rozproszonych. Systemy federacyjnych baz danych, w tym: architektura, schemat globalny a schematy eksportowe, składowe tłumaczące, przykład takiego systemu, problemy pojawiające się w trakcie korzystania z takich systemów: transakcje długotrwające, propagacja modyfikacji z poziomu globalnego na poziomy lokalne, problem spójności bazy danych na poziomie globalnym. Wykład 10 Systemy mediacyjne, w tym: problemy z integracją danych różnice w interpretacji danych pochodzących z różnych źródeł, architektura systemów mediacyjnych, sposoby przekształcania danych po wyszukaniu ich ze źródła moduł wrappera, cele i funkcje modułu mediatora danych, przykłady realizacji zapytań SQL w takim środowisku. Wykład 11 Hurtownie danych, w tym: modele przetwarzania OLTP vs. OLAP, charakterystyka tych modeli przetwarzania, problemy realizacji systemów OLAP, koncepcja hurtowni danych, zalety i wady tego rozwiązania, architektura hurtowni danych. Źródła danych ich klasyfikacja i charakterystyka, moduły monitorowania i konwersji danych, procesy ETL charakterystyka i metody implementacji, czyszczenie danych, moduł integratora. Wykład 12 Hurtownie danych cd., w tym: architektura z tematycznym i operacyjnym magazynem danych, systemy komercyjne, struktury danych w magazynie (dane elementarne, dane historyczne, dane zagregowane i meta dane). Wykład13 Przetwarzanie analityczne w hurtowniach danych, w tym: kategorie analizowanych danych (fakty i wymiary), hierarchia atrybutów, model relacyjny OLAP vs. model MOLAP, schematy logiczne tych modeli (gwiazda, płatek śniegu, konstelacja faktów), operatory wspomagające analizę danych wielowymiarowych. Wykład 14 Systemy mobilnych baz danych, w tym: przetwarzanie mobilne i komunikacja bezprzewodowa. architektura platformy mobilnej, związek klient-siec, mobilna się ad-hoc, problemy implementacji baz danych wynikające z cech środowisk mobilnych, problemy związane z zarządzaniem danymi rozpraszanie i replikowanie danych, modele transakcyjne, przetwarzanie zapytań w środowisku mobilnym. Wykład 15 Kolokwium pisemne z integracji danych, hurtowni danych i systemów mobilnych baz danych.

8 PROGRAM NAUCZANIA PRZEDMIOTU Nazwa przedmiotu Opisywana forma zajęć Liczba godzin dydaktycznych Laboratorium 30h / 21h Rozproszone Systemy Baz Danych Tytuł i/lub stopień naukowy/tytuł zawodowy, imię i nazwisko prowadzącego Dr inż. Izabela Rojek Szczegółowa tematyka zajęć A. Systemy rozproszonych baz danych 1. Elementy architektury systemu rozproszonych baz danych konfigurowanie usług sieciowych, łączniki bazy danych. 2. Mechanizmy replikacji danych replikacja synchroniczna - wyzwalacze, replikacja asynchroniczna - migawki, odświeżanie wielu migawek jednocześnie - grupy odświeżania. 3. Optymalizacja zapytań rozproszonych plany wykonywania zapytań, techniki optymalizacji. B. Hurtownie danych 2. Rozszerzenia SQL dla przetwarzania OLAP operatory CUBE, ROLLUP, GROUPING SETS, funkcje analityczne, przewidywanie trendów. 3. Struktury fizyczne i optymalizacja zapytań perspektywy zmaterializowane i przepisywanie zapytań, indeksy bitmapowe i bitmapowepołączeniowe. 4. Wielowymiarowy model danych budowanie wymiarów i "kostek", wypełnianie wymiarów danymi, wypełnianie kostek danymi, analiza danych, interfejs ROLAP-MOLAP. 5. Dostęp do źródeł zewnętrznych pliki tekstowe, źródła ODBC. C. Systemy mediacyjne 6. Integracja rozproszonych źródeł danych przy wykorzystaniu prototypu systemu mediacyjnego 7. Optymalizacja zapytań w systemach mediacyjnych Forma i warunki Zaliczenie z oceną na podstawie praktycznego zaliczenia zagadnień przy zaliczenia przedmiotu użyciu komputera. Laboratorium jest prowadzone w postaci wprowadzenia do problemu i wymagania i system omówienia jego rozwiązania w konkretnej technologii. Następnie oceniania studenci wykonują samodzielnie ćwiczenia przy komputerach.

9 Literatura podstawowa Literatura uzupełniająca (w tym portale internetowe) Prowadzący monitoruje postęp ćwiczeń, służy pomocą w razie wystąpienia problemów, odpowiada na pytania, podsumowuje ćwiczenia. Królikowski Z., Hurtownie danych logiczne i fizyczne struktury danych, Wyd. Polit. Poznańskiej, 2007 Wrembel R., Bębel B., Oracle - Projektowanie rozproszonych baz danych, Helion, 2003 Poe V., Klauser P., Brobst S., Tworzenie hurtowni danych, WNT, Warszawa, 2000 Elmasri R., Navathe S.: Fundamentals of Database Systems (third edition). Addison Wesley, 2000 Malinowski E., Zimanyi E., Advanced Data Warehouse Design: From Conventional to Spatial and Temporal Applications, Springer Verlag, 2008 Todman Ch, Projektowanie hurtowni danych. Zarządzanie kontaktami z klientami (CRM), WNT, Warszawa, 2003 Loney K., Koch G., Oracle9i: The Complete Reference. McGraw- Hill/Osborne, 2002 Loney K., Theriault M., Oracle9i DBA Handbook. McGraw- Hill/Osborne, 2002 Connolly T., Begg C., Database Systems - A Practical Approach to Design, Implementation, and Management (third edition), Addison-Wesley, 2002 Coulouris G., Dollimore J., Kindberg T., Systemy rozproszone. Podstawy i projektowanie, WNT, Warszawa, 1999 Dye C., Oracle Distributed Systems, O'Reilly & Associates, data podpis prowadzącego daną formę zajęć data podpis koordynatora przedmiotu

10 A. Systemy rozproszonych baz danych Laboratorium 1 Elementy architektury systemu rozproszonych baz danych konfigurowanie usług sieciowych, łączniki bazy danych. Laboratorium 2 Mechanizmy replikacji danych cz. 1 replikacja synchroniczna - wyzwalacze, replikacja asynchroniczna - migawki, odświeżanie wielu migawek jednocześnie - grupy odświeżania. Laboratorium 3 Mechanizmy replikacji danych cz. 2 replikacja synchroniczna - wyzwalacze, replikacja asynchroniczna - migawki, odświeżanie wielu migawek jednocześnie - grupy odświeżania. Laboratorium 4 Optymalizacja zapytań rozproszonych cz. 1 plany wykonywania zapytań, techniki optymalizacji. Laboratorium 5 Optymalizacja zapytań rozproszonych cz. 2 plany wykonywania zapytań, techniki optymalizacji. B. Hurtownie danych Laboratorium 6 Rozszerzenia SQL dla przetwarzania OLAP cz. 1 operatory CUBE, ROLLUP, GROUPING SETS, funkcje analityczne, przewidywanie trendów. Laboratorium 7 Rozszerzenia SQL dla przetwarzania OLAP cz. 2 operatory CUBE, ROLLUP, GROUPING SETS,

11 funkcje analityczne, przewidywanie trendów. Laboratorium 8 Struktury fizyczne i optymalizacja zapytań cz. 1 perspektywy zmaterializowane i przepisywanie zapytań, indeksy bitmapowe i bitmapowe-połączeniowe. Laboratorium 9 Struktury fizyczne i optymalizacja zapytań cz. 2 perspektywy zmaterializowane i przepisywanie zapytań, indeksy bitmapowe i bitmapowe-połączeniowe. Laboratorium 10 Wielowymiarowy model danych cz. 1 budowanie wymiarów i "kostek", wypełnianie wymiarów danymi, wypełnianie kostek danymi, analiza danych, interfejs ROLAP-MOLAP. Laboratorium 11 Wielowymiarowy model danych cz. 2 budowanie wymiarów i "kostek", wypełnianie wymiarów danymi, wypełnianie kostek danymi, analiza danych, interfejs ROLAP-MOLAP. Laboratorium 12 Dostęp do źródeł zewnętrznych pliki tekstowe, źródła ODBC. C. Systemy mediacyjne Laboratorium 13 Integracja rozproszonych źródeł danych Laboratorium 14 Optymalizacja zapytań w systemach mediacyjnych Laboratorium 15 Zaliczenie