Systemy rozproszone Marcin Gorawski Rafał Malczok

Transkrypt

1 POLITECHNIKI LSKA INSTYTUT INFORMATYKI Laboratorium Hurtowni Danych Systemy rozproszone Marcin Gorawski Rafał Malczok Gliwice 2004

2 Spis treci 2 Spis treci 1. Wstp Wprowadzenie Idea hurtowni danych Agregowanie danych Wydajno i skalowalno Podsumowanie definicja hurtowni danych Modelowany scenariusz rzeczywisty Model danych - gwiazda kaskadowa Terminologia modelowania danych Tablice faktów Wymiary i atrybuty. Tablice wymiarów Hierarchie Standardowe modele danych Model gwiazdy Model płatka niegu Model konstelacji faktów Nowy model danych gwiazda kaskadowa Implementacja modelu Indeks zewntrzny - Drzewo agregatów Budowa drzewa Materializowanie list agregatów Działanie drzewa agregatów. Zarzdzanie pamici Algorytm obliczania wartoci okien agregacji Rozproszenie. Moduły systemu Koncepcja rozproszenia hurtowni danych Podstawy teoretyczne Implementacja rozproszenia Konfiguracja SDW oraz narzdzi dodatkowych Konfiguracja modułów Plik konfiguracyjny modułu klienta Plik konfiguracyjny modułu serwera...33

3 Spis treci Plik definiujcy struktur systemu rozproszonego Narzdzia dodatkowe Uruchamianie modułów...36 Literatura... 37

4 1. Wstp Obserwacja rynku oprogramowania aplikacyjnego stosowanego przez przedsibiorstwa i korporacje pokazuje, e stosowane s w nich coraz to nowoczeniejsze systemy przetwarzania informacji [3, 7, 9]. Dziki zastosowaniu takich systemów decydenci mog planowa i zarzdza strategi przedsibiorstwa. Systemy przetwarzania informacji dzieli si obecnie na 3 kategorie [4]: Systemy transakcyjne (OLTP, ang. On-line Transactional Processing), których celem jest gromadzenie danych wspierajcych biec działalno przedsibiorstwa. Systemy analityczne. Uycie tych systemów ma na celu szybkie uzyskiwanie dowolnych informacji analitycznych, które bd wspomagały procesy podejmowania decyzji. Systemy analityczne dziel si na dwie klasy: o Systemy DSS (ang. Decision Support Systems) systemy wspierajce podejmowanie decyzji dysponuj danymi pozwalajcymi na uzyskanie informacji o danym przedsibiorstwie. DSS pozwalaj analizowa dane wewntrzne przedsibiorstwa, abstrahujc od sytuacji rynku zewntrznego o Systemy EIS (ang. Executive Information Systems) systemy informowania kierownictwa korzystaj z dodatkowych ródeł informacji, które mog uwidacznia wpływy zewntrznych czynników na sytuacj przedsibiorstwa. Do takich czynników mona zaliczy np. sytuacj polityczn czy rynkow. Systemy inteligentnego biznesu (BI, ang. Bussiness Intelligence) wykorzystywane przez kierownictwo wyszego szczebla oraz ekonomistów. Wyniki uzyskiwane dziki uyciu tych systemów opisuj całe przedsibiorstwo oraz udostpniaj moliwoci stworzenia wieloletnich perspektyw i prognoz.

5 Wstp 5 Na laboratorium studenci zapoznaj si ze szkieletem systemu DSS. Zostan przedstawione nastpujce aspekty systemu: model danych i zakres przechowywanej informacji, techniki rozproszenia majce na celu podniesienie wydajnoci systemu oraz zaawansowane mechanizmy indeksowania i agregacji danych. Przebieg wiczenia jest podzielony na nastpujce etapy: 1. zapoznanie z teoretycznymi podstawami systemu 2. przygotowanie danych za pomoc dodatkowych narzdzi 3. ładowanie danych do systemu jednokomputerowego 4. wykonanie przykładowych agregacji w systemach jednokomputerowych dla rónych iloci zmaterializowanej informacji, zebranie wyników czasowych wskazanych przez prowadzcego 5. ładowanie danych do systemu rozproszonego 6. wykonanie testów dla systemu rozproszonego 7. porównanie uzyskanych wyników 8. formułowanie wniosków Sprawozdanie z wiczenia powinno zawiera: 1. wstp krótko definiujcy tematyk zaj i cel wiczenia, 2. zestawienie i omówienie wyników uzyskanych podczas pracy na laboratorium, 3. wnioski sformułowane na podstawie uzyskanych wyników, 4. propozycj rozwizania problemu przestawionego przez prowadzcego wiczenie.

6 2. Wprowadzenie 2.1. Idea hurtowni danych Podstawowym zadaniem hurtowni jest połczenie danych z rónych istniejcych i pozostajcych nadal w uyciu baz danych w jednej, odpowiednio duej bazie [4]. W przeciwie stwie do baz transakcyjnych, hurtownie danych przechowuj informacje historyczne, opisywane czasowo dziki atrybutom wymiaru czasu. Atrybuty te stanowi swego rodzaju stempel czasowy pozwalajcy na identyfikacj czasow atrybutów innych wymiarów [5]. Wymagania stawiane hurtowniom danych to gromadzenie zintegrowanych, spójnych i wysokiej jakoci danych. Dane te posiadaj pewien okrelony stopie granulacji, który zaley od wymaga uytkowników ko cowych. Np. dla hurtowni obsługujcej sie sklepów i przechowujcej informacje o dokonanych transakcjach najczciej wybieranym stopniem granulacji bdzie włanie transakcja. Po jej dokonaniu w hurtowni zapisane zostan fakty dotyczce transakcji jej miejsce i czas oraz warto. Wybrany stopie granulacji ma wpływ na maksymaln dostpn szczegółowo generowanych raportów podczas operacji eksplorowania (drenia) danych. Po zgromadzeniu danych hurtownia ma umoliwia: szybki dostp do aktualnych danych efektywn analiz wydobywajc niejawn wiedz z danych skalowalno rosncych wolumenów danych adaptowalno aplikacji analitycznych Agregowanie danych Wikszo uytkowników hurtowni, a take aplikacje klasy DSS/EIS oraz BI korzystaj ze zagregowanych danych. Postpowanie takie spowodowane jest tym, e podczas analizy danych rzadko wymagany jest dostp do ich najniszego poziomu szczegółowoci. Agregaty danych mog by tworzone w dwojaki sposób: na bieco, podczas wykonywania zapytania. Podejcie takie powoduje, e czas wykonania zapytania wydłua si o czas budowania agregatów.

7 Wprowadzenie 7 w trakcie ładowania (ekstrakcji danych). Uaktualnianie agregatów w tym przypadku odbywa si podczas ładowania przyrostowego. Podejcie to nie ma wady narzutu czasowego na czas wykonania zapytania, ale na proces ekstrakcji. Raz zagregowane informacje mog zosta zapisane w bazie hurtowni na potrzeby obliczania kolejnych zapyta. W praktyce agregaty przechowuje si bd w odrbnych tablicach dla danych sumarycznych, bd w tablicy (tablicach) faktów. Oba te podejcia maj swoje dobre i złe strony. Przechowywanie agregatów w odrbnych tabelach powoduje wzrost liczby tabel, a co za tym idzie skomplikowanie schematu bazy hurtowni. Z kolei przechowywanie agregatów w tablicy faktów powoduje skomplikowanie struktury i utrudnienie zarzdzania tabel faktów, która jest z reguły najwiksz tabel w schemacie hurtowni Wydajno i skalowalno Pomimo spełnienia wszystkich postawionych wyej wymaga system hurtowni danych moe zosta nisko oceniony z powodu słabej wydajnoci. Głównym aspektem z punktu widzenia uytkownika jest to, jak szybko system przetwarza dane zapytanie hurtownia danych musi by szybka [3, 8, 9]. Sprostanie wymaganiu wspomnianej powyej interaktywnoci i efektywnoci wymaga od systemu hurtowni uycia wszystkich moliwych technik przyspieszajcych wykonywanie skomplikowanych zapyta i oblicze. Obecnie stosuje si wiele takich technik, nad wieloma z nich trwaj badania majce na celu zwikszenie ich wydajnoci. Do najistotniejszych nale: zastosowanie przetwarzania równoległego wszdzie tam, gdzie tylko jest to moliwe. Systemy rozproszone wydaj si by przyszłoci hurtowni danych poniewa dziki nim mona rozdzieli na poszczególne komputery nie tylko obcienia zwizane z wykonywaniem skomplikowanych oblicze analitycznych, ale take ciar składowania i zarzdzania ogromnymi ilociami danych. zastosowanie zaawansowanych technik indeksowania, dziki czemu mona osign znaczny wzrost szybkoci obliczania wartoci zapyta kierowanych do hurtowni zastosowanie innych metod poprawiajcych wydajno: zmaterializowanych widoków czy rozszerze standardowej składni jzyka SQL.

8 Wprowadzenie Podsumowanie definicja hurtowni danych Bazujc na powyszych okreleniach wymaga dotyczcych zarówno bazy hurtowni jak i jej analitycznego silnika mona sformułowa zwizł i aktualn definicj hurtowni danych: Hurtownia danych jest analityczn baz danych i zintegrowanym rodowiskiem rozwojowym obsługujcym procesy: ekstrakcji, transformacji i ładowania danych, zaawansowanego zarzdzania danymi, skalowalnego przetwarzania analitycznego, inteligentnego eksplorowania danych dla odkrywania wiedzy oraz minimalizowania cyklu uaktualniania danych Modelowany scenariusz rzeczywisty W celu osadzenia budowanego systemu przestrzennej hurtowni w rzeczywistoci konieczne było znalezienie obiektu posiadajcego wygodne do modelowania aspekty. Wybór padł na rynek mediów. Liberalizacja rynku energii i restrukturyzacja sektorów energetycznych stworzyły podwaliny nowego rynku - odbiorcy multimedialnego w zakresie: energii elektrycznej, gazu, ciepła i wody. Ostatecznie kady z nas bdzie miał moliwo swobodnego wyboru dostawcy energii elektrycznej jak i innych mediów. Podstawowym problemem staje si odczyt milionów liczników odbiorców indywidualnych jak i instytucjonalnych i analiza terabajtowych wolumenów otrzymanych danych. W przypadku dostawców energii elektrycznej odczyt, analiza i podjcie decyzji podlega ostremu reimowi czasowemu; przykładowo co 30 minut powinno si analizowa odczyty wszystkich liczników energii w celu sporzdzenia prognozy zapotrzebowania na energi zamykajc bilans energetyczny. Aby sprosta wymaganiom nakładanym przez zapotrzebowania rynku konieczna jest budowa rozwizania składajcego si z dwóch warstw. Pierwsz z nich jest system zintegrowanego odczytu liczników bazujcy na bezprzewodowej komunikacji (GSM/GPRS). Drug warstwa działa w oparciu o wykorzystanie systemów decyzyjnych opartych o przestrzenne hurtownie danych. Cz prac prowadzonych w laboratorium HD koncentruj si na projektowaniu systemów przestrzennej hurtowni danych w wersji centralnej (ang. Spatial Data Warehouse - SDW) oraz rozproszonej (Distributed SDW DSDW). System zintegrowanego odczytu liczników mediów jest ródłem danych dla (D)SDW. Składa si on z liczników zuycia mediów zlokalizowanych na duym obszarze geograficznym, wzłów zbiorczych oraz serwera telemetrycznego. Wzły rozmieszczane s na terenie, na którym dokonywane s pomiary. S one punktami zbiorczymi okrelonej

9 Wprowadzenie 9 grupy liczników. Liczniki komunikuj si z wzłami zbiorczymi drog radiow. Narzuca to pewne ograniczenia pojedynczy wzeł zbiorczy moe obsługiwa pewn sko czon liczb liczników, a licznik moe by oddalony od swojego wzła tylko na pewn odległo. Ograniczenia te powoduj, e struktura komunikacji radiowej przypomina zbiór kół, których centra to wzły zbiorcze otoczone licznikami (Rysunek 2.1). H E AD Q U AR T E R S N O D E N O D E Rysunek 2.1. Schemat struktury radiowej komunikacji wzeł liczniki. Dalsza komunikacja na linii wzeł serwer odbywa si za porednictwem sieci komputerowej. Dane zbierane s w serwerze telemetrycznym, a nastpnie s ładowane do hurtowni danych podczas procesu ekstrakcji. W ten sposób dwie warstwy omawianego rozwizania komunikuj si ze sob i tworz jedn cało.

10 Model danych - gwiazda kaskadowa Model danych - gwiazda kaskadowa Hurtownia danych jest projektem indywidualnym. Projekt modelu (schematu) danych stanowi wany etap projektowania hurtowni. Od tego, czy model zostanie poprawnie zaprojektowany zaley jako całego systemu hurtowni [6]. Od zastosowanego modelu zaley jakie informacje hurtownia bdzie przechowywa i jakie zestawienia i raporty bdzie mona za jej pomoc uzyska Terminologia modelowania danych Podczas procesu tworzenia modelu danych uywane s terminy, których znajomo i zrozumie s niezbdne do przeprowadzenia poprawnego procesu budowania modelu danych. Poniej zamieszczono omówienie najwaniejszych z nich Tablice faktów Dane gromadzone w hurtowni danych to w wikszoci dane numeryczne opisujce pewne wielkoci rzeczywiste (fakty). Wielkoci te gromadzone s w tabelach nazywanych tabelami faktów. Opisuj one ilociowo procesy zachodzce w danym przedsibiorstwie (np. ilo sprzedawanych towarów). Model danych, w zalenoci od stopnia skomplikowania projektu moe zawiera jedn lub wiele tablic faktów [6] Wymiary i atrybuty. Tablice wymiarów Atrybuty modelu danych pozwalaj na okrelenie obszarów analizy informacji przechowywanej w tablicach faktów. Atrybuty dotyczce pojedynczego obszaru analizy informacji łczone s w grupy logiczne nazywane wymiarami [6]. Najczciej spotykanym wymiarem jest wymiar czasu przechowujcy informacje o lokalizacji czasowej zjawiska opisanego ilociowo w tablicy faktów. Atrybuty gromadzone w wymiarach powinny by ze sob cile powizane. Jeli pomidzy atrybutami nie zachodzi adna relacja, lub relacja ta jest słaba, wtedy powinny by one umieszczone w osobnych wymiarach. Model danych nazywany jest modelem wielowymiarowym, gdy wystpuje w nim wicej ni jeden wymiar. Wymiary i atrybuty słu uytkownikowi ko cowej aplikacji DSS do definicji wygldu i szczegółowoci generowanych raportów. Informacje (atrybuty) danego wymiaru umieszczane s w osobnych tabelach nazywanych tabelami wymiarów. Tabela faktów w wikszoci przypadków zabiera

11 Model danych - gwiazda kaskadowa 11 najwicej miejsca w bazie danych, jest jednak wysoce znormalizowana, co znaczy, e reprezentuje najbardziej efektywny (jeli chodzi o miejsce) relacyjny sposób przechowywania faktów. Tabele wymiarów s bardzo zdenormalizowane, ale one zwykle reprezentuj mały procent przestrzeni zajtej przez model [3] Hierarchie Midzy atrybutami wchodzcymi w skład danego wymiaru zachodz pewne relacje, np. rok składa si z miesicy, menader zarzdza sklepami. Relacje te wyznaczaj logiczne powizania pomidzy atrybutami wymiaru i maj charakter hierarchiczny, dlatego czsto okrela si je mianem hierarchii wymiaru. W kadej hierarchii wystpuje atrybut dziecka (podrzdny) oraz rodzica (nadrzdny). Moliwe jest znalezienie hierarchii o rónych krotnociach (1:1, 1:N, N:M). Wymiary s uporzdkowane za pomoc jednej lub wielu hierarchii, co jest wykorzystywane podczas operacji drenia danych. Wielokrotnie przedstawian jako przykład i jedn z najczciej wystpujcych jest hierarchia czasu (Rysunek 3.1). Jej praktycznie zastosowanie moe by nastpujce: uytkownik wygenerował raport obrazujcy ilo sprzedanego towaru w cigu ostatnich dziesiciu lat. Aby raport był czytelny dla nie obeznanego z nim uytkownika jako podstawow jednostk czasu system przyjmuje kolejne lata. W miar zainteresowania i potrzeb uytkownik ma moliwo schodzenia na kolejne poziomy czasowej szczegółowoci, co nazywane jest dreniem danych. Postpujc w ten sposób jest w stanie dotrze do danych o sprzeday produktów w cigu wybranego dnia, a nawet godziny. Wysoko hierarchii zaley od szczegółowoci zgromadzonych w wymiarze danych. rok miesic tydzie dzie godzina Rysunek 3.1. Przykładowa hierarchia czasu

12 Model danych - gwiazda kaskadowa Standardowe modele danych Modele logiczne danych takie jak model gwiazdy, model płatka niegu lub konstelacji faktów mog by uyte do reprezentowania danych tradycyjnej hurtowni danych. Modele gwiazdy i płatka niegu wyróniaj si wydajnoci, uniwersalnoci i prostot. Oba te modele stały si uznanym standardem w dziedzinie hurtowni danych. Poniej zamieszczono zwizłe omówienie tych modeli, a take przedstawiono ich najwaniejsze cechy Model gwiazdy Model gwiazdy posiada jedn tablic centraln (tablic faktów) zawierajc du ilo danych, oraz zbiór mniejszych tabel pomocniczych (tablice wymiarów). Graf modelu przypomina gwiazd, z tablicami wymiarów połoonymi dookoła centralnej tablicy faktów, jak zostało to pokazane na Rysunek 3.2. A jest tablic faktów, b, c, d, e, f s wymiarami i s reprezentowane przez tablice wymiarów. f e b d A c Rysunek 3.2. Model gwiazdy Najistotniejszymi cechami modelu gwiazdy s: tabela faktów stanowi centrum modelu tablica faktów jest znormalizowana, podczas gdy tabele wymiarów nie s projekt schematu gwiazdy zakłada minimalizacj liczby połcze midzy tablicami Model płatka niegu Model płatka niegu przynosi pewne udoskonalenie modelu gwiazdy ( Rysunek 3.3). Hierarchia wymiarów jest jasno reprezentowana poprzez znormalizowane tablice wymiarów (tablice d, e), z których dane rozdzielone zostały na dodatkowe tablice (tablice f, g, h, i). Schemat płatka niegu cechuje si przejrzyst struktur i prawie zupełnym brakiem redundancji danych.

13 Model danych - gwiazda kaskadowa 13 h b f i d A e g c Rysunek 3.3. Model płatka niegu Model konstelacji faktów Zaawansowane aplikacje wymagaj czasami, aby kilka tabel faktów współdzieliło tabele wymiarów. Na rysunku Rysunek 3.4 został przedstawiony schemat obrazujcy t sytuacj. A i B s tablicami faktów, które współdziel wymiary b oraz c. Tabele d, e, f, g, h s połczone z tabelami faktów na takich samych zasadach jak w przypadku schematu gwiazdy. Model konstelacji faktów jest rzadziej spotykanym modelem, co spowodowane jest stopniem jego skomplikowania i nieczsto spotykanymi sytuacjami, kiedy wymagane jest jego uycie. e d A b B g f c h Rysunek 3.4. Model konstelacji faktów 3.3. Nowy model danych gwiazda kaskadowa Modelowanie danych na potrzeby systemów hurtowni danych wchodzi w coraz wiksz ilo dziedzin działalnoci ludzkiej. Jako jeden z efektów mona wskaza powstanie koncepcji przestrzennych hurtowni danych, czyli hurtowni, w której atrybuty wymiaru opisuj fakty definiujc ich lokalizacj czasow oraz przestrzenn. Coraz czstsze s sytuacje, kiedy róne wymiary w przestrzennej hurtowni danych zawieraj róne typy danych, z których kady jest wielowymiarowy z natury. Dostpne standardowe modele w wielu wypadkach nie s odpowiednie do modelowania takich danych. W momencie gdy rozpoznamy, e kady przestrzenny wymiar w hurtowni danych jest

14 Model danych - gwiazda kaskadowa 14 wielowymiarowy, wtedy staje si oczywiste, e model hurtowni danych musi zosta tak rozszerzony, aby umoliwiał zamodelowanie tej sytuacji. Model kaskadowej gwiazdy jest rozszerzeniem standardowego schematu gwiazdy. Szkic obrazujcy jego koncepcj został zamieszczony na rysunku Rysunek 3.5 (oznaczenia literowe zastosowane w poniszym opisie bazuj na tym rysunku). Kaskadowa gwiazda charakteryzuje si tym, e kady z jej wymiarów stanowi odrbny, zagniedony schemat gwiazdy. Centralna tabela faktów (A) łczy wymiary ze sob gromadzc ich klucze główne, a take wspólne dla wszystkich wymiarów fakty. Główne tablice wymiarów (b, c, d, e) przechowuj fakty wymiaru oraz klucze główne tabel pod-wymiarów (f, g, h, i, j itd.). Tablice wymiarów w poszczególnych pod-wymiarach przechowuj atrybuty i ich opis. Mona powiedzie, e zagniedony schemat gwiazdy jest zbudowany identycznie jak w przypadku standardowego schematu gwiazdy, z tym, e stanowi on cz pewnej wikszej całoci, któr jest gwiazda kaskadowa. t u o p s e d r n w i h A m b j g k c f l Rysunek 3.5. Model kaskadowej gwiazdy W tym miejscu naley wyranie zaznaczy rónic pomidzy modelem kaskadowej gwiazdy, a modelem płatka niegu. Na pocztku moliwe jest odniesienie mylnego wraenia, e pomidzy wspomnianymi modelami nie ma wikszej rónicy poniewa oba maj wielokrotne rozszerzenia dla pewnych wymiarów przestrzennych. Jednak model płatka niegu tylko normalizuje pewne wymiary w celu redukcji rozmiaru wielkich tablic wymiarów, aby ułatwi zarzdzanie nimi i ich przechowywanie, a take by uwidoczni istniejce w wymiarach hierarchie. Natomiast w modelu kaskadowej gwiazdy zakłada si, e kady wymiar jest wielowymiarowy z natury Implementacja modelu Gwiazda kaskadowa, uyta po raz pierwszy przez autorów [1] do przechowywania danych przestrzennych, doskonale sprawdziła si w SDW w [10]. Charakteryzuje si tym,

15 Model danych - gwiazda kaskadowa 15 e zawiera centraln tabel faktów, a jej wymiary główne stanowi mniejsze schematy gwiazdy. Gwiazda kaskadowa pozwala na wygodne modelowanie szerokiego zakresu przestrzennych danych. Schemat gwiazdy zastosowany w prezentowanym systemie został przedstawiony na rysunku Rysunek Dane przechowywane w modelu Kady z liczników komunikuje si ze swoim wzłem z odpowiedni czstotliwoci. Jest ona róna dla rónych typów liczników i wynosi przykładowo 3-4 przesyły odczytów na godzin dla liczników energii. Odczyty z liczników wody s nieco rzadsze, a z liczników gazu nastpuj czciej. Pojedynczy odczyt zawiera nastpujce informacje: dokładny stempel czasowy odczytu, identyfikator licznika, oraz wartoci pomiarów (dwie strefy dla liczników wody i energii, jedna strefa dla liczników gazu). Obok tych danych system rejestruje take informacje takie jak: - Lista liczników, z dat ich instalacji i dokładnym, trójwymiarowym opisem połoenia oraz zbiorem atrybutów opisujcych licznik - Lista wzłów zbiorczych, podobnie z dat instalacji i dokładnym połoeniem oraz zbiorem atrybutów - Opis pogody dla kadego wzła z danego dnia. Atrybuty charakteryzujce pogod to temperatura, wilgotno powietrza oraz zachmurzenie. - Mapy regionu, na terenie którego zlokalizowane s liczniki. Pliki map z opisywane s poprzez rodzaj mapy (wektorowa, bitowa), charakterystyk regionu obejmowanego przez map (połoenie geograficzne i wymiary), a take dat stworzenia mapy, co pozwala na periodyczn wymian przestarzałych map na nowe.

16 Model danych - gwiazda kaskadowa 16 REGION DATA_MON ATRYBUTY MAPA INSTALACJA DATA_POM POMIAR ATRYBUTY ATRYBUTY GRUPY_POM WZEŁ DATA_MON LOKALIZACJA POGODA DATA_MON ATRYBUTY DATA_POM LICZNIK LOKALIZACJA Rysunek 3.6 Schemat zastosowanego modelu danych gwiazdy kaskadowej Budowa schematu Prezentowana gwiazda kaskadowa (dokładny schemat tabel - Rysunek 3.7) zawiera główn tabel faktów INSTALLATION, która łczy ze sob główne wymiary MAP, NODE i MEASUREMENT. Wymiar NODE zawiera informacje o wzłach zbiorczych danej instalacji. W tabeli INSTALLATION istnieje odniesienie kady wzeł zbiorczy ma pod sob kilka rodzajów liczników. Z grup pomiaru wie si tabela GROUP_OF_MEASURES, która zawiera dwie kolumny ID_GROUP identyfikujcy grup pomiaru oraz ID_MEAS, który definiuje konkretny pomiar. Dziki takiemu rozwizaniu moliwe jest zidentyfikowanie, do której grupy naley dany pomiar (z jakiego wzła pochodzi i co mierzy) i nie wystpuje redundancja danych. Wymiar MAP jest gwiazd zawierajc informacje o mapach obszaru obejmowanego przez wzeł.

17 Model danych - gwiazda kaskadowa 17 MAP_EXP_DATE dateid expdate MAP_ATTRIBUTES attrid type NODE_ATTRIBUTES attrid type NODE_INSTALL_DATE mondateid mondate NODE_LOCATIONS locationid locx locy locz MAP DIMENSION MAP regionid expdateid attrid mapid mapid NODE DIMENSION NODES attrid nodeid mondateid locationid nodeid WTH_ATTRIBUTES attrid temperature humidity clouds MAP_REGION regionid left top right bottom CENTRAL FACT TABLE INSTALLATION measgroupid mapid nodeid WEATHER SUBDIMENSION WEATHER nodeid measdateid attrid MTR_LOC locationid locx locy locz MTR_INS_DATE mondateid mondate GROUP_OF_READING measgroupid measureid WTH_DATE measdateid measdate METER DIMENSION METERS counterid locationid attrid mondateid MEASURES measid value zone dateid timeid counterid MTR_ATTR attrid type scope Rysunek 3.7 Szczegóły implementacji modelu gwiazdy kaskadowej. W prezentowanym modelu przechowywane s take informacje pogodowe. Ich przestrzenna granulacja powizana z wzłem zbiorczym poniewa odległoci wzłem, a otaczajcymi go licznikami s na tyle krótkie, aby mona było załoy, e pogoda jest taka sama dla wzła i wszystkich podlegajcych mu liczników. Informacje pogodowe mog zosta uyte w celu analizy wpływu jaki warunki atmosferyczne wywieraj na zuycie mediów.

18 Indeks zewntrzny - Drzewo agregatów Indeks zewntrzny - Drzewo agregatów W przypadku hurtowni danych konieczne jest zapewnienie odpowiedniej wydajnoci projektowanego systemu. Czsto w celu podniesienia wydajnoci stosowane s: indeksowanie i wstpna agregacja danych. Jednym z rozwiza problemu odpowiedniego indeksowania w przestrzennych hurtowniach danych jest drzewo agregacji. Jest ono struktur dynamiczn zawierajc agregaty danych przestrzennych. Jego budowa oparta została na idei najbardziej popularnego indeksu agregatów tj. ar-drzewa [2] Budowa drzewa. Struktura drzewa agregatów składa si z połczonych wzłów zebranych na kilku poziomach agregacji. Liczba poziomów zaley od rozkładu drzewa. Na pocztku procesu tworzenia drzewa indeksowany region jest dzielony na jednostki zwane MBR (ang. Minimum Bounding Rectangles). Rozmiary tych jednostek s podawane przez uytkownika systemu w pliku konfiguracyjnym. Licie drzewa agregatów najniszy poziom obejmuj najmniejsze regiony o rozmiarach MBR. Kolejne poziomy drzewa s tworzone poprzez integracj kilku wzłów z poziomu niszego w jeden wzeł na poziomie wyszym. Operacja integracji składa si ze scalenia regionów wzłów z niszego poziomu oraz połczenia ich list agregacji. Wzły na niszym poziomie tworzce wzeł na poziomie wyszym s połczone w list, a wzeł nadrzdny ma wskanik na pierwszy element tej listy. Cecha ta jest intensywnie wykorzystywana przy obliczaniu zapyta zakresowych. W ten sposób tworzone jest całe drzewo, a do korzenia (Rysunek 4.1). Wzły tworzce drzewo agregatów s instancjami klasy Node. Kady wzeł drzewa agregatów zawiera informacje o iloci liczników w obejmowanym regionie, a take listy agregacji. Lista agregacji jest list zawierajc wartoci odczytów liczników zagregowane według odpowiednich okien czasowych. Kady wzeł ma tyle list agregacji ile rónych typów liczników znajduje si w jego regionie.

19 Indeks zewntrzny - Drzewo agregatów 19 node 7 (10, 0: 0, 10) w:2 g:2 e:4 node 5 (10, 0: 5, 10) w:0 g:1 e:2 node 6 (5, 0: 0, 10) w:2 g:1 e:2 node 1 (10,0:5,5) w:0 g:1 e:1 node 2 (10, 5: 5:10) w:0 g:0 e:1 node 3 (5, 0: 0, 5) w:1 g:0 e:1 node 4 (5, 5: 0, 10) w:1 g:1 e: g CN wzeł zbiorczy e e g licznik gazu CN 4 g w e w e 6 w e licznik wody licznik energii Rysunek 4.1 Schemat tworzenia drzewa agregatów Rysunek 4.2 prezentuje przykład budowania wzła nr 5 poprzez integracj wzłów 1 i 2. Widzimy, e lista agregatów dla licznika gazu pozostaje taka jak w wle 1 poniewa w regionie jest tylko jeden licznik gazu. Lista agregatów dla energii elektrycznej powstała poprzez zagregowanie list w wzłów 1 i 2. Wzeł 5 nie zawiera listy agregatów dla liczników wody, poniewa w regionach wzłów 1 i 2, a co za tym idzie take w regionie wzła 5, nie ma licznika wody. node 5 (0, 10: 5, 10) w:0 g:1 e:2 GAS TIMESTAMP ZONE : : : ENERGY TIMESTAMP ZONE1 ZONE : : : node 1 (0, 5: 5, 10) w:0 g:1 e:1 GAS ENERGY TIMESTAMP ZONE1 TIMESTAMP ZONE1 ZONE : : : : : : node 2 (5, 10: 5, 10) w:0 g:0 e:1 ENERGY TIMESTAMP ZONE1 ZONE : : : Rysunek 4.2 Tworzenie wzła nadrzdnego

20 Indeks zewntrzny - Drzewo agregatów 20 Listy agregatów s przechowywane w zmodyfikowanym obiekcie listy (klasa QArrayList) wyposaonym w funkcje materializowania i odczytywania list. Pojedynczy agregat (klasa Aggregate) jest obiektem przechowujcym stempel czasowy agregatu, list typów wartoci i list wartoci. Budowa przykładowego pojedynczego wzła drzewa została przedstawiona na Rysunek 4.3. Dla uproszczenia rysunek przedstawia listy konkretnych agregatów, naley jednak zaznaczy, e system jest w pełni elastyczny i umoliwia dostosowanie iloci list oraz typów i iloci agregatów w licie do wymaga rónego rodzaju danych. Node QArrayList LinkedList W ATER LinkedList GAS LinkedList ENERGY Aggregates timestamp values timestamp values timestamp values timestamp values timestamp values timestamp values timestamp values timestamp values timestamp values Rysunek 4.3 Fragment struktury pojedynczego wzła drzewa agregatów Materializowanie list agregatów Wykorzystanie drzewa agregatów wie si z koniecznoci rozpatrzenia problemu materializacji wartoci list agregatów przechowywanych w wzłach. Decyzja o tym, kiedy i które listy naley materializowa podejmowana jest przez specjalnie zaprojektowany algorytm, którego opis zamieszczono poniej. Stworzenie pustej struktury drzewa (tzn. utworzenie struktury wzłów nie posiadajcych list agregatów) jest operacj krótkotrwał i jest wykonywane podczas uruchamiania systemu. Wtedy te sprawdzana jest dostpno tabeli MatNode, w której materializowane s listy wzłów. Tabela ta zawiera dwie kolumny pierwsza z nich jest typu NUMBER i zawiera numer identyfikacyjny wzła, a druga jest typu BLOB i zawiera zmaterializowane dane list agregatów konkretnego wzła w postaci binarnej. Tabela MatNode zawiera jeden wiersz informacyjny, w którym przechowywane s informacje o poprzednio uytej konfiguracji drzewa agregatów na jakiej pracował system

21 Indeks zewntrzny - Drzewo agregatów 21 (wymiary regionu, wysoko drzewa oraz ilo podziałów regionu na osiach X i Y). Po stworzeniu drzewa według aktualnych parametrów i odczytaniu informacji zapisanych w wierszu informacyjnym, konfiguracje te s porównywane i jeli sobie odpowiadaj wtedy system uznaje, e tabela jest poprawna i zapisane w niej dane mona traktowa jako zmaterializowane listy agregatów odpowiednich wzłów. W przeciwnym przypadku, kiedy informacje nie odpowiadaj sobie, tabela jest zakładana na nowo i do wiersza informacyjnego wpisywane s aktualne parametry konstrukcji drzewa agregatów. Operacja materializacji list agregatów wzła inicjowana jest przez obiekt drzewa agregatów. Obiekt wzła pobiera uchwyt do strumienia wejciowego kolumny typu BLOB z wiersza identyfikowanego jego numerem. Uchwyt ten jest nastpnie przekazywany kolejno do wszystkich obiektów agregatów, które zapisuj do strumienia swoje wartoci. Schemat operacji materializacji list agregatów został przedstawiony na rysunku Rysunek 4.4. Odczyt zapisanych agregatów odbywa si na podobnej zasadzie; rónic w przypadku tego procesu jest konieczno utworzenia list agregatów. Baz na której pracuje SDW jest Oracle w wersji 9i. Uycie typu kolumny BLOB wie si zastosowaniem plików JAR dostarczanych przez Oracle, jednak dziki temu ten szybki i wygodny typ jest dostpny do uycia przy zastosowaniu mechanizmu JDBC. Node (ID = 6) QArrayList WATER Table MatNode NUM BER BLOB Database binary stream materialization 1995,11,1,, ,11,2,,238 - timestamp ; 23:45:11 - values zone1:2034, zone2:231 - timestamp ; 13:23:34 - values zone1: 2047, zone2: 238 Rysunek 4.4. Schemat działania operacji materializowania list agregatów Działanie drzewa agregatów. Zarzdzanie pamici Aby w pełni wykorzysta dostpn pami operacyjn przydzielon JVM, zwalnianie list agregatów wzłów drzewa nastpuje tylko w przypadku, kiedy