PRZETWARZANIE AGENTOWE

Transkrypt

1 POLITECHNIKA ŚLĄSKA INSTYTUT INFORMATYKI LABORATORIUM HURTOWNI DANYCH PRZETWARZANIE AGENTOWE TEORIA Marcn Gorawsk Sławomr Bańkowsk Glwce 2005

2 Laboratorum HDSED - Przetwarzane Agentowe 2 SPIS TREŚCI 1 Wstęp teoretyczny Agent programowy Struktura Serwsy Zadana Połączena komunkacja Serwery GAWS System Agentów Katalog GADS Organzacja Wrtualna (VO) Przesyłane zadań Hurtowna danych Założena Model danych Schemat hurtown Metody równoległego przetwarzana danych Podzał hurtown danych (DWS) Drzewo agregacj MVB Drzewo agregacj STCAT Indeksy btmap Rozproszony proces ETL Specyfkacja zewnętrzna Uruchamane Agenta Katalog usług Połączena do baz danych (GDBC) Uruchamane GAWS, połączene Agenta do katalogów usług Konsola użytkownka GUMC Lteratura...35

3 Laboratorum HDSED - Przetwarzane Agentowe 3 1 Wstęp teoretyczny 1.1 Agent programowy Struktura System Intelgentnych Agentów jest wzorowany na technolog GRID. Współdzelony dostęp do wszystkch zasobów zapewna wysok współczynnk skalowalnośc, natomast bezpeczeństwo jest zapewnone przez logowane do systemu każdego użytkownka. Komunkacja odbywa sę na welu pozomach jednocześne zapewnając, że nedostępność jednego z serwsów ne spowoduje całkowtej blokady systemu. Agent składa sę z klku nezależnych komponentów: Grd Log Montor Servce (GLMS) odpowada za zberane logów systemowych przy pracy Agenta, zberane log mogą służyć do analzy pracy wydajnośc, mogą być prezentowane użytkownkow, zapsywane do plku lub przesyłane do nnego Agenta, co umożlwa analzę pracy całej Organzacj Wrtualnej z jednego stanowska. Grd Agent Logn Servce (GALS) umożlwa logowane do systemu, dane są przesyłane do katalogu GIIS, gdze nformacje są weryfkowane Agent jest włączany do struktury. Grd Agent Securty Servce (GASS) zapewna ustawane uprawneń do poszczególnych modułów Agenta. Przy lokalnych, wewnętrznych secach, aby podneść wydajność można wyłączyć bezpeczeństwo. Grd Agent Performance Servce (GAPS) bada statystyk dotyczące Agenta, merzy prostym sposobam przewduje wydajność Agentów. Grd Data Bases Connecton (GDBC) zapewna podstawowe funkcje do połączeń z bazam danych poprzez JDBC ODBC. Grd Agent Worker Servce (GAWS) zarządza zadanam połączenam z nnym Agentam. Grd Index Informaton Servce (GIIS) katalog usług dla Agentów. Możlwe jest dodane nowej usług, lub odszukane określonego zasobu. Grd Java Space Servce (GJSS) katalog zadań dla Agenta. Możlwe jest zapsane zadana do wykonana, lub pobrana gotowego rozwązana.

4 Laboratorum HDSED - Przetwarzane Agentowe 4 Grd Agent Data Servce (GADS) katalog danych dla Agentów. Możlwe jest przesłane zadań do nnych Agentów, ustawene zadana statusu lub przechowywane różnych zadań. Agent Koordynacja Zarządzane Klenc Konfguracja Logowane GJSS GIIS Performance Dostęp do baz danych Bezpeczeństwo Wykonywane zadań GRIS Agregacje Lokalne zasoby dane Komunkacja UDP Socket RMI JINI HTTP Rys. 1. Schemat Agenta Agent składa sę z klku modułów, które współpracują ze sobą (rys.1). Moduł Zarządzane jest odpowedzalny za dystrybucję zadań wewnątrz Agenta. Bezpeczeństwo może sprawdzać zadana przychodzące do Agenta, czy pochodzą z pewnego źródła. Klenc zapewnają dostęp do katalogów nnych usług przez seć, natomast Konfguracja pozwala ustawć przechować najważnejsze dane Agenta. Moduł Wykonywane zadań jest najbardzej stotny z punktu wdzena wydajnośc. Zadana są dodawane do przestrzen, po czym kolejno wykonywane przez odpowedne moduły. Dostęp do baz danych zapewna zarządzane utrzymywane połączeń do różnych baz poprzez JDBC lub ODBC Serwsy Agent posada serwsy, które dzałają równolegle realzują pewne operacje. Serwsy to: Grd Agent Logn Servce, Grd Agent Performance Servce, Grd Agent Securty Servce, Grd Agent Tools Servce, Grd Agent Worker Servce, Grd Data Bases Connecton, Grd Java Space Servce, Grd Index Informaton Servce, Grd Agent Data Servce, Grd Log Montor Servce.

5 Laboratorum HDSED - Przetwarzane Agentowe Grd Agent Logn Servce (GALS) GALS (rys.2) oferuje logowane wylogowane, uruchama zatrzymuje klasy zwązane z tym czynnoścam, wczytuje plk z lstą użytkownków, tworzy nowe konto sprawdza poprawność stnejącego konta: Konfguracja Konfguracja rozszerzona Zarządzane GA LS W ykonyw ane zadań Zadana użytkownka Zadana A genta Bezpeczeństwo Klucz sym etryczny Plk poltyk Rys. 2. Schemat GALS Grd Agent Performance Servce (GAPS) GAPS odpowada za poberane przechowywane nformacj o stane lcznków systemowych komputerów na których znajdują sę agenc. Umożlwa uruchomene serwera wydajnośc Performance Server. Pozwala na przechowane dowolnej lczby charakterystyk od lokalnego serwera lub od nnych Agentów. Serws udostępna okna do rysowana charakterystyk w czase rzeczywstym, a także przewduje wydajność w przyszłośc korzystając z poprzednch wartośc. Typy lcznków systemowych poberane są z lokalnego serwera wydajnośc Grd Agent Securty Servce (GASS) GASS odpowada za uwerzytelnane Agenta, sprawdzane SessonID (SID), pozwala na sprawdzene uprawneń do zasobów Agenta Grd Agent Worker Servce (GAWS) GAWS odpowada za pracę Agenta, komunkację z nnym Agentam, wykonywane zarządzane zadanam. Schemat GAWS jest pokazany na rysunku 3. Zarządzane zadanam: Start: 1: Zancjuj kontener zadań. 2: Oblcz, jak czas upłynął od ostatnego sprawdzena. 3: Symuluj upływ czasu dla wszystkch zadań 4: Jeżel czas zadana sę skończył, to wykonaj zadane zmnejsz lczbę wykonań. 5: Jeżel dla danego zadana lczba wykonań jest równa zero, to usuń zadane. 6: Oblcz najmnejszy czas, jak pozostał do wykonana zadana. 7: Zapsz czas ostatnego sprawdzena. 8: Przejdź w tryb uśpena na czas oblczony w punkce 6.

6 Laboratorum HDSED - Przetwarzane Agentowe 6 9: Idź do punktu 2. Klenc Koordynacja Zarządzane Konfguracja Logowane Dane Agenta Bezpeczeństwo W ykonywane zadań Kolejka zadań Lokalne zasoby dane Ko munkacja UDP Socket RM I JINI HTTP Rys. 3. Schemat GAWS Grd Data Bases Connecton (GDBC) GDBC odpowada za zarządzane połączenam do baz danych. Umożlwa dodane, usunęce lub przetestowane połączena. Udostępnane połączeń może odbywać sę także zdalne, gdy nny Agent zleca wykonane zadana na baze danych Grd Java Space Servce (GJSS) Serws GJSS tworzy przestrzeń JavaSpace do komunkacj pomędzy Agentam. Pozwala to na swobodną wymanę zadań danych Grd Index Informaton Servce (GIIS) Serws GIIS tworzy serwer RMI, do którego agenc mogą sę zarejestrować. Umożlwa udostępnane danych o agence dla nnych zarejestrowanych Agentów Grd Log Montor Servce (GLMS) Serws GLMS umożlwa poberane logów z nnych serwsów, a następne wypsane na ekran, do odpowednego okna serwsu lub zaps do plku. Przez to znaczne ułatwa sprawdzane poprawnego dzałana Agenta.

7 Laboratorum HDSED - Przetwarzane Agentowe Grd Agent Tools Servce (GATS) Serws GATS pozwala na korzystane z dodatkowych serwsów do usprawnena pracy z Agentem, przykładem jest AgentPorts moduł umożlwający montorowane sprawdzane wykorzystanych portów Zadana Podstawową porcją danych dla Agenta jest zadane (AgentTask). Take zadane może przechowywać pewne dane, określać zadane do wykonana lub zawerać gotowy wynk. Każdy moduł Agenta posada funkcję dotask, która sprawdza wykonuje akcje zwązane z zadanem Parametry Parametry zadana mogą być dowolne, jedno zadane składa sę z szeregu wpsów: Parametr1=Wartość1 Parametr2=Wartość2 ParametrN=WartośćN Każda klasa (plugn) jest dodawana do tablcy haszującej, w której kluczem jest nazwa klasy, a jako obekt jest element typu AgentPlugnI. Gdy zadane przychodz do systemu z dowolnego źródła, to najperw jest wydobywany plugn, który ma wykonać to zadane, a następne za pomocą dotask zadane jest przekazywane wykonywane. Głównym parametram zadana są: group określa nazwę plugnu, dla którego przeznaczone jest zadane, fun określa funkcję plugnu, która ma zostać wywołana w ramach wykonana zadana, każdy plugn posada nne funkcje, mode nektóre funkcje posadają tryb wykonana, od którego zależy wywołane funkcj, Dodatkowym parametram są: agentname określa nazwę Agenta, do którego adresowane jest rozwązane zadana, from określa nazwę agenta, od którego pochodz zadane, to określa nazwę Agenta, do którego zadane jest natychmast wykonywane (jeżel Agent A1 wysyła zadane do A2, natomast wynk mają być przesłane do A3, wtedy agentname=a3;from=a1;to=a2), count lczba wykonań zadana, pojedyncze zadane może być wykonywane co pewen czas określając odpowedno parametry tmemax count,

8 Laboratorum HDSED - Przetwarzane Agentowe 8 tmecreate czas stworzena zadana (podawany jako lczba mlsekund od r. godzny 0:00:00), tmeout czas ważnośc zadana, po tym czase jeżel zadane ne zostane rozwązane, zostane przesłane do nnego Agenta, tmemax czas, po jakm zadane sę wykona, jeżel ustawony jest parametr count na wartość wększą nż 1, to zadane będze sę wykonywało cyklczne co tmemax mlsekund, d unkalny dentyfkator zadana, każde zadane pownno meć nne ID (przynajmnej w tej samej grupe zadań), groupid grupowy dentyfkator zadań, wszystke zadana w tej samej grupe posadają ten sam dentyfkator, co pozwala przydzelać ch do określonych kubełków przy zberanu rozwązań (różne grupy zadań pownny meć różne groupid, przynajmnej dla danego Agenta). Seralzacja zadana polega na wpsanu nazwy, znaku równośc wartośc parametru, take kolejne wpsy są oddzelone średnkam. Przykładowe zadane: workergroup=math;workerfun=do;tme=0;groupid= ;e0= ;verson= ;endMode=r(p1);p2=1.8;p1=1.4;gs=false;num=0;gjss=true;workerMode=r( p1);b0=1.0;tmeout= ;count=1;tmecreate=18:50:46;valuesum= ;endGroup=math;group=workerQueue;d= ;endFun=add;fun=set ;dmensons=1;spltparts=2;agentname=agent11; 1.2 Połączena komunkacja Aby Agent był bardzo elastyczny, posada klka możlwośc komunkacj (rys. 4). Podstawowym połączenem jest gnazdo secowe (Socket). Inne bezpośredne połączena do datagramy RMI, dodatkowo może być zarejestrowany w katalogu usług GIIS (RMI), GADS (Socket) lub GJSS (JavaSpaces). Aby przesyłać plk wększe dane, używany jest klent http.

9 Laboratorum HDSED - Przetwarzane Agentowe 9 Agent Agent nadrzędny Inn Agenc Performance Server Serwsy HTTP Plugny aplkacje GIIS (Katalog) GJSS (JavaSpaces) HD Rys. 4. Komunkacja Agenta Serwery Wybór komunkacj jest poltyką wewnętrzną Agenta możlwą do konfguracj przez użytkownka. Przy wysyłanu zadana sprawdzane jest, czy stneje połączene bezpośredne z wybranym Agentem, jeżel tak, to wyberana jest ta forma komunkacj. W przypadku, gdy ne ma połączena bezpośrednego, wyberany jest katalog GIIS, GJSS lub GADS. Połączena bezpośredne z nnym Agentem są możlwe za pomocą: AgentDatagramServer szybka metoda komunkacj, jednak nepewna. Można przesyłać take komunkaty, które mogą być zgubone (wydajność systemu, pomary lcznków systemowych). AgentSocketServer prosta metoda komunkacj, można przesyłać dane zadana o newelkm rozmarze (ponżej 1,5kB). Każde połączene utrzymuje osobny wątek, dzęk czemu ne blokuje pracy Agenta. Duża lczba połączeń może być nekorzystna dla całego systemu. Przy rzadko używanych połączenach ne stosuje sę tej metody. AgentRmServer najbardzej skomplkowana metoda komunkacj, wymagająca wyszukana serwsu RMI. Korzystane z serwera jest przezroczyste, operacje są na namastce serwera, tak jakby to był obekt na serwerze. Wele połączeń ne wymaga utrzymywana osobnych wątków, jednak komunkacja jest tylko w jedną stronę klent-serwer. AgentHttpServer serwer ten służy tylko do udostępnana plków przez seć za pomocą połączena operującego na gnazdach secowych (Socket). Poberane plków odbywa sę bez wedzy Agenta na życzene klenta http.

10 Laboratorum HDSED - Przetwarzane Agentowe GAWS GAWS (Grd Agent Worker Servce) zarządza komunkacją wykonywanem zadań, w ramach tego posada sps dostępnych Agentów wraz z ch dentyfkatoram secowym (AgentNetAddress zawera podstawowe dane do połączena sę). W określonych odstępach czasu lsta jest uaktualnana z katalogu GIIS, a także przez samych Agentów połączonych bezpośredno. Dzęk zastosowanu tablcy haszującej, dla każdego Agenta może być szybko pobrana klasa, która realzuje połączene bezpośredne. Jeżel takej klasy ne ma, to poberana jest klasa wysyłająca za pomocą jednego z katalogów. 1.3 System Agentów System Intelgentnych Agentów jest wzorowany na technolog GRID. Współdzelony dostęp do wszystkch zasobów zapewna wysok współczynnk skalowalnośc, natomast bezpeczeństwo zapewnone jest przez logowane do systemu każdego użytkownka. Komunkacja odbywa sę na welu pozomach, jednocześne zapewnając, że nedostępność jednego z serwsów ne spowoduje całkowtej blokady systemu. Technologa rozproszonych Agentów pracujących w GRID przyjmuje następujące założena: Łatwość obsług przejrzystość konfguracj. Przezroczystość pracując na klku maszynach równolegle, należy zapewnć, aby użytkownk ne musał wedzeć jake komputery w danej chwl są wykorzystywane. Bezpeczeństwo system, w którym udostępnane są pewne zasoby mus zapewnać bezpeczeństwo autoryzacj komunkacj. Interoperacyjność Agenc mogą być uruchaman na różnych stanowskach sprzętowych nezależne od nch pownn pracować tak samo. Efektywność system pownen zapewnać maksymalne wykorzystane zasobów. Bardzej czasochłonne zadana pownny być wykonywane na szybszych komputerach, a mnejsze zadana na bardzej obcążonych słabszych stacjach roboczych. Dostępność uruchomene Agentów na welu komputerach wąże sę ze stałą dostępnoścą zasobów. Skalowalność zwększane lczby komputerów z Agentam pownno proporcjonalne zwększać szybkość całego systemu. Elastyczność jeżel jeden z komputerów ulegne awar, to ne pownno meć to wpływu na stablną pracę całego systemu.

11 Laboratorum HDSED - Przetwarzane Agentowe 11 Autonomczność zdolność podejmowana samodzelnych decyzj na podstawe odkrywanej wedzy. Modularność cały system jest podzelony na nezależne częśc, ne wszystke są koneczne do prawdłowej pracy systemu. Percepcja zdolność do postrzegana reagowana na pewne zmany otaczającego środowska Katalog GADS GADS jest katalogem usług dla Agenta (rys. 5). Zamplementowany jest na gnazdach secowych. Katalog może meć welu klentów, którzy rejestrują sę przy perwszym połączenu. Do katalogu przesyłane są zadana AgentTask, za pomocą których można wykonać odpowedne czynnośc: przesłane zadana do jednego lub wszystkch klentów, ustawene statusu. K oordynac ja GA DS Prze strze ne zada ń Zarząd za ne Zarząd za ne po łąc ze na m Rys. 5. Schemat GADS Przestrzene zadań Katalog posada przestrzene zadań, które są określonego typu. Przy rejestracj Agent tworzy swoją przestrzeń prywatną typu agent, do której można zapsywać zadana dla nego. agent przestrzeń prywatna Agenta, zadane dodane do przestrzen zostane natychmast wysłane do danego Agenta, all zadane dodane będze natychmast rozesłane do wszystkch Agentów zarejestrowanych w GADS, one zadane dodane do przestrzen będze losowo wybrane do Agenta, prvate przestrzeń prywatna dla Agenta, zadana dodane czekają, aż dany Agent je poberze, room zadana czekają w kolejce, jeżel jest wolny agent, to kolejne zadane jest wysyłane, status zadana są dodawane do tablcy haszującej, kluczem jest parametr gadskey, dowolny Agent może pobrać wszystke zadana, ne usuwając ch.

12 Laboratorum HDSED - Przetwarzane Agentowe Organzacja Wrtualna (VO) Rysunek 5 przedstawa komunkację pomędzy Agentam w herarchcznej strukturze. VO oznacza Organzację Wrtualną, w ramach której Agenc wymenają sę zadanam bez konecznośc korzystana z katalogu usług. Organzacja Wrtualna to zbór zasobów tworzących logczną całość. Przykładem może być dzał w frme, wszystke komputery jednej grupy projektowej, czy stanowska pracujące nad tym samym projektem. VO VO GIIS lub GJSS Rys. 6. Herarchczna struktura Agentów w ramach Organzacj Wrtualnej połączena przez GIIS, GJSS lub GADS Przy małej lczbe jednostek połączonych można stworzyć jedną VO, wtedy każdy Agent będze posadał aktywne połączene wszystkch nnych. Komunkacja będze optymalna, jednak balansowane znaczne utrudnone. W przypadku dodana nowego zadana, jest ono dzelone na klka częśc (zazwyczaj pęć lub sześć razy węcej, nż jest dostępnych Agentów), a następne rozsyłane kolejno do wszystkch. Gdy przyjdze rozwązane od konkretnego Agenta (parametr from zadana), posyłane jest mu nowe zadane. W takm wypadku wykorzystane Agentów jest pełne w całym cyklu trwana oblczeń z wyjątkem krótkego (około 20-80ms) oczekwana na nowe zadane Przesyłane zadań Przy przesyłanu bezpośrednm, Agent łączy sę za pomocą Socketu z nnym Agentem bezpośredno wymena zadana. Ne jest to korzystne w przypadku welu komputerów. Ne jest to skalowalne, jednak zdecydowane najszybsze. Przesyłane przez Socket ne wymaga dodatkowego nakładu marszałkowana (seralzacj). Dodatkowo ne są obsługwane transakcje (jak w przypadku JavaSpaces), a dla jednego zadana jest jeden przesył jak pokazano na rysunku 7.

13 Laboratorum HDSED - Przetwarzane Agentowe 13 Agent Przesłane zadana Agent Wysłane wynków Rys. 7. Przesyłane bezpośredne Agent Agent Pobrane wynków Wysłane wynków Przesłane zadana GIIS, GJSS lub GADS Pobrane zadana Rys. 8. Przesyłane za pomocą GIIS, GJSS lub GADS 1.4 Hurtowna danych Założena Celem hurtown danych jest połączene danych z różnych stnejących źródeł. Mogą to być bazy transakcyjne różnych jednostek organzacj, które są stale w użycu, nośnk danych archwalnych nne plk np. XML. Hurtowna danych jest analtyczną bazą danych zntegrowanym środowskem rozwojowym obsługującym procesy: Ekstrakcj, transformacj ładowana z różnych źródeł danych (ETL/MR) Zaawansowanego zarządzana danym Skalowalnego przetwarzana analtycznego Intelgentnego eksplorowana danych dla odkrywana wedzy Mnmalzacj cyklu uaktualnana danych W przecweństwe do danych w bazach transakcyjnych dane w hurtown danych ne są uaktualnane w czase rzeczywstym, lecz w określonych odstępach czasu. Proces uaktualnana danych jest na tyle obcążający system, że należy go przeprowadzać w odpowednch odstępach czasu, poneważ zbyt długe okresy mędzy uaktualnenam mogą w znaczący sposób wydłużyć proces ładowana danych (ETL).

14 Laboratorum HDSED - Przetwarzane Agentowe 14 Środowsko hurtown danych jest z założena nadmarowe. Wele systemów baz danych obsługujących przedsęborstwo oraz nne źródła nformacj umeszczają dane we wspólnej baze, która z kole może być powelona w jednej lub klku hurtownach tematycznych tzw. datamart Model danych Zastosowane systemów hurtown danych ma sens dla baz o rozmarach GB TB. Tak duże zbory danych wymagają stosowana wyrafnowanej analzy efektywnego środowska hurtown danych. Obecne w hurtownach danych główne spotykane są dwa modele danych: model relacyjny model welowymarowy. Wraz z tym modelam stneją cztery klasy przetwarzana analtycznego, z których podstawowe znaczene mają perwsze dwe: ROLAP Relatonal OLAP relacyjny OLAP MOLAP Multdmensonal OLAP welowymarowy OLAP HOLAP Hybrd OLAP DOLAP Desktop OLAP Schemat hurtown Rozważany w pracy schemat hurtown danych jest pokazany na rysunku 9. Tabelą faktów jest MEASURES, natomast pozostałe to tabele wymarów. W procese ETL dla tej metody, dane dla tablcy MEASURES są dzelone na wszystke dostępne połączena, natomast dane dla pozostałych tablc są przesyłane w całośc. MTR_LOC locatonid locx locy locz METRES counterid locatonid attrid mondateid MEASURES measid value zone dateid tmeid counterid MTR_ATTR attrid type scope Rys. 9. Schemat tabel

15 Laboratorum HDSED - Przetwarzane Agentowe Metody równoległego przetwarzana danych Dane z HD są rozdzelane na wele komputerów. Uzyskane skalowalnośc dużej lczby stacj roboczych jest zaletą, ale wąże sę z pewną nedogodnoścą. Przy dużej lczbe podzału jest spora szansa, że pewne maszyny ne będą dzałały. Zakłada sę używane najlepszego wskaźnka jakośc do ceny, węc zwększa sę prawdopodobeństwo, że wydajność systemu może spadać wraz z czasem. Powoduje to koneczność częstszej konserwacj pojedynczych jednostek. Otrzymane wynk mogą być nedokładne, w raze konecznośc uzyskana dokładnych wynków musmy osągnąć sprawność wszystkch komputerów, co jest częstokroć nemożlwe. Zapytane kerowane do hurtown, gdze lczba werszy może przekraczać klkadzesąt mlonów, będze wykonywało sę bardzo długo. Perwsza z prezentowanych metod daje możlwość uzyskana odpowedz przyblżonej przeszukując tylko część całej tablcy faktów. Kolejną metodą podzału herarchcznego poprzez partycjonowane ndeksowane możemy przyspeszyć nektóre zapytana. Wraz ze zwększanem obszaru poszukwań, zarówno czasu przestrzenn, czas odpowedz będze sę znaczne zwększał. Rozwązanem są agregaty zamplementowane jako drzewa MVB (Mult-Versonng Tree) STCAT (Spatal-Temporal Cup Aggregate Tree) [12], lub Indeksy Btmap pozwalające na podzał herarchczny przeszukane tylko tych częśc tabel faktów, które zawerają potrzebne nformacje Podzał hurtown danych (DWS) Przedstawana propozycja opera sę na dostarczenu użytkownkow odpowedz nawet, jeżel w systeme DWS jedna lub węcej maszyn jest nedostępna. W tym przypadku odpowedź będze przyblżona, poneważ nektóre częścowe wynk są nedostępne. Rozwązane to jest dobre z następujących powodów: błąd przyblżena jest bardzo mały ne wpływa na wsperane decyzj w wększośc przypadków; jest możlwość dostarczena użytkownkow przedzałów ufnośc, które dają wyobrażene o welkośc dopuszczalnego błędu przyblżonych wynków. W technce Podzału Hurtown Danych (DWS), dane są rozprowadzane na stacje robocze, które mają schemat gwazdy (schemat równoważny wersj scentralzowanej). Tablce wymarów są powelone na każdej maszyne roboczej, natomast tablca faktów jest rozprowadzana na wszystke stacje używając jednoltego losowego próbkowana Jednolte losowe próbkowane Procedura systematycznego próbkowana polega na wybranu losowo jednego numeru k z przedzału [1, N], który służy jako lczba początkowa, czyl perwszy element próbk. Wtedy systematyczne próbkowane zawera elementy: k, k+n, k+2n,... k+(n-1)n.

16 Laboratorum HDSED - Przetwarzane Agentowe Estymacja błędu Technka DWS używa podejśca partycjonowana well-known round-robn, który ma zastosowane do danych nskego pozomu tablcy faktów. Z jednego zapytana tworzymy klka, za pomocą których lczymy częścowy wynk. Posadając rezultaty poszczególnych zapytań, można szybko oblczyć wynk całkowty. Podzapytana są wykonywane nezależne na komputerach, jest to warunek koneczny otrzymana optymalnego balansowana obcążena uzyskana dobrej skalowalnośc rozwązana. Możlwość otrzymana losowych próbek jest ważna, poneważ system zwraca przyblżoną odpowedź na zapytane, gdy nektóre komputery są nedostępne. W takm przypadku możemy wyznaczyć błąd estymacj w forme przedzałów ufnośc Zabezpeczene DWS Metoda DWS daje wynk nawet w przypadku nedostępnośc węzłów. Z jednej strony pozwala to na wykorzystane słabych mnej pewnych komputerów do tworzena struktury hurtown danych. Z drugej strony ryzyko awar takch komputerów jest znaczne wększe, a szansa uzyskana bezbłędnego wynku coraz mnejsza. W efekce zastosowane metody DWS w praktyce bez żadnych modyfkacj jest newelke. Możemy rozpatrzyć system HD, w którym najmnej pewne komputery mają kope danych na mocnych pewnych serwerach. W przypadku awar lub nedostępnośc jednej z maszyn, można uruchomć nne połączene wykonać zapytane wolnej, za to bez żadnego błędu. Rozpatrzmy przypadek, w którym mamy plk measures.txt (1mlard werszy) 7 komputerów (3 dobre serwery 4 nepewne stacje robocze) oznaczonych K1 do K7. Plk z danym dzelmy na 20 częśc oznaczonych M1 do M20 (rys. 10). K1 K2 K3 K4 K5 K6 K7 M1 M8 M15 M18 M2 M9 M16 M19 M3 M10 M17 M20 M4 M11 M5 M12 M6 M13 M7 M14 M4 M5 M6 M7 M11 M12 M13 M14 M1 M2 M3 M8 M9 M10 M15 M16 M17 M18 M19 M20 Rys. 10. Modyfkacja metody DWS 7 komputerów, 3 serwery, 4 stacje robocze W przypadku, gdy wszystke maszyny dzałają, można zadać zapytane M1-M20, odpowedź będze dokładna, a zapytane zostane rozdzelone pomędzy komputery wykonane. Jeżel ne zależy nam na dokładnośc wynku, to możemy utworzyć zapytane tylko do M1-M7 lub M1-M10. Zapytane będze mało około 1-2% błędu, ale wykona sę

17 Laboratorum HDSED - Przetwarzane Agentowe 17 około 2 razy szybcej. W przypadku awar jednej z maszyn, nny komputer może ją zastąpć. W przypadku awar dwóch, trzech lub nawet czterech słabych maszyn (K4-K7) mocne mogą je zastąpć, natomast, gdy zawodą dwa serwery (K1-K3) lub serwer słaby komputer (np.: zawedze K1 K5, to M8 M5 będą neosągalne), to nedokładność wynków będze nadal mała (przy 10% nedostępnośc błąd będze ponżej 1%). Innym przypadkem jest wele maszyn o podobnych parametrach, jak jest to pokazane na rysunku 11. Podzał danych pomędzy wele maszyn może powodować nepewność metody, aby zabezpeczyć sę przed takm sytuacjam, można podwoć każdą część danych na dwóch serwerach. Załóżmy 5 komputerów 100 mlonów werszy w tablcy faktów. Dzelmy dane źródłowe na 20 częśc oznaczonych M1 do M20, a następne kolejno rozmeszczamy na dostępnych maszynach. K1 K2 K3 K4 K5 M1 M6 M11 M16 M2 M7 M12 M17 M3 M8 M13 M18 M4 M9 M14 M19 M5 M10 M15 M20 M2 M8 M14 M20 M3 M9 M15 M16 M4 M10 M11 M17 M5 M6 M12 M18 M1 M7 M13 M19 Rys. 11. Modyfkacja metody DWS 5 stacj roboczych z kopą danych Zapytana M1-M5, M1-M10, M1-M15, M1-M20 oferują odpowedno 25%, 50%, 75% 100% przeskanowana tablcy faktów, węc odpowedno 4 krotne, 2 krotne, 1,5 krotne przyspeszene wykonywana zapytana. Błąd zależy od selektywnośc zapytana rozkładu danych. Opracowana została technka podwajana welkośc hurtown celem uzyskana nezawodnośc odpowedz nezależnej od stacj roboczych. Przy nedostępnośc jednego (dowolnego) komputera, cztery pozostałe uzupełnają brak danych korzystając z kop. Dodatkowo, rozłożene obcążena jest równomerne. Gdy zostane wyłączony komputer K5, to dane M5, M10, M15, M20 zostaną pobrane odpowedno z komputerów K4, K3, K2, K1. Przy nedostępnośc dwóch dowolnych komputerów, tylko 2 z 20 częśc pozostaną nedostępne. Przy nedostępnośc komputerów K4 K5, dane M5 M19 pozostaną nedostępne. Aby metoda była w pełn skuteczna, lczba częśc mus być uzależnona od lczby komputerów: lczba _ czesc= N lczba _ komputerów ( lczba _ komputerów 1) (1) gdze: N dowolna lczba naturalna

18 Laboratorum HDSED - Przetwarzane Agentowe Drzewo agregacj MVB Drzewo MVB pozwala zapsać wartość wraz z wersjonowanem, czyl dodanem do pomaru stępla czasowego. Lśce zawerają wartośc aktualne oraz agregacyjne (sum, count, mn, max). Jest wyraźna optymalzacja pod względem czasu wyszukwana. Ważnym elementem jest możlwość pracy drzewa całkowce na dysku. Umożlwa to wyłączene Agenta, a po włączenu można już bez procesu ETL korzystać z dostępnych agregacj. Zastosowane MVB drzewa jest ogranczone z powodu zajmowana bardzo dużej przestrzen w pamęc RAM lub mejsca na dysku Drzewo agregacj STCAT Ops metody Drzewo STCAT (Spatal-Temporal Cup Aggregate Tree) to przestrzenno-czasowe kubełkowe drzewo agregacyjne [12]. W każdym lścu drzewa welowymarowego jest lsta korzen do drzew czasowych, czyl jest to struktura lsty drzew czasowych o jednym wymarze podczepanych do lśc drzewa welowymarowego Wady poprzednch metod Duża lczba danych w hurtown ne pozwala na szybke przeszukane całej tabel. Metody przyblżone, take jak DWS, wymagają odpowednego przygotowana. Podzał herarchczny hurtown powoduje znaczne zwolnene procesu ETL. Drzewo MVB nadaje sę znakomce do tych rozwązań, jednak jego stworzene zajmuje bardzo dużo czasu mejsca na dysku. Dodatkowe problemy MVB-drzewa to brak możlwośc oblczena agregacj mn max dla określonego przedzału czasu. Jeżel mamy agregacje mn lub max z okresu <0;t1> <0;t2>, to ne ma metod pozwalających na oblczene mn lub max w przedzale <t1;t2>, co jest prezentowane na rysunku 12. Max=40 Max=??? Max=40 0 t1 t2 Rys. 12. Oblczene wartośc maksymalnej w przedzale czasu Duży rozmar MVB-drzewa wynka z przechowywana wszystkch wartośc hstorycznych. W wększośc przypadków ne jest to potrzebne. Wystarcza przechowywane wartośc w kubełkach, które mają określony rozmar, odnośne czasu może być to 12 godzn lub 1 dzeń.

19 Laboratorum HDSED - Przetwarzane Agentowe Drzewo czasowe Lsta agregatów może tworzyć określone kubełk na tej podstawe oblczać ch sumę, lczbę, mnmum czy maksmum. W jednym kubełku może być wele pomarów. Oczywśce jedna lsta odpowada pomarom z jednego lcznka, lub jednemu typow danych w strukturze HD. Zapytana kerowane do lsty pozwalają przeszukać lnowo potrzebne dane. Rozmar kubełka jest zdefnowany przez użytkownka, natomast w jednym kubełku może być wele pomarów. Dodane pomaru dla kubełka przebega następująco: valuesum += Sum; valuecount += Count; valuemn = Math.mn(valueMn, Mn); valuemax = Math.max(valueMn, Max); Aby przyspeszyć wyszukwane zastosowane zostało drzewo z możlwoścą rozbudowana, podczas gdy dodana wartość przekracza zakres agregacj. Tworzy sę początkowy lść dla przedzału czasowego, jeżel kolejny pomar przekracza rozpętość czasową przedzału, to dokładany jest na górę korzeń, który ma dwukrotną rozpętość czasową. Przykładowo, przy stane początkowym drzewa: 1: [500,600) Dodajemy pomar 534 (v=3.4), wpada do kubełka 1. Dodajemy pomar 608 (v=1.3), pomar wykracza poza przedzał [500,600), dodawany jest lść nad aktualnym korzenem, poneważ dodawany pomar jest wększy nż średna przedzału aktualnego korzena, to nowy korzeń ma wększy przedzał prawostronne. Wartość sumy, lczby, mn max są przepsywane. 1: [500,600] v=3.4 2: [500,700) v=3.4 W tej postac dodawany jest pomar, korzeń 2 tworzy lść dodaje pomar, przechodząc przez strukturę herarchczną, na każdym pozome jest dodawany pomar: 2: [500,700) v = 4.7 (uaktualnona wartość 3.4 o nowy pomar 1.3) 1: [500,600] v=3.4 3: [600,700) v=1.3 W ten sposób lść 2 jest teraz korzenem, posada wartość agregacyjną lśc będących pod nm ( 4.7 = ) Dodajemy pomar 423 (v=1.1), poneważ wartość wykracza poza korzeń, to tworzymy na wyższym pozome nowy korzeń. Rozpętość wyższego korzena jest zawsze dwa razy wększa od poprzednego,: 4: [300,700) v=4.7 2: [500,700) v=4.7 (uaktualnona wartość 3.4 o nowy pomar 1.3) 1: [500,600] v=3.4 3: [600,700) v=1.3 Teraz dodając pomar tworzone są nowe lśce: 4: [300,700) v=5.8 5:[300,500] v=1.1 2: [500,700) v = 4.7

20 Laboratorum HDSED - Przetwarzane Agentowe Wyszukwane wartośc 6:[400,500] v=1.1 1: [500,600] v=3.4 3: [600,700) v=1.3 Wyszukwane wartośc zakresowych jest dużo szybsze nż w przypadku lnowej struktury. Ponadto lśce na wyższych pozomach posadają agregacje wszystkch nżej położonych lśc, węc w przypadku, gdy rozmar zapytana obejmuje cały lść, ne ma potrzeby wyszukwana w lścach podrzędnych czas Rys. 13. Szukane agregacj w drzewe czasowym Jak pokazano na rysunku 13, aby znaleźć agregacje, wystarczy odwołać sę do lczby lśc ne wększej, nż czterokrotna wysokość drzewa. Szare pola to lśce do których należy sę odwołać przy zapytanu oznaczonym przerywanym lnam, lczby podkreślone wchodzą w skład agregacj do wynku. Przy małych drzewach ne wdać zysku, gdyż odwołań jest 13, natomast wszystkch lśc na najnższym pozome 16. Jednak przy wysokośc drzewa równej 10 (około tysąc lśc), zapytane odnese sę maksymalne do 40 lśc (zamast do 1000). Poza tym, nektóre zapytana mogą wykonywać sę bardzo szybko (rys. 14). Rys. 14. Przypadek optymalnego przeszukwana drzewa Dla lewego prawego przedzału wyszukwanej wartośc wchodząc w głąb drzewa odwedzamy najwyżej dwa lśce. Oznacza to maksymalną lczbę 4 lśc na pozom.

21 Laboratorum HDSED - Przetwarzane Agentowe 21 h= log2 L f = 4 h f = 4 log 2 L (2) gdze: h wysokość drzewa L lczba wszystkch kubełków (lśc) f maksymalna lczba lśc odwedzonych przy wyszukwanu zakresowym Drzewo welowymarowe Kolejnym drzewem jest drzewo welowymarowe, które bazuje na zasadze z poprzednego drzewa, jednak realzuje to dla welu wymarów. Dla lczby wymarów oznaczonej jako w, lczba lśc podrzędnych jest równa 2 w. gdze L lczba lśc na pozome x w lczba wymarów drzewa x numer pozomu drzewa w x = (2 (3) L ) Dodane kolejnego lśca można zaprezentować na płaszczyźne dwuwymarowej. Jako perwszy lść mamy obszar (kwadrat) o współrzędnych x od 700 do 800, a współrzędnych y od 200 do : ( , ) Dodajemy nowy korzeń o numerze d=10 na pozycj (740, 285) drug d=11 na pozycj (780, 215): 1: ( , ) [ 10, 11 ] Dodajemy d=12 na pozycj (650, 270). Pozycja wykracza poza ramy korzena, wec tworzony jest nowy korzeń. Rozpętość nowego korzena jest wyznaczana z punktu dodawanego wg następującego algorytmu (values to tablca pozycj nowego punktu, vavg to tablca środków wymarów, vrootmn vrootmax to tablce punktów wyznaczających krańce nowego lśca, vmn vmax to tablce punktów wyznaczające aktualny korzeń, vspan to tablca rozpętośc aktualnego korzena): nt[] vrootmn = new nt[dmensons]; nt[] vrootmax = new nt[dmensons]; for (nt =0; <dmensons; ++) { f (values[] < vavg[]) { vrootmn[] = vmn[] - vspan[];

22 Laboratorum HDSED - Przetwarzane Agentowe 22 } vrootmax[] = vmax[]; } else { vrootmn[] = vmn[]; vrootmax[] = vmax[] + vspan[]; } 2: ( , ) 1: ( , ) [ 10, 11 ] Teraz punkt dodawany meśc sę w korzenu, jednocześne dodawany jest nowy lść: 2: ( , ) 1: ( , ) [ 10, 11 ] 3: ( , ) [ 12 ] Kolejno dodajemy punkt (880, 523) d=13. Poneważ ne meśc sę w korzenu, tworzony jest nowy korzeń, a następne dodawany punkt. Jeżel dany lść ne ma podlśca o danym hpersześcane, to jest tworzony nowy lść. Aby wstawć wartość czasową, należy w perwszej kolejnośc wstawć korzeń drzewa czasowego do przestrzen drzewa welowymarowego. Na rysunku 55, numery 10, 11, 12, 13 są to ID drzew czasowych, które ne mają znaczena przy wyszukwanu. Służą tylko do poprawnej dentyfkacj drzewa przy wstawanu nowych wartośc. Rozmary prostokątów (lub hpersześcanów dla wększej lczby wymarów) są doberane przez użytkownka, jednak jak zostane pokazane w dalszej częśc, dobór odpowednch wymarów ne ma dużego znaczena dla efektywnośc całej. Każde drzewo czasowe znajduje sę w danym lścu welowymarowym. Lść może meć węcej (nawet do 20) takch drzew czasowych. Dla przyspeszena wykonywana zapytań przestrzennych zakresowych, każdy lść tworzy dodatkowe drzewo czasowe, w którym umeszcza agregacje wszystkch zebranych drzew czasowych. W prezentowanym wyżej przykładze, prostokąt ( , ) posada drzewo z wartoścam drzew Prostokąt ( , ) posada drzewo czasowe z wartoścam z drzew 10, 11, 12. Prostokąt ( , ) posada zagregowane wartośc wszystkch drzew czasowych pod sobą (10, 11, 12, 13). Take agregacje ne są wymagające pod względem czasowym przy tworzenu, natomast mogą znaczne przyspeszyć pytana o wększe zakresy. Przykładowo zapytane o obszar ( , ) będze musało przeszukać tylko jedno drzewo czasowe dla prostokąta ( , ) zamast trzech drzew (10, 11, 12). Przy wększej lczbe drzew czasowych w lścach jest to bardzo opłacalne. Ponżej pokazany jest przykład zapytana zakresowego (rys. 15). Lną przerywaną zaznaczony jest zakres zapytana, prostokąty lczby pogrubone to drzewa czasowe, które trzeba przeszukać.

23 Laboratorum HDSED - Przetwarzane Agentowe , 15 10, 11 14, 16 21, , 30 17, 18 19, 20 25, 26 27, 28 13, 19 23, Rys. 15. Zapytane zakresowe przestrzenno-czasowe Jak wdać na rysunku 15, trzeba przeszukać 9 drzew czasowych, zamast 22. Przy zapytanach na wyższych pozomach zysk może być jeszcze wększy. Przy zaznaczenu całego obszaru korzena, przeszukane będze tylko jedno drzewo czasowe (drzewo korzena drzewa welowymarowego), w powyższym przykładze lść ( , ) Indeksy btmap Metoda Indeksów Btmap została zamplementowana jako bardzo elastyczny dodatek do struktury Agentów. Możlwe jest defnowane lczby kolumn tabel dowolnego podzału herarchcznego, przez co osąga sę przeszukane tylko tych częśc tabel, które w rzeczywstośc mogą zawerać cenne nformacje. Przyspeszene ne jest tak duże jak w przypadku drzew, jednak ta metoda ma nną zaletę, manowce możlwa jest konfguracja pod każdy schemat hurtown z dowolną lczbą wymarów Rekord btmapy Rekord w strukturze btmapy jest dowolne konfgurowalny, zarówno lczba kolumn, ch typy defncje można ustalć na początku korzystana z btmapy. Dane są przechowywane bnarne w plku paczkam. Przykładowe kolumny tworzene typu btmapy jest pokazane ponżej: // ustawamy kolejne kolumny ArrayLst<AgentBtmapColumn> cols = new ArrayLst<AgentBtmapColumn>(); // dodane kolumn, mozna dodac tylko typ, nazwe nne nformacje

24 Laboratorum HDSED - Przetwarzane Agentowe 24 cols.add(new AgentBtmapColumn(AgentNumber.TYPE_DOUBLE, true, "value")); cols.add(new AgentBtmapColumn(AgentNumber.TYPE_LONG, 12E11, 13E11, 100, false, "tme")); cols.add(new AgentBtmapColumn(AgentNumber.TYPE_BYTE, "zone")); cols.add(new AgentBtmapColumn(AgentNumber.TYPE_BYTE, 0.0, 3.0, 3, false, "type")); cols.add(new AgentBtmapColumn(AgentNumber.TYPE_INT, 0.0, , 100, false, "x")); cols.add(new AgentBtmapColumn(AgentNumber.TYPE_INT, 0.0, , 100, false, "y")); // tworzymy nowy typ rekordu na podstawe kolumn AgentBtmapType type = new AgentBtmapType(cols); Pojedynczy konfgurowalny rekord jest obektem klasy AgentBtmapRecord. Aby przydzelć rekord do paczk, oblczany jest kod haszujący na podstawe wartośc kolumn. Z wartośc kolumn wyznacza sę współczynnk haszujące: range parts parts m = parts parts 1 j= 1, parts 0 = max = 0 cup 0 cup = 0 scale 0 scale mn j = 1 range = parts parts j = 0 = m (4) gdze: mn mnmalna wartość argumentu o numerze max maksymalna wartość argumentu o numerze parts lczba częśc na jake należy podzelć kolumnę cup zakres jednego przedzału dla kolumny scale współczynnk skalowana dla kolumny Dla danej tablcy wartośc można oblczyć następujący kod haszujący: gdze: M lczba kolumn dla btmapy Paczka rekordów ( value mn ) scale hash = (5) cup M 1 = 0 Dla każdego wstawanego rekordu jest lczona lczba haszująca, która jednoznaczne defnuje paczkę danych. Jeżel paczka ne stneje, to jest tworzona na dysku dodawana do lsty paczek. Paczk składają sę maksymalne z 1000 rekordów (welkość konfgurowalna). Jeżel dana paczka przekracza swoją welkość, tworzona jest nowa o tym samym type.

25 Laboratorum HDSED - Przetwarzane Agentowe 25 Lsta paczek wraz z ch opsem jest przechowywana w pamęc. Paczkę opsują trzy rekordy mnmalny, maksymalny rekord sumy. Przy dodawanu nowego rekordu wszystke trzy są sprawdzane uaktualnane, jeżel tylko zajdze taka potrzeba. Dodatkowo paczka jest opsana przez sumę haszującą, lczbę aktualnych rekordów numer paczk na dysku. Pozycja rekordu w plku dla danej paczk jest oblczana na podstawe wzoru: flepos = packnum * MAX_DATA_COUNT * recordsze + recordnum * recordsze Przy procese ETL dla każdego rekordu trzeba znaleźć odpowedną paczkę. W celu mapowana sumy haszującej rekordu na konkretną paczkę użyte jest drzewo czerwono-czarne. Przy małej lczbe paczek w stosunku do lczby rekordów jest to najbardzej wydajna struktura do przeszukwana. Wstawane nowej paczk do drzewa odbywa sę rzadko, natomast wyszukwane jest optymalne przez zbalansowane drzewo Ładowane danych Kolumny są dowolne konfgurowalne, z tego powodu na różnych pozycjach mogą być różne typy danych. Dodane nowej danej odbywa sę za pomocą funkcj loaddatafromnumbers. Argumentem jest tablca obektów typu AgentNumber[], przykładowe dodane kolejnego wersza jest pokazane ponżej: AgentNumber[] values = new AgentNumber[6]; values[0] = new AgentDouble(value); values[1] = new AgentLong(tme); values[2] = new AgentByte((byte)zone); values[3] = new AgentByte((byte)type); values[4] = new AgentInteger(locX); values[5] = new AgentInteger(locY); bmp.loaddatafromnumbers(values); Jeżel dodawany rekord należy do paczk, która posada maksymalną lczbę rekordów, to tworzona jest nowa pusta paczka o tym samym kodze haszującym, dodawana jest do lsty jednokerunkowej, a w drzewe jest podmenana stara pełna paczka, nową pustą. W ten sposób przy przepełnenu danej paczk tworzone są kolejne. Domyślny rozmar paczk to 1000 elementów, co pozwala na znaczne oszczędnośc w pamęc. Wypełnene paczk jest lczone jako stosunek lczby rekordów w paczce do maksymalnej lczby rekordów w paczce: gdze: η wypełnene paczk o numerze r lczba rekordów w paczce o numerze r max maksymalna lczba rekordów w paczce r = r max η (6) Całkowte wypełnene paczk jest lczone jako suma wszystkch rekordów do sumy wszystkch rekordów możlwych do zapsana w paczkach:

26 Laboratorum HDSED - Przetwarzane Agentowe 26 gdze: η wypełnene paczk r lczba rekordów w paczce o numerze N 1 r max maksymalna lczba rekordów w paczce r N 1 r = 0 = 0 η = = (7) N 1 N rmax rmax = 0 N lczba wszystkch paczek, paczk są numerowane 0, 1, 2, N-1 Przy małym wypełnenu może wystąpć sytuacja, że lczba paczek jest newele wększa od lczby rekordów, węc rozmar plku może być znaczne wększy, a także btmapa w pamęc może zajmować dużą przestrzeń Wyszukwane rekordów Wyszukwane odbywa sę za pomocą dwóch rekordów tworzących przedzał. Każda paczka jest sprawdzana względem przecnana zawerana z szukanym wartoścam. Możlwe są trzy sytuacje: przedzał wyklucza sę z paczką cała paczka jest omjana, paczka zawera sę w przedzale cała paczka jest włączana (używany rekord sumy dla paczk), paczka przecna sę częścowo z rekordem wszystke rekordy paczk muszą zostać odczytane z dysku sprawdzone, tylko w tym przypadku wymagany jest odczyt z dysku. 1.6 Rozproszony proces ETL W systeme Agentów został zamplementowany rozproszony proces ETL, w którym Agent wystawa podzelone plk danych na serwer http, wysyła zadana do katalogu, a następne Agenc kolejno ścągają plk za pomocą klenta http uruchamają ładowane danych do bazy. Agent tworzy serwer http na określonym porce w wysyłanych zadanach defnuje śceżkę do plku w postac: Jak to pokazane na rysunku 16, Agenc poberają zadane, następne z serwera http kopują odpowedn plk, na końcu przeprowadzają lokalne proces ETL dla agregacj MVB, STCAT, Indeksów Btmap, a także bazy danych. Zadane pełnego rozproszonego procesu ETL jest znaczne dłuższe nż typowe pojedyncze zadane dla Agenta.

27 Laboratorum HDSED - Przetwarzane Agentowe 27 http plk1.dat plk2.dat plk3.dat plk4.dat A A A A Rys. 16. Rozproszony proces ETL 1.7 Specyfkacja zewnętrzna Uruchamane Agenta Przy perwszym uruchomenu Agenta, należy stworzyć użytkownka, na którego można będze sę zalogować. Z menu górnego wyberamy Wndow a następne Grd Agent Securty Servce: Rys. 17. Menu główne aplkacj Agenta Następne pokazuje sę okno GASS, gdze wyberamy zakładkę Users, jeżel ne ma żadnych użytkownków, to tworzymy nowego rozwjając menu kontekstowe:

28 Laboratorum HDSED - Przetwarzane Agentowe 28 Rys. 18. Okno GASS Po stworzenu użytkownków można sę zalogować wyberając w głównym menu: Menu Logn. Przed poprawnym zalogowanem wększość opcj serwsów ne będze dzałać poprawne, gdyż brak jest jakejkolwek konfguracj. Z tego powodu wszystke główne serwsy mają zablokowane uruchomene do momentu poprawnego logowana. Razem z Agentem pokazuje sę okno Agent Logger (rys. 19), do którego wpsują sę log z pracy Agenta. Ważne jest, aby po każdej ważnej operacj (włączene wyłączene serwsu, uruchomene ważnych zadań) sprawdzać dodane log. Log są dodawane w następującej forme: Rys. 19. Okno logów Agenta Log<godzna dodana>(nazwa modułu, numer funkcj, ważność loga): Treść loga Log o ważnośc 0-3 są to log nformacyjne, 4-5 ostrzegawcze, natomast ważność 6-9 to log błędów Agenta (ne znalezony plk, brak połączena do katalogu lub bazy danych nne).

29 Laboratorum HDSED - Przetwarzane Agentowe 29 Rys. 20. Menu kontekstowe do pokazywana ukrywana różnych oken Agenta Wększość zasobów Agenta jest pokazywanych w wygodnej forme tabel. Prawe każda tabela posada kontekstowe menu, z którego można wykonywać potrzebne akcje. Wele oken posada także take menu, które rozszerza wachlarz możlwośc. Okno główne Agenta ma możlwość szybkego pokazana wybranych oken (rys. 20) Katalog usług Z menu Wndow można uruchomć trzy katalog usług dla Agenta: Grd Index Informaton Servce, Grd Java Space Servce Grd Agent Data Servce. Dla GIIS GADS na zakładce Confguraton można ustawć numer portu, na której dzała usługa, a także nne potrzebne parametry. W okne GIIS na zakładce Agents możemy sprawdzać nformacje na temat aktualne połączonych klentów:

30 Laboratorum HDSED - Przetwarzane Agentowe 30 Rys. 21. Okno GIIS - nformacje o Agentach W okne GADS na zakładce Clents można sprawdzć lstę połączonych klentów (rys. 22), natomast na zakładce Spaces można zobaczyć dostępne przestrzene zadań. Rys. 22. Okno GADS - podłączen klenc Połączena do baz danych (GDBC) Po wybranu z menu Wndow Grd Data Bases Connectons, na zakładce Databases Connectons możemy zarządzać połączenam:

31 Laboratorum HDSED - Przetwarzane Agentowe 31 Rys. 23. Okno GDBC - połączena do baz danych Po wybranu Add connecton z kontekstowego menu, wpsujemy parametry połączena: Rys. 24. Dodane nowego połączena do bazy Po dodanu nowego połączena trzeba wybrać z menu opcję Connect, jeżel połączene będze poprawne, to można na zakładce Databases Users sprawdzć dostępne konta w baze, a także tabele zgodne ze schematem prezentowanym na zakładce Databases Schema. Za pomocą zakładk Methods można zarządzać agregacjam w hurtown: drzewam MVB STCAT, a także Indeksam Btmap.

32 Laboratorum HDSED - Przetwarzane Agentowe 32 Rys. 25. Okno GDBC - sps drzew STCAT Uruchamane GAWS, połączene Agenta do katalogów usług Po zalogowanu uruchomenu katalogów na jednym z dostępnych komputerów, można uruchomć główny moduł Agenta GAWS. Przed uruchomenem należy na zakładce Confguraton ustawć wszystke potrzebne parametry połączena do GIIS, GJSS, GADS, a także parametry Agenta nazwę, numer IP, uruchamane serwery. Po uruchomenu można już dodawać zadana sprawdzać aktualne wykonywane. Rys. 26. Okno GAWS - zadana aktualne wykonywane

33 Laboratorum HDSED - Przetwarzane Agentowe 33 Na zakładce Servers można dodawać nowe serwery http, socket, datagram, RMI. Na zakładce Clents Connectons można dodać nowego klenta: Rys. 27. Okno GAWS - lsta połączeń do nnych Agentów Konsola użytkownka GUMC Konsolę GUMC można uruchomć poprzez menu główne: Wndow Grd User Manager Console. Do poprawnego dzałana GUMC potrzebne są GDBC GAWS. Rys. 28. Okno GUMC zapytana