SYSTEM Z CIĄGŁYMI ZAPYTANIAMI O knn ZŁĄCZEŃ W PRZESTRZENNEJ HURTOWNI DANYCH REALIZATION OF CONTINUOUS KNN JOIN QUERIES IN SPATIAL DATA WAREHOUSE

Transkrypt

1 STUDIA INFORMATICA 2006 Volume 27 Number 2 (67) Marcin GORAWSKI, Wojciech GĘBCZYK Politechnia Śląsa, Instytut Informatyi SYSTEM Z CIĄGŁYMI ZAPYTANIAMI O NN ZŁĄCZEŃ W PRZESTRZENNEJ HURTOWNI DANYCH Streszczenie. Przedstawiono realizację systemu z ciągłymi zapytaniami lasy NN w przestrzeni eulidesowej, w oparciu o przestrzenną, telemetryczną hurtownię danych. Zapytania są realizowane dla obietów statycznych oraz obietów mobilnych. System umożliwia wyonywanie wielu równoczesnych zapytań ciągłych. Słowa luczowe: przestrzenna hurtownia danych, zapytanie, złączenie NN, obiet mobilny, przestrzeń eulidesowa REALIZATION OF CONTINUOUS KNN JOIN QUERIES IN SPATIAL DATA WAREHOUSE Summary. The paper describes realization on continuous NN join processing in spatial telemetric data warehouse. The queries are evaluated in euclidean space. Continuous NN join queries are evaluated for mobile and static objects. Proposed approach introduces framewor that enables evaluation of concurrent continuous NN joins. Keywords: spatial data warehouse, query evaluation, NN join, mobile object, euclidean space 1. Wprowadzenie Projetowany system przestrzennej hurtowni danych telemetrycznych i loacji (ang. Spatial Location and Telemetric Data Warehouse (SDW(l/t)) działa w oparciu o system przestrzennej, telemetrycznej hurtowni danych (ang. Spatial Telemetric Data Warehouse (SDW(t))), tóra zbiera dane telemetryczne o pomiarach zużycia mediów (gazu, prądu, wody, ciepła) [2, 3]. System SDW(l/t) jest zasilany danymi telemetrycznymi z systemu zintegrowanego odczytu liczniów (IMR) oraz danymi loalizacji obietów mobilnych.

2 6 M. Gorawsi, W. Gębczy Telemetryczny system zintegrowanego odczytu liczniów bazuje na technologii IMR (ang. Integrated Meter Reading) oraz GSM/GPRS. System ten pozwala przesyłać dane, otrzymywane z liczniów zużycia mediów, zloalizowanych na dużym obszarze geograficznym do serwera telemetrycznego, z wyorzystaniem sieci operatorów telefonii omórowej GSM w technologii GPRS oraz SMS. System SDW(l/t) wspomaga podejmowania decyzji tatycznych o wielości producji mediów, na podstawie rótoterminowych prognoz ich zużycia. Prognozy te sporządzane są w oparciu o analizy danych, zgromadzonych w hurtowni danych zasilanej z serwera telemetrycznego w procesie estracji ETL. Projetowany system ma na celu rozszerzenie funcjonalności SDW(t) o sprawny proces serwisowania liczniów systemu IMR. Apliacja ma za zadanie usprawnienie pracy serwisanta liczniów odczytu mediów, poprzez zadawanie ciągłych zapytań o najbliższych sąsiadów, czyli o najbliżej znajdujących się od serwisanta jednoste. Ponadto, dzięi ciągłej atualizacji informacji na temat loalizacji serwisantów, będzie można uninąć dublowania sprawdzania onretnej jednosti przez więcej niż jednego serwisanta, co pozwoli na zoptymalizowanie i lepszą organizację czasu pracy. 2. Zintegrowany odczyt liczniów Coraz szybszy dostęp do wszeliego rodzaju informacji był impulsem do powstania dwuwarstwowej infrastrutury telemetrycznej systemu IMR/SDW(t) [2, 3]. W sład infrastrutury wchodzi zintegrowany odczyt liczniów IMR (energii eletrycznej, gazu, wody, ciepła), opierający się na technologii GSM/GPRS oraz system przestrzennych hurtowni danych telemetrycznych (SDW(t)). System zintegrowanego odczytu liczniów IMR (AIUT GSM) umożliwia przesyłanie danych z liczniów do systemu SDW poprzez serwer telemetryczny. Zastosowanie technologii GSM/GPRS zapewnia nisi oszt użytowania, szybi czas wdrożenia systemu, dowolną odległość pomiędzy liczniami oraz niewrażliwość na uształtowanie terenu. Natomiast wadą taiego rozwiązania jest wysoi oszt utrzymania systemu. Przeprowadzono jedna badania, tóre wyazały, że zaup urządzeń, wyorzystujących omuniację poprzez GSM/GPRS wraz z osztem transmisji danych, jest znacznie bardziej opłacalnym rozwiązaniem niż zatrudnianie inasentów, wyposażanie ich w przenośne omputery oraz samochody.

3 System z ciągłymi zapytaniami o NN złączeń w przestrzennej hurtowni danych 7 3. Model gwiazdy asadowej Model gwiazdy asadowej jest rozwinięciem standardowego modelu gwiazdy i słada się z tablicy fatów oraz wymiarów, z tórych ażdy jest odrębnym, zagnieżdżonym schematem gwiazdy, przechowującym dane wielowymiarowe. Każdy wymiar, oprócz atrybutów zawiera taże informacje opisujące te atrybuty. sn_node sn_node sn_gs_concentrator sn_gs_meter sn_edge sn_entity_location sn entity sn_conservator sn_wt_concentrator sn_et_concentrator sn_wt_meter sn_entity_location sn_et_meter Rys. 1. Schemat gwiazdy asadowej Fig. 1. Cascade star diagram Dane, na jaich operuje projetowany system, można zamodelować za pomocą schematu gwiazdy asadowej. Schemat prezentowany na rysunu 1 jest rozszerzeniem modelu gwiazdy asadowej, zaprezentowanego w pracy [1]. Tabelą fatów całego systemu jest tabela jednosti oncentratora, nazwana sn_entity. Tabelami wymiarów, opisującymi oncentrator, są tabele poszczególnych rodzajów oncentratorów sn_xx_concentrator wraz z atrybutami oraz tabela rawędzi sn_edge, na tórej znajduje się dana jednosta. Każda rawędź jest opisana przez dwa, tworzące ją węzły. Tabelą wymiarów tabeli rawędzi jest tabela węzłów sn_node, zawierająca atrybuty węzła. Tabele poszczególnych oncentratorów są tabelami fatów dla tabel pojedynczych liczniów i tabeli położenia oncentratora sn_entity_location. Dla przechowywania danych na temat obietów mobilnych została stworzona tabela onserwatorów sn_conservator. Jest ona tabelą wymiarów dla głównej tabeli fatów. W ten sposób otrzymano gwiazdę asadową, zagnieżdżoną dwurotnie. Relacje między tabelami są przejrzyste. Niewielim osztem, łącząc tylo niezbędne tabele, można dotrzeć do wszystich informacji.

4 8 M. Gorawsi, W. Gębczy 4. Złączenie NN Gorder Operacja złączenia NN (ang. Nearest Neighbour) łączy ażdy punt jednego zbioru danych z jego najbliższymi sąsiadami w innym zbiorze. Gorder jest metodą łączenia bloów przy użyciu pętli zagnieżdżonych, wyorzystującą sortowanie, planowanie łączeń, filtrację obliczania odległości oraz reducję osztów I/O oraz CPU [4]. Metoda ta najpierw sortuje zbiory danych wejściowych, według G-porządowania (porząde bazujący na gridzie), ta aby zbiór danych mógł zostać podzielony na bloi, tóre są następnie poddawane zaplanowanemu złączeniu z użyciem pętli zagnieżdżonych do znalezienia najbliższych sąsiadów dla ażdego puntu danych. Jest to metoda prosta, a ponadto suteczna i pozwalająca utrzymywać sutecznie wysoowymiarowe dane. Metoda uzysuje efetywność dzięi następującym własnościom: (1) dziedziczy moc łączenia bloów z użyciem pętli zagnieżdżonych, co pozwala na reducję losowych odczytów, (2) odrzuca bloi danych, tórych obliczanie nie ma szans powodzenia, poprzez wyorzystywanie właściwości G-uporządowanych danych, co pozwala zaoszczędzić na operacjach I/O oraz obniżyć oszt obliczania podobieństw, (3) wyorzystuje dwupoziomową strategię podziału do zoptymalizowania obciążenia I/O oraz czasu wyorzystania CPU, (4) reduuje oszt obliczania odległości, poprzez odrzucanie nadmiernych obliczeń bazując na odległości mniejszych wymiarów Definicja złączenia NN Definicja 1. (złączenie NN) [4] Mając dane dwa zbiory danych R i S, liczbę całowitą oraz metryę podobieństwa dist(), złączenie NN R i S, oznaczone jao R KNN S zwróci pary puntów (p i, q j ) taie, że p i jest ze zbioru zewnętrznego R, a q j ze zbioru wewnętrznego S oraz q j jest jednym z najbliższych sąsiadów p i. Zasadniczo, złączenie NN łączy ażdy punt zewnętrznego zbioru danych R z najbliższymi sąsiadami z wewnętrznego zbioru danych S. Odległość metryczna oreślana jest następująco: 1 d ρ ρ dist ( p, q) = p. xi q. x i, 1 ρ. i= 1 W projetowanym podejściu wyorzystano metryę wadratową ( ρ = 2 ), nazywaną odległością eulidesową. Zaproponowana technia może być przystosowana do innych metry L ρ, taich ja odległość Manhattan (L 1 ) oraz odległość masymalna (L ).

5 System z ciągłymi zapytaniami o NN złączeń w przestrzennej hurtowni danych 9 Złączenie NN posiada następujące własności: 1. Jest asymetryczne, tzn. (R KNN S S KNN R). Spowodowane jest to asymetrycznością metody najbliższych sąsiadów. 2. Moc zbioru odpowiedzi złączenia NN jest przewidywalna, ponieważ złączenie zwraca najbliższych sąsiadów dla ażdego puntu z R. 3. Odległość od ażdego puntu R do jego najbliższych sąsiadów jest nieznana apriori. Własność druga sprawia, że złączenie NN jest bardziej przydatne niż inne złączenia podobieństw oraz złączenia zaresowe w sytuacjach, gdy zares ε nie może być w łatwy sposób oreślony. Złączenie zaresowe zwraca pary puntów z dwóch zbiorów danych, tórych odległość podobieństwa nie przeracza pewnej wartości. Jedną z trudności zastosowania złączenia zaresowego podobieństw w rzeczywistych apliacjach jest fat, że rozproszenie puntów danych jest często nieznane i wsazywanie odpowiedniego przedziału odległości podobieństw pomiędzy puntami jest sprawą trudną, o ile nie niemożliwą. A zatem wynii zaresowego złączenia podobieństw są nieprzewidywalne, co wymaga od apliacji działania w trybie próba-i-błąd G-porządowanie W relacyjnych bazach danych sortowanie jest wyorzystywane nie tylo do rozmieszczenia rote według pewnego porządu, ale taże do grupowania rote z taimi samymi wartościami atrybutu złączenia, dla ułatwienia przetwarzania, bazującego na partycjach. Podobnie w Gorder projetowane jest porządowanie bazujące na gridzie, nazywane G-porządowaniem, do grupowania ze sobą sąsiednich puntów danych, ta aby podczas fazy planowania złączeń bloów z użyciem zagnieżdżonych pętli bylibyśmy w stanie zidentyfiować partycję blou G-uporządowanych danych i zaplanować dla niej złączenie. G-porządowanie słada się z dwóch roów transformacji PCA (ang. Prinicipal Component Analisys analiza głównego omponentu) oraz sortowania według porządu grida Transformacja PCA Transformacja to sposób na wyrycie wzorców w danych oraz przedstawienie danych w tai sposób, aby podreślić podobieństwa i różnice pomiędzy nimi. Ponieważ czasami ciężo znaleźć wzorce w wysoo wymiarowych danych, tórych nie można przedstawić graficznie, stosuje się w tym celu transformację PCA. Wyonuje ona analizę głównego omponentu na wejściowych zbiorach danych R i S oraz przeształca oryginalne dane w przestrzeń omponentu głównego. PCA przechwytuje rozbieżności w zbiorze danych i oreśla ieruni, wzdłuż tórych dane wyazują dużą rozbieżność. Po przetwarzaniu PCA więszość informacji z oryginalnej przestrzeni danych jest sondensowana w ila pierwszych wymiarów, wzdłuż tórych rozbieżności w rozproszeniu danych są najwięsze.

6 10 M. Gorawsi, W. Gębczy Porząde gridowy Drugi ro G-porządowania sortuje zbiory danych R i S według porządu gridowego. Porząde gridowy nałada grid na przestrzeń danych i dzieli ją na l d omóre wadratowych, gdzie l jest liczbą segmentów przypadających na wymiar grida. Długość omóri grida może być równa lub zmienna. W założeniach systemu ustalono, że omóri mają taą samą długość, ustalaną przez użytownia apliacji. Na rys. 2 a przedstawiono oryginalną przestrzeń danych, a następnie przestrzeń omponentu głównego po przeprowadzeniu transformacji PCA (rys. 2 b). Ostatni z rysunów poazuje nałożenie grida na zbiór danych dwuwymiarowych. Rys. 2. Transformacja PCA oraz porząde gridowy Fig. 2. PCA transformation and grid ordering Jednym z podstawowych pojęć, związanych z naładaniem na dane porządu gridowego jest oreślenie wetora identyfiacji. Jest to d-wymiarowy wetor v=<s 1,...,s d >, gdzie s i jest numerem segmentu, do tórego należy omóra w i-tym wymiarze. W przypadu projetowanego systemu wetory identyfiacji będą dwuwymiarowe. Na rys. 2 c przedstawiony został przyładowy wetor identyfiacji omóri. Pierwszym sładniiem wetora jest numer segmentu omóri z wymiaru 1, a drugim sładniiem numer segmentu z wymiaru drugiego. Posiadając wiedzę na temat wetorów identyfiacji możemy przystąpić do zdefiniowania porządu gridowego:

7 System z ciągłymi zapytaniami o NN złączeń w przestrzennej hurtowni danych 11 Definicja 2. (Porząde gridowy p g ) [4] Mając dany grid, tóry dzieli d-wymiarową przestrzeń danych na l d wadratowych omóre, punty p m p p n, wtedy gdy v m p v n, gdzie v m (v n ) jest omórą otaczającą punt p m. g v m p v n wtedy i tylo wtedy, gdy istnieje wymiar, to j <. v. s < v. s oraz v. s = v. s dla Porząde gridowy ma na celu posortowane obietów zgodnie z omórą otaczającą obiet, ta aby po drugiej fazie G-porządowania, obiety znajdujące się wewnątrz tej samej omóri były razem zgrupowane. Na rys. 3 przedstawiono przestrzeń danych dwuwymiarowych, na tórą nałożono grid. Płaszczyzna XY została podzielona na segmenty (omóri grida) o taim samym rozmiarze. Mając ta podzielony uład współrzędnych można zauważyć, że ażdy obiet znajduje się, w tórejś z omóre grida. Autorzy Gorder w celu identyfiacji położenia obietu wyorzystują wetory identyfiacji. Ponieważ w przypadu omawianego projetu taie podejście wymagałoby przechowywania wielu dodatowych strutur danych, postanowiono, że wetory identyfiacji zostaną zastąpione identyfiatorem położenia id_grid, tóry jest alfanumerycznym odpowiedniiem wetora. Każdy obiet znajdujący się na mapie apliacji ma swój własny id_grid, przechowywany w odpowiednich tabelach. Dla obietów statycznych wyznaczany jest on tylo raz, przy ładowaniu mapy do programu. Dla obietów mobilnych identyfiator jest uatualniany za ażdym razem, gdy obiet przeroczy granicę omóri grida, w tórej się dotychczas znajdował. Na rys. 3 widzimy zareślony obiet w omórce o wetorze identyfiacji v=<2, 1>, załadając, że wymiarem o więszym priorytecie będzie wymiar X. Poczynimy założenie, że liczba segmentów, przypadająca na wymiar, wynosi 5. Aby wyznaczyć unialny identyfiator położenia dla omóri grida o taim wetorze identyfiacji, wyonujemy następujące działanie: id _ grid = sx + sy * seg + 1, gdzie: sx = 2, sy = 1, natomiast seg = 5. Dla taich danych otrzymujemy identyfiator równy 8. Mając przyporządowany id_grid dla ażdego obietu można przystąpić do posortowania wejściowych zbiorów danych według porządu gridowego. W algorytmie Gorder wyorzystywane są dwa zbiory danych, tóre będą ulegać złączeniu. Należało w pewien sposób wyodrębnić te dwa zbiory oraz zastanowić się nad optymalnym definiowaniem zapytań pod względem oszczędności I/O oraz CPU. Zostało przyjęte, że mogą być zadawane cztery rodzaje zapytań. Każde zapytanie odpowiadałoby jednemu zestawowi danych zapytania o oncentratory wody, gazu, eletryczności lub o wszystie oncentratory równocześnie. Wtedy dla przyładowo trzech obietów mobilnych, dla tórych byłyby zdefiniowane zapytania te- m n m j n j

8 12 M. Gorawsi, W. Gębczy go samego typu, możemy zdefiniować tylo jedno zapytanie, tóre w jednym zbiorze danych będzie posiadało informacje o obietach mobilnych, natomiast w drugim zbiorze danych znalazłyby się informacje na temat wybranego zestawu danych. Aby wyonać sortowanie musimy ustalić, tóry z wymiarów ma więszą wagę. Założono, że więszą wagę ma wymiar X. Stąd sortowanie puntów odbywa się najpierw po identyfiatorze grida, następnie po współrzędnej X, a na oniec po współrzędnej Y Prostoąty ograniczające Do zdefiniowania prostoąta ograniczającego niezbędne jest przedstawienie definicji atywnego wymiaru. Definicja 3. (Atywny wymiar G-uporządowanych danych) [4] Załóżmy, że v 1 (v m ) jest wetorem identyfiacji omóri otaczającej p 1 (p m ). Wymiar α jest atywnym wymiarem G-uporządowanych danych B, jeśli: (1) v. s vm., 1 α < s α (2) v 1. s j = vm. s j j < α. Dosłownie mówiąc, α jest pierwszym wymiarem taim, że v s v. s 1. j < m j ( 1 ). Dla przyładu z rys. 3. należy wyznaczyć współrzędne wetorów identyfiacji pierwszego oraz ostatniego obietu z blou danych, do tórych należy zareślony obiet. Porównując otrzymane współrzędne wyznaczamy atywny wymiar. W omawianym przypadu dane są dwuwymiarowe. Ponadto, poczyniono wcześniej założenie, że wymiar X będzie miał więszą wagę od wymiaru Y. Prostoąt ograniczający dla B jest reprezentowany poprzez dolny lewy punt E = <e 1,..., e d > oraz prawy górny punt T = <t 1,..., t d >. j d e 1 ( v = 1. s 1) dla 1 l 0 dla > αα, t vm. s = 0 1 dla 1 α l dla > α, gdzie α jest atywnym wymiarem blou danych. System działa w oparciu o dwa wymiary, X oraz Y, więc punty przyjmą następującą postać: E = <ex, ey> oraz T = <tx, ty>. W zależności od tego, tóry wymiar będzie wymiarem atywnym istnieją dwie możliwości wyznaczania współrzędnych tych puntów.

9 System z ciągłymi zapytaniami o NN złączeń w przestrzennej hurtowni danych 13 Rys. 3. Kierune sortowania danych Fig. 3. Direction of data ordering Jeżeli wymiarem atywnym jest wymiar X, współrzędne przyjmują następującą postać: ex = (sx1-1)*(1/seg); ey = 0; tx = sx2*(1/seg); ty = 1. Jeżeli wymiarem atywnym jest wymiar Y, współrzędne przedstawiają się następująco: ex = (sx1-1)*(1/seg); ey = (sy1-1)*(1/seg); tx = sx2*(1/seg); ty = sy2*(1/seg); sx1, sy1 współrzędne wetora identyfiacji pierwszego obietu ze zbioru danych B, sx2, sy2 to współrzędne wetora identyfiacji ostatniego obietu ze zbioru danych B, seg liczba segmentów (omóre grida), przypadająca na wymiar. Dla przyładu z rys. 3 przyjęto, że blo danych słada się z pierwszych sześciu, olejnych omóre grida (zgodnie z G-porządowaniem). Współrzędne wetora identyfiacji pierwszego obietu przyjmą wartości (2, 0), a ostatniego (2, 1). Dla seg = 5 otrzymano, dla atywnego wymiaru X, współrzędne prostoąta ograniczającego [(0.2, 0);(1, 1)] Złączenie G-uporządowanych bloów danych W drugiej fazie Gorder, G-uporządowane dane ze zbiorów R i S są analizowane pod względem złączenia. Etap złączenia jest charateryzowany przez dwie własności: Gorder stosuje dwupoziomową strategię podziału do zoptymalizowania czasu użycia I/O oraz czasu wyorzystania CPU. Gorder planuje dane dla złączenia, w celu optymalizacji przetwarzania NN. Partycjonowanie pierwszego poziomu jest zoptymalizowane pod względem czasu wyorzystania I/O. Gorder dzieli G-uporządowane zbiory danych wejściowych na bloi, sładające się z ilu stron fizycznych. Przypuśćmy, że aloujemy n r oraz n s strony buforowe dla danych z R i S, dzielimy R i S na bloi o rozmiarze zaaloowanych buforów. Bloi dla R są umieszczane w pamięci sewencyjnie oraz iteracyjnie, blo po blou. Bloi dla S są ładowa-

10 14 M. Gorawsi, W. Gębczy ne do pamięci w zaplanowanym porządu, bazując na ich podobieństwie do danych z R znajdujących się w buforze. To ładowanie wielorotnych stron w danej chwili czasu jest efetywne pod względem czasu wyorzystania I/O, ponieważ znacząco reduuje obciążenie, spowodowane wyszuiwaniem. Dodatowo, aby zoptymalizować przetwarzanie NN, bloi dla S są planowane w tai sposób, aby ja najszybciej można było wydobyć najbliższych sąsiadów, załadować ich do pamięci oraz złączyć z danymi z R, znajdującymi się już wcześniej w buforze. Partycjonowanie poziomu drugiego segmentuje dane z R i S, znajdujące się w pamięci na bloi o znacznie mniejszych rozmiarach (podbloi). Optymalny rozmiar podbloów to obietów, nawiązując do wyniów esperymentów wyonanych przez autorów Gorder. Ponieważ w omawianym przypadu obietów to rozmiar normalnego blou danych, zrezygnowano z dzielenia bloów na podbloi, ponieważ spowodowałoby to tylo więsze zużycie pamięci oraz zwięszyłoby czas wyonywania obliczeń. Podobieństwo dwóch bloów G-uporządowanych danych mierzone jest poprzez odległość pomiędzy ich prostoątami ograniczającymi. Ja przedstawiono w poprzednim rozdziale, prostoąt ograniczający może być obliczony przez analizę pierwszego i ostatniego obietu blou G-uporządowanych danych. Minimalna odległość pomiędzy dwoma bloami G-uporządowanych danych BBr oraz B sb oznaczana MinDist(BBr, B s ), jest definiowana jao minimalna odległość pomiędzy ich prostoątami ograniczającymi: d 2 MinDist( B, B ) = d, d = max( b u,0), r s = 1 b = max( B. e, B. e ), u = min( B. t, B. t ). r s Bloi z taim samym MinDist są sortowane według ich masymalnej odległości. Masymalna odległość pomiędzy dwoma bloami G-uporządowanych danych BBr oraz B sb s, oznaczana MaxDist(BBr, B s ), jest definiowana jao masymalna odległość pomiędzy ich prostoątami ograniczającymi: 2 MaxDist( B, B ) = ( u b ), r s d = 1 b = min( B. e, B. e ), u = max( B. t, B. t ). r s Można zauważyć, że MinDist jest dolną granicą odległości dowolnych dwóch puntów z bloów R i S: p B p B, MinDist( B, B ) dist( p, p ). r r, s s r s r s Bazując na powyższym wniosu można stworzyć dwie strategie odrzucania: 1. Jeśli MinDist(Br,Bs) > odległości przycinania dla obietu p, Bs, nie zawiera żadnych obietów należących do najbliższych sąsiadów obietu p, dlatego też obliczenia odle- s

11 System z ciągłymi zapytaniami o NN złączeń w przestrzennej hurtowni danych 15 głości pomiędzy p oraz obietami z Bs mogą zostać odfiltrowane. Odległość przycinania dla obietu p jest odległością pomiędzy obietem p oraz andydatem na jego -tego najbliższego sąsiada. Początowo wartość odległości przycinania jest ustawiona na. 2. Jeśli MinDist(Br,Bs) > odległości przycinania dla Br, Bs, nie zawiera żadnych obietów należących do najbliższych sąsiadów jaiegoolwie obietu z Br. Sutiem tego złączenie Br oraz Bs może być odrzucone. Odległość przycinania blou dla R jest masymalną odległością przycinania obietów, znajdujących się wewnątrz R. Algorytm 1. Złącz_Dane_Uporządowane_Gridowo(R,S). Wejście: R i S są dwoma zbiorami G-uporządowanych danych, tóre zostały podzielone na Opis: bloi. 1. Dla ażdego blou BBr є R wyonaj WczytajBlo(B r ); SortujBloi(S, BBr); Dla ażdego BBs є NieOdrzucone(S, B rb WczytajBlo(B s ); Złączenie_w_Pamięci(B r, B s ); WyjścieKNN(B r ); ) wyonaj Algorytm złączenia bloów G-uporządowanych danych został przedstawiony jao algorytm 1. Ładuje on sewencyjnie bloi dla R do pamięci (linie 1-2). Dla blou BBr dla R znajdującego się w pamięci, bloi dla S są sortowane według ich odległości od B rb w porządu rosnącym (linia 3). W tym samym czasie bloi z MinDist(BBr B s ) więsze od odległości przycinania B rb są odrzucane (strategia odrzucania (2)). A zatem, tylo pozostałe bloi są ładowane do pamięci jeden po drugim (linie 4-5). Dla ażdej pary bloów z R i S, złączamy je w pamięci, poprzez wywołanie funcji Złączenie_w_Pamięci (linia 6). Po tym ja już wszystie nieodrzucone bloi dla S zostały przeanalizowane z BBr, zbiór andydatów NN dla obietów z B rb jest zwracany jao wyni działania złączenia (linia 7) Wczytywanie danych Wczytywanie danych, zaimplementowane w systemie SDW(l/t), różni się od tego proponowanego przez autorów Gorder. W ich podejściu bloi danych były wyczytywane sewencyjnie. Najpierw jeden blo, na tórym wyonywany był cały algorytm Gorder, a następnie olejny itd. Jest to zrozumiałe podejście w przypadu, gdy mamy do czynienia z ogromną liczbą danych. W zaprojetowanym podejściu nie będzie ich aż ta wiele, dlatego wszysto jest ładowane jednorazowo do pamięci. Jest to podejście wyorzystujące na pewno więcej pamięci, natomiast oszt operacji I/O, wyonywanych przez algorytm, jest o wiele mniejszy.

12 16 M. Gorawsi, W. Gębczy Wczytywanie danych jest wyonywane automatycznie, przy wywoływaniu metody rozpoczynającej działanie algorytmu. Do bazy danych wysyłane są dwa zapytania. Pierwsze z nich pobiera informacje na temat wszystich onserwatorów, czyli obietów mobilnych. Przeładając to na symbolię stosowaną w powyższych opisach, jest to zbiór danych R. Drugie zapytania zwraca nam informacje na temat wszystich obietów wybranego przez użytownia typu. Mogą to być taże wszystie możliwe typy oncentratorów oraz obiety mobilne. Jest to zbiór danych S. W tracie definiowania zapytania lub ustawiania parametrów programu należy oreślić, ja pojemne będą bloi danych, tzn. ile obietów ze zbiorów R oraz S trafi do pojedynczego blou. Następnie przechodzimy do rozmieszczenia obietów w odpowiednich bloach danych. Ponieważ dane są już posortowane gridowo, umieszczanie ich odbywa się poprzez prosty podział pierwsze n obietów do pierwszego blou, olejne n obietów do drugiego blou itd., aż do wyczerpania zasobów zbiorów R oraz S Sortowanie bloów danych Algorytm sortowania bloów zwraca listę podbloów BBs, tóre mogą być złączone z danym podbloiem B rb. Podbloi są posortowane względem odległości od podblou BBr, natomiast te podbloi, tórych MinDist(B rb,b s ) jest więsze od odległości przycinania BBr są odrzucane. Dla podbloów z taim samym MinDist obliczane jest MaxDist, a następnie wyonywane jest sortowanie według tej wartości. Algorytm 2. SortujBloi(BBr). Wejście: Podblo zbioru R, BBr. Opis: 1. Ustaw x = 0 oraz min_dist = 0 2. Zainicjuj listę elementów temp 3. Dla ażdego podblou BBs A. min_dist = odległość pomiędzy BBr i B s B. Dla ażdego obietu t z listy temp I. Oblicz odległość obietu t od podblou BBs II. Jeśli min_dist = obliczonej odległości 1. Oblicz max_dist dla BBr i B s oraz B rb i 2. Posortuj bloi względem max_dist III. Jeśli min_dist > obliczonej odległości 1. x = indes obietu t + 1 C. Jeśli min_dist < odległości przycinania BBr I. Dodaj BBs do listy temp z indesem x D. x = 0, min_dist = 0 t

13 System z ciągłymi zapytaniami o NN złączeń w przestrzennej hurtowni danych Złączenie bloów danych w pamięci Oryginalny algorytm złączenia w pamięci został przedstawiony jao algorytm 3. Zarówno bloi dla R, ja i bloi dla S są dzielone na podbloi (linia 1). Dla ażdego podblou dla R B r podbloi dla S są porządowane ze względu na ich odległość do B r. Ponownie zostaje wyorzystana strategia odrzucania 2 do odrzucenia tych podbloów dla S, tórych Min- Dist(B r,b s ) jest więsza od odległości przycinania B r. Nie odrzucone podbloi dla S biorą udział w złączeniu z podbloami dla R, jeden po drugim (linie 4-5). Aby złączyć podbloi B r oraz B s, ażdy obiet p r z B r jest porównywany z B s. Dla ażdego obietu p r w B r analizujemy czy MinDist(B r,b s ) jest więsze od odległości przycinania p r. Jeśli ta, to orzystając ze strategii odrzucania 1, B s nie może zawierać żadnych obietów, tóre są najbliższymi sąsiadami p r, a zatem B s może zostać pominięte (linie 6-7). W innym przypadu wywoływana jest funcja ObliczOdległość dla obietu p r i ażdego obietu p s z B s (linia 8). Funcja ObliczOdległość, opisana w olejnym podrozdziale, wstawia do zbioru andydatów NN obietu p r te obiety p s, tórych dist(p r, p s ) jest mniejsze od odległości przycinania p r. jest odległością pomiędzy prostoątami,ograniczającymi B r oraz B s w α-tym wymiarze, gdzie α = min( B' r. α, B'. α). s Ze względu na fat, że w zaproponowanym podejściu nie wyonuje się operacji dzielenia bloów na podbloi, algorytm złączenia w pamięci uległ modyfiacjom. Zostało pominięte dzielenie bloów na podbloi i supiono się bezpośrednio na obietach z bloów BBr. Algorytm 3. Złączenie_w_Pamięci(BBr, B s ). Wejście: Podblo zbioru R, BBr oraz podblo zbioru S, B sb. Opis: 1. Podziel BBr oraz B sb na podbloi; 2. Dla ażdego podblou B r є BBr wyonaj SortujBloi(BBs, B r ); Dla ażdego podblou B s є NieOdrzucone(BBs, B r ) wyonaj Obliczanie odległości Dla ażdego obietu p r є B r wyonaj Jeśli MinDist(B r, B s ) OdleglośćPrzycinania(p r ), to A. Dla ażdego obietu p s є B s wyonaj 2 ObliczOdległość(p s, p r, d α ) Prostoąty ograniczające G-uporządowane dane posiadają specjalne właściwości, tóre można wyorzystać do zreduowania obliczeń odległości. Krawędź prostoąta ograniczającego blo G-uporządowanych danych B rozciąga się na cały zares od 0 do 1 w wymiarze j (j > B.α), gdzie B.α jest bieżącym wymiarem B. Własność 2 d α

14 ).α) 18 M. Gorawsi, W. Gębczy ta jest bezpośrednią obserwacją obliczania prostoątów ograniczających. Dlatego, gdy obliczamy podobieństwo dwóch bloów G-uporządowanych danych, należy wziąć pod uwagę tylo pierwsze α wymiarów, gdzie α = min( B1. α, B2. α) oraz BB1.α (B 2B jest bieżącym wymiarem BB1 (B 2B ). W wyniu czego, obliczenia MinDist oraz MaxDist reduują się do następujących wzorów: gdzie BB1.α (B 2B.α) MinDist B, B ) = MinDist( B. α, B. ), ( α MaxDist B, B ) = MaxDist( B. α, B. α) + d α ( , jest projecją BB1 (B 2B ) na pierwsze α wymiarów. Ponadto, projecja prostoąta ograniczającego blo G-uporządowanych danych B, zawierającego m obietów p 1,..., p m na pierwsze B.α 1, wymiarów odpowiada omórce grida w pierwszych B.α 1 wymiarach. Własność ta wsazuje, że projecje wszystich obietów w blou G-uporządowanych danych B na pierwsze B.α 1 wymiarów, znajdują się wewnątrz jednej omóri grida w pierwszych B.α 1 wymiarach. Sutiem tego, dla jaicholwie obietów p i q z bloów BB1 oraz B 2B, ( 1 2 MinDist B. α 1, B. α 1) może być wyorzystane do zaprosymowania odległości pomiędzy projecją dla p oraz q na pierwszych α 1 wymiarach, gdy grid posiada drobną ziarnistość. Aprosymowana odległość jest dolną granicą rzeczywistej odległości. To znaczy: gdzie MinDist B. α 1, B. α 2) dist( p, q ), ( 1 2 α 1 α 1 p α ( q 1) jest projecją p (q) na pierwsze α-1 wymiarów. 1 α Bazując na powyższych własnościach można zdefiniować trzecią strategię odrzucania, bazującą na aprosymowanej odległości. Formalnie przedstawia się ona następująco: dla ażdego obietu p oraz q z G-uporządowanych bloów B r oraz B s, jeśli ( α α } MinDist B1. α 1, B2. α 1) + dist( p{, }, q{, )( α d) jest więsze od odległości przycinania dla p, q nie może być andydatem na najbliższego sąsiada p, gdzie α = min( B r. α, B. α) oraz p ( q }) jest projecją p (q) na wymiary od i do j. s { i, j} { i, j Algorytm 4 jest zarysem algorytmu reducji obliczeń odległości. Oblicza on najpierw MinDist B. α 1, B. α 1) z MinDist(BBr, B sb (linia 2). Następnie sumuje odległości ( 1 2 pomiędzy p oraz q od wymiaru α, gdzie α = min( B r. α, B. α) (linie 3-4). Zawsze, iedy pdist jest więsze od odległości przycinania p, q nie może być jednym z najbliższych sąsiadów p i może zostać odrzucony (linia 8). Jeśli q nie może zostać odrzucone przez aprosymowaną odległość, usuwamy czynni aprosymacji (linia 4) oraz obliczamy jego rzeczywistą odległość (linie 5-6). Jeśli dist(p, q) jest mniejsze od odległości przycinania p, q jest wstawiane do zbioru andydatów NN puntu p. s

15 na System z ciągłymi zapytaniami o NN złączeń w przestrzennej hurtowni danych 19 Algorytm 4. ObliczOdleglość(BBr, B s, p s, p r, dist). Wejście: BBr blo zbioru R, B sb blo zbioru S, p s obiet z blou BBs, p r obiet z blou B r, B 2 dist ( dα ) jest odległością pomiędzy prostoątami ograniczającymi BBr oraz B sb wymiarze. Opis: 1. dim = minimalny atywny wymiar spośród atywnych wymiarów BBr oraz B sb 2. pdist = MinDist(BBr, B s ) dist 3. Dla = dim do <= 2 Jeśli = 1, to oblicz odległość w wymiarze X pdist = pdist + (p r.x p s.x) 2 Jeśli = 2, to oblicz odległość w wymiarze Y pdist = pdist + (p r.y - p s.y) 2 α-tym Jeśli pdist jest więsze od odległości przycinania obietu p r, to obiet p s nie może być andydatem na najbliższego sąsiada p r Zwróć Jeśli p s nie może zostać odrzucone przez aprosymowaną odległość, usuwamy czynni aprosymacji MinDist(BBr,B s ) dist. 5. Dla = 1 do < 2 (czyli pratycznie jeden raz) 6. Zwróć pdist. Jeśli = 1, to oblicz odległość w wymiarze X pdist = pdist + (p r.x p s.x) 2 Jeśli = 2, to oblicz odległość w wymiarze Y pdist = pdist + (p r.y - p s.y) 2 Jeżeli pdist jest więsze od odległości przycinania obietu p r, to p s nie może być andydatem na najbliższego sąsiada p r. Zwróć Proces Gorder Dla ja najszybszego wyonywania algorytmu Gorder, zaprojetowano osobny proces, wyonywany równolegle z innymi procesami apliacji. Założenia były następujące: Proces był inicjowany w tracie ładowania mapy z liczniami, jego stan pracy ustawiany jest na wartość false, więc pozostaje on w stanie spoczynu. Po zdefiniowaniu pierwszego zapytania zmieniany jest stan procesu, jego stan pracy ustawiany jest na true. Po usunięciu ostatniego zdefiniowanego zapytania, do procesu jest wysyłana informacja o zmianie jego stanu pracy ponownie na false, i jego acja ulega zawieszeniu.

16 20 M. Gorawsi, W. Gębczy Jaie zadania ma proces? Przede wszystim jest on odpowiedzialny za stałe przetwarzanie istniejących zapytań i ja najszybsze uatualnianie odpowiedzi. Oprócz tego proces grupuje zapytania. Każde zdefiniowane zapytanie jest opisane w bazie danych, w tabeli SN_GORDER. Wpis oreśla, dla jaiego obietu mobilnego zostało zdefiniowane zapytanie, ilu najbliższych sąsiadów należy wyszuać oraz jaiego typu mają to być sąsiedzi (woda/gaz/eletryczność/wszysto). Proces pobiera z bazy danych informacje na temat typów zapytań. Następnie dla ażdego z typów uruchamiany jest algorytm Gorder, tóry znajduje najbliższych sąsiadów dla tych wszystich obietów mobilnych, dla tórych zdefiniowane jest zapytanie o atualnie przetwarzany typ oncentratora. Następnie uatualniane są odpowiedzi w tabeli wyniów. Dodatowym elementem, wpływającym na szybość procesu łączenia zapytań, jest mechanizm zaimplementowany w algorytmie zapytania Gorder. Pozwala on na sprawdzanie czy dany obiet mobilny zmienił swoją loalizację od ostatniej chwili czasu, w tórej było wyliczane dla niego zapytanie. Pozwala to na wyeliminowanie zbędnych obliczeń dla obietów, tórych wyni zapytania i ta nie ulegnie zmianie. 5. Testy Wszystie testy zostały przeprowadzone na omputerze z procesorem Athlon XP oraz 512 MB pamięci RAM. Na stanowisu zainstalowany był system Windows XP Professional, środowiso Java firmy Sun w wersji 1.5 oraz Oracle 10g Testy dla jednego zapytania Gorder Wszystie testy, oprócz ostatniego, wyonywane dla pojedynczego zapytania Gorder zostały przeprowadzone na mapie o rozmiarach 15x15 ilometrów. Mapa została wygenerowana dla 50 węzłów, przypadających na 100 m 2 oraz łącznie 150 oncentratorów, przypadających na 100 m 2. Srypt, tworzący mapę, sładał się z 2881 zapytań, a jego wyonanie spowodowało wzrost wyorzystywanej pamięci o 130 MB. Po mapie porusza się jeden obiet mobilny, tórego loalizacja odświeżana jest co 1 seundę Wpływ parametru Na rys. 4 przedstawiony został wyres wpływu wartości współczynnia na czas wyonywania się zapytania Gorder. Zapytanie o oncentratory prądu (1) wyonywane było na zbiorze 50 oncentratorów/100 m 2, natomiast zapytanie o wszystie oncentratory (2) opie-

17 System z ciągłymi zapytaniami o NN złączeń w przestrzennej hurtowni danych 21 rało się o zbiór 150 oncentratorów/100 m 2. Liczba segmentów, przypadających na wymiar wynosiła 10, a bloi danych zawierały po 50 elementów. Na wyresie można zauważyć, że dla zapytania (1) czas obliczania utrzymuje się mniej więcej na stałym poziomie. Zauważalne są pewne odchylenia dla wartości 6 oraz 8 parametru, ale są to odchylenia bardzo niewielie, liczone w miliseundach. Dla zapytania (2) czas wyonywania obliczeń rośnie wraz ze wzrostem wartości parametru, zaczynając od wartości 8, w tórym to miejscu osiągnięte zostało minimum. Należy jedna zauważyć, że jest to wzrost o miliseundy. Można zatem stwierdzić, że algorytm Gorder dla jednego zapytania daje zadowalające rezultaty, jeżeli bierzemy pod uwagę zmiany wartości parametru. Czas [ms] Wartość współczynnia Koncentratory prądu Wszystie oncentratory Rys. 4. Wpływ współczynnia na czas wyonywania się zapytania Fig. 4. ratio s influence on query execution time Wpływ liczby segmentów Rysune 5 przedstawia wyres wpływu liczby segmentów, przypadających na wymiar na czas, jai jest potrzebny na obliczenie zapytania Gorder. W tracie esperymentów zostały wyonane cztery serie testów dla różnych wartości parametru. Rozmiar bloów danych wynosił 50 elementów. Czas [ms] Liczba segmentów przypadających na wymiar = 5 = 10 = 15 = 25 Rys. 5. Wpływ liczby segmentów przypadających na wymiar na czas wyonywania się zapytania Fig. 5. Segments quantity s influence on query execution time

18 22 M. Gorawsi, W. Gębczy Dla wszystich serii optymalną liczbą segmentów oazała się wartość 10. W miarę ja liczba ta rosła, rósł też czas obliczania zapytania. Dla równego 5 czas rósł prawie liniowo. Dla równego 10 można zauważyć już małe odchylenie przy 25 segmentach. Dla zapytania o 15 najbliższych sąsiadów wynii są najbardziej zróżnicowane. Zauważalne jest zarówno gwałtowne wydłużenie się czasu (dla 25 segmentów), ja i nagły spade (dla 30 segmentów). Przy równym 25 czas narasta liniowo aż do 30 segmentów, gdzie gwałtownie spada. Warto też zauważyć, że wraz ze wzrostem liczby segmentów zwięszała się odległość pomiędzy rzywymi, co oznacza wzrost czasu obliczania dla zapytań o taim samym współczynniu Wpływ rozmiaru bloów danych Na rys. 6 został przedstawiony wpływ rozmiaru bloów danych na czas wyonywania się zapytania Gorder. Czas [ms] Rozmiar blou danych = 5 = 10 = 15 = 20 Rys. 6. Wpływ rozmiaru blou danych na czas wyonywania się zapytania Gorder Fig. 6. Data bloc size influence on Gorder query execution time Testy zostały przeprowadzone dla 10 segmentów, przypadających na wymiar dla czterech wartości parametru. Zgodnie z oczeiwaniami, otrzymane rezultaty wyazały, że rozmiar blou danych nie ma więszego wpływu na czas obliczania zapytania. Wynii nieznacznie różniły się od siebie, lecz były to różnice rzędu ilu miliseund, tóre można pominąć Wpływ liczby oncentratorów Test wpływu liczby oncentratorów na czas wyonywania się zapytania Gorder został przeprowadzony dla rozmiaru bloów danych równych 50, 10 segmentom przypadającym na wymiar oraz dla parametru o wartości 20. Otrzymane wynii wyazały, że wraz ze wzrostem liczby oncentratorów rośnie czas wyonywania się zapytania. Czas nie rośnie jedna bardzo gwałtownie. Po sześciorotnym zwięszeniu liczby oncentratorów czas wzrósł o ooło 77%.

19 System z ciągłymi zapytaniami o NN złączeń w przestrzennej hurtowni danych 23 Czas [ms] Liczba oncentratorów przypadająca na 100 m 2 Rys. 7. Wpływ liczby oncentratorów na czas wyonywania się zapytania Gorder Fig. 7. Concentrators quantity s influence on Gorder query execution time 5.2. Testy dla równoczesnych zapytań Gorder Testy dla równoczesnych zapytań Gorder zostały przeprowadzone na mapie o wymiarach 15x15 ilometrów, o zagęszczeniu węzłów wynoszącym 50 węzłów/100 m 2 oraz zagęszczeniu oncentratorów, wynoszącym 150 oncentratorów/100 m 2. Wszystie mobilne obiety definiowane były z odświeżaniem jednoseundowym. Rozmiar bloów danych wynosił 50, a liczba segmentów, przypadających na wymiar miała wartość 10. W tracie testów mierzono czas wyonywania się pełnego cylu procesu Gorder, czyli czas obliczenia wszystich zdefiniowanych zapytań Wpływ liczby zapytań Czas [ms] Liczba zdefiniowanych równoczesnych zapytań Rys. 8. Wpływ liczby równoczesnych zapytań na czas wyonywania się procesu Gorder Fig. 8. Simultaneous queries fluence on Gorder process execution time Na rys. 8 przedstawiono wpływ liczby zdefiniowanych równoczesnych zapytań na czas wyonywania się jednego cylu procesu Gorder. Wszystie zapytania były definiowane dla taiego samego typu oncentratorów, co powodowało, że obliczenie wszystich zapytań odbywało się w tracie jednego wywołania algorytmu Gorder. Zgodnie z wyniami, otrzymanymi w poprzednich testach, wartość parametru nie miała znaczącego wpływu na otrzymywane rezultaty. Natomiast wraz ze wzrostem liczby równo- = 5 = 10

20 24 M. Gorawsi, W. Gębczy czesnych zapytań, zaczął rosnąć czas wyonywanych obliczeń. Każde olejne zapytanie powodowało znaczne wydłużenie się czasu oczeiwania na odpowiedź zapytania Wpływ liczby równoczesnych zapytań na czas wyonywania się procesu Gorder Rysune 9 przedstawia wynii otrzymane dla testu sprawdzającego wpływ zróżnicowania równoczesnych zapytań na czas wyonywania się procesu Gorder. Każde z zapytań wyonywane było na zbiorze danych o taiej samej liczności. Zróżnicowanie zapytań spowodowało, że w tracie jednego cylu procesu Gorder algorytm obliczania zapytania był wywoływany osobno dla ażdego typu zapytania. A zatem, dla trzech zapytań, z tórych ażde zdefiniowane było dla innego rodzaju oncentratorów (eletryczność/woda/gaz), proces trzy razy wywoływał algorytm Gorder. Otrzymane wynii wyazały, że wraz ze wzrostem liczby zróżnicowanych zapytań rośnie czas wyonywania się procesu. O ile dla dwóch zapytań czas nie zwięszył się aż ta znacząco, to dla trzech różnych zapytań przyrost czasu jest znaczny. Pozwala to sądzić, że zaprojetowany mechanizm równoczesnego obliczania zapytań ciągłych nie spełnia naszych oczeiwań i należy pomyśleć nad innym rozwiązaniem lub rozwiązanie wymaga więszych zasobów sprzętowych Czas [ms] = 5 = Liczba zdefiniowanych równoczesnych zapytań Rys. 9. Wpływ zróznicowania zapytań na czas wyonywania się procesu Gorder Fig. 9. Queries disparity s influence on Gorder process execution time 6. System SDW(l/t) System SDW(l/t) słada się z dwóch zintegrowanych ze sobą apliacji. Pierwsza z nich to generator danych, przedstawiony na rys. 10. Ponieważ SDW(l/t) ulega ciągłym atualizacjom, co jaiś czas wprowadzane są modyfiacje, mające na celu udosonalenie całej strutury oraz potrzebny był pewien zbiór danych, tóre nie byłyby poddawane tym operacjom. W ten oto sposób powstała idea generatora liczniów telemetrycznych. Apliacja umożliwia wygenerowanie wirtualnego schematu ulic wraz z rozmieszczonymi na nich liczniami. Użytowni chcąc wygenerować nową mapę podaje taie parametry ja: gęstość węzłów

21 System z ciągłymi zapytaniami o NN złączeń w przestrzennej hurtowni danych 25 (srzyżowań), tworzących rawędzie na mapie (ulice) oraz gęstość liczniów, występujących na danej jednostce powierzchni mapy. Ta wygenerowane dane zapisywane są w postaci sryptu w języu SQL, tóry następnie wprowadza dane do bazy danych. Rys. 10. Generator danych testowych Fig. 10. Generator for test data Jeżeli posiada się w bazie danych wygenerowane wcześniej informacje, można w pełni orzystać z głównego ona apliacji, przedstawionego na rys. 11. Ono apliacji podzielone jest na cztery części. W lewej górnej części ona widoczna jest mapa, przedstawiająca schematy ulic oraz rozmieszczenie liczniów. Pod nią znajduje się część ona odpowiedzialna za definiowanie zapytań NN. W prawej górnej części ona znajduje się tabela z informacjami na temat zdefiniowanych przez użytownia obietów mobilnych. Istnieje taże możliwość definiowania nowych obietów oraz edycja już istniejących. Ostatnia część apliacji to tabela z wyniami zapytań.

22 26 M. Gorawsi, W. Gębczy Rys. 11. Główne ono apliacji SDW(l/t) Fig. 11. Main form of SDW (l/t) 7. Podsumowanie Stworzony system SDW(l/t) bazuje na algorytmie Gorder, efetywnej metodzie przetwarzania złączenia NN. Gorder opiera się na łączeniu bloów danych przy użyciu pętli zagnieżdżonych, wyorzystując sortowanie danych, planowanie łączeń, filtrację obliczania odległości oraz reducję osztów I/O i procesora. Testy, dla pojedynczego zapytania Gorder w systemie SDW(l/t), wyazały suteczność zaimplementowanego algorytmu. Zgodnie z oczeiwaniami parametr oraz rozmiar blou danych nie mają wpływu na czas wyonywania obliczeń. Różne wynii dla testu, badającego wpływ liczby segmentów, przypadających na jeden wymiar, na czas wyonywania się algorytmu pozwoliły oreślić optymalną wartość tego parametru. Rezultaty otrzymane dla testów, badających wpływ równoczesnego wyonywania się zapytań w SDW(l/t) oazały się niezadowalające. Można wymienić ila czynniów, tóre mogły mieć na to wpływ: Nieoptymalne rozwiązanie procesu przetwarzania równoczesnych zapytań ciągłych. Jest to pierwsze podejście do tej tematyi, zatem można je tratować jao pewnego rodzaju

23 System z ciągłymi zapytaniami o NN złączeń w przestrzennej hurtowni danych 27 esperyment, tórego rezultaty staną się podstawą do dalszych badań i porównań z olejnymi podejściami. Znaczne obciążenie systemu spowodowane jest przez obsługę obietów mobilnych. W rzeczywistych apliacjach wystarczyłoby pobierać informacje o atualnym położeniu obietu. W naszym przypadu musimy zadbać o wprawienie obietów w ruch, o ich poprawne poruszanie się oraz wizualizację. Wszystie te elementy wpływają na obciążenie procesora oraz wzrost wyorzystywanej pamięci. Zaprojetowany system SDW(l/t) jest dosonałym rozwiązaniem pilotażowym do dalszych badań nad tematyą zapytań ciągłych oraz obietów mobilnych. Wyorzystanie stale powstających, nowych techni przetwarzania równoczesnych zapytań ciągłych może przynieść oczeiwane rezultaty. Należy jedna pamiętać o wyborze taiego mechanizmu, tóry nie spowoduje wzrostu obciążenia systemu SDW(l/t), a wręcz przeciwnie, pozwoli na przyspieszenie całości. W celu poprawienia efetywności omawianego systemu można wyorzystać paradygmat rozdzielonego wyonywania operacji, jao sposób na osiągnięcie salowalności podczas równoczesnego wyonywania ciągłych zapytań przestrzenno-czasowych. Główną ideą jest tu grupowanie podobnych zapytań w tabelę zapytań, a następnie obliczanie zbioru ciągłych, przestrzenno-czasowych zapytań jest rozpatrywane jao przestrzenne złączenie pomiędzy poruszającymi się obietami i poruszającymi się zapytaniami. Podobne pomysły na rozdzielenie wyonywania zapytań zostały zastosowane w NiagaraCQ [6] dla zapytań web owych, PSoup [7], oraz [8] dla zapytań potoowych. LITERATURA 1. Gorawsi M., Wróbel G.: Realizacja zapytań lasy NN w przestrzennej telemetrycznej hurtowni danych. Studia Informatica, vol.26, nr 2(63), s Gorawsi M., Malczo R.: Distributed Spatial Data Warehouse Indexed with Virtual Memory Aggregation Tree. 5th Worshop on Spatial-Temporal DataBase Management (STDBM_VLDB 04), Toronto, Canada Gorawsi M., Gabryś M.: Telemetryczny system zintegrowanego odczytu liczniów. W: Współczesne problemy sieci omputerowych, WNT, Warszawa 2004, s Xia C., Lu H., Chin Ooi B., Hu J..: GORDER: An Efficient Method for KNN Join Processing. 5. Böhm C., Braunmüller B., Krebs F., Kriegel H. P.: Epsilon Grid Order: An Algorithm for the Similarity Join on Massive High-Dimensional Data. Proc. ACM SIGMOD INT. Conf. on Management of Data, Santa Barbara, CA, 2001.

24 28 M. Gorawsi, W. Gębczy 6. Chen J., DeWitt D. J., Tian F., Wang Y.: NiagaraCQ: A Scalable Continuous Query System for Internet Databases. In SIGMOD, Chandrasearan S., Franlin M. J.: Streaming Queries over Streaming Data. In VLDB, Hammad M. A., Franlin M. J., Aref W. G., Elmagarmid A. K.: Scheduling for shared window joins over data streams. In VLDB, Recenzent: Prof. dr hab. inż. Henry Rybińsi Wpłynęło do redacji 8 lutego 2006 r. Abstract Paper describes realization of continuous NN ( Neared Neighbor) join processing in spatial telemetric data warehouse. NN operation combines each point of one dataset with it s NN s in the other dataset and provides more precise query results than the range similarity join. Such an operation is useful for data mining and similarity search. System bases on Gorder method, which is bloc nested loop join algorithm that exploits sorting, join scheduling and distance computation filtering and reduction to reduce both I/O and CPU costs. It sorts input datasets into the G-order and applies the scheduled bloc nested loop join on the G-ordered data. Continuous NN-join queries are evaluated for mobile and static objects. Proposed approach introduces environment which enables evaluation of simultaneous continuous NN joins. It introduces user-friendly environment. Paper also describes experiments on synthetic datasets and illustrates tests results. Adresy Marcin GORAWSKI: Politechnia Śląsa, Instytut Informatyi, ul. Aademica 16, Gliwice, Polsa, Marcin.Gorawsi@polsl.pl Wojciech GĘBCZYK: Politechnia Śląsa, Instytut Informatyi, ul. Aademica 16, Gliwice, Polsa, Wojciech.Gebczy@polsl.pl