!Hurtownie i eksploracja danych

Transkrypt

1 !Hurtownie i eksploracja danych Jacek Rumiński slajd 1 Kontakt: Katedra Inżynierii Biomedycznej, pk. 106, tel.: , fax: , jwr@eti.pg.gda.pl

2 !XML i eksploracja danych Jacek Rumiński slajd 2

3 Integracja danych i metod przetwarzania: tabele/xml Źródło: J. E. Funderburk, S. Malaika, B. Reinwald, XML programming with SQL/XML and XQuery Źródło: Jon RubinIBM Software, The DB2 Framework for Business Intelligence slajd 3

4 Standaryzacja XML Metadata Interchange (CWM XMI) Common Warehouse Metamodel (CWM) Warehouse Management Warehouse Process Warehouse Operation Analysis Transformation OLAP Data Mining Information Visualization Business Nomenclature Resources Object- Oriented Relational Record- Oriented Multi Dimensional XML Foundation Business Information Data Types Expressions Keys Index Type Mapping Software Deployment CWM Levels Object Core slajd 4 Źródło: Christian Bremeau, XML Data Movement Components for Teradata, Meta Integration Technologies, Inc.

5 DAD Document Access Definition Konwersja: 1. Dane relacyjne (tabele) -> > XML 2. XML - > dane relacyjne (tabele) SQLX Źródło: J. E. Funderburk, S. Malaika, B. Reinwald, XML programming with SQL/XML and XQuery slajd 5

6 Funkcje SQL/XML slajd 6 IBM DB2 Guide

7 Funkcje SQL/XML IBM DB2 Guide slajd 7

8 Funkcje SQL/XML - przykłady 1. Stwórz element <elem1> używając XMLELEMENT. 2. Dodaj przestrzeń nazw używając XMLNAMESPACES. 3. Dodaj atrybut używając XMLATTRIBUTES, 4. Utwórz komentarz z XMLCOMMENT, 5. Utwórz sekwencje elementów używając XMLFOREST. slajd 8 Utwórz sekwencje elementów <item> z wszystkich pozycji z tabeli IBM DB2 Guide

9 Funkcje SQL/XML - przykłady slajd 9 IBM DB2 Guide

10 Inne funkcje SQL/XML slajd 10 IBM DB2 Guide

11 Przykład: XMLQUERY IBM DB2 Guide slajd 11

12 Dla wcześniejszego przykładu (Tabela CUSTOMER z plikami XML w kolumnie INFO) Konieczne ponieważ uzyskamy wiele elementów phone slajd 12 IBM DB2 Guide Przykład: XMLTABLE

13 Zakładając, że tabela CUSTOMER zawiera dokumenty XML w kolumnie INFO (podobnie jak poprzednio) slajd 13 IBM DB2 Guide Przykład: XMLEXISTS

14 XML DB demonstracja na przykładzie DB2!!! slajd 14

15 Przetwarzanie XML XSL i XQuery! XML podstawowy format komunikatów (np. SOA). Źródło: Michael Gonzales, Getting Active, DB2 mgazine Integracja dane operacyjne i dane przygotowane do analiz OLAP ADW! slajd 15

16 Od wymiany listów do usług sieciowych - Web Services Źródło: Robert Chu, Web Services Standards for Data Mining slajd 16

17 Źródło: Robert Chu, Web Services Standards for Data Mining slajd 17

18 Źródło: Robert Chu, Web Services Standards for Data Mining slajd 18

19 Zanim zastosujemy usługi sieciowe do ekploracji danych... Przypomnijmy sobie XPath/XQuery slajd 19

20 XPath XPath rekomendacja W3C pozwalająca na definiowanie referencji (adresu) do encji. Wykorzystywana jest często do formułowania treści wyszukiwanej w dokumencie XML. XPath jest bardzo często wykorzystywany przez XDB. W wersji XPath 2.0 wprowadzono wyrażenia regularne rozszerzające dodatkowo zakres możliwych do zdefiniowania wzorców. Zasadnicza składnia wyrażenia XPath opiera się o znaną ścieżkę dostępu w hierarchii systemu plików, np.: /sklep - oznacza główny element dokumentu (korzeń), /sklep/chleb - oznacza subelement chleb dokumentu, //napoj - oznacza wszystkie elementy napoj hierarchii, /sklep/* - oznacza wszystkie subelementy elementu sklep, /sklep/napoj[1] - oznacza pierwszego potomka subelementu napoj, /sklep/napoj[last()] oznacza ostatniego (użycie funkcji) potomka subelementu napoj, //napoj[@cola] - oznacza atrybuty cola wszystkich elementów napoj, //napoj[not(@*)]- oznacza wszystkie elementy napoj bez atrybutow; //napoj[@cola= pepsi ] oznacza wszystkie elementy napoj o wartości atrybutu cola równej pepsi slajd 20

21 XPath //*[count(napoj)=2] oznacza wszystkie elementy mające dwóch potomków napoj, //*[contains(name(), n')] oznacza wszystkie elementy zawierające w nazwie n, //napoj //chleb - oznacza wszystkie elementy napoj i chleb, //napoj/parent::* - oznacza wszystkich rodziców elementu napoj, i wiele innych. Dla XPath zdefiniowano szereg funkcji oraz operatorów umożliwiających budowanie złożonych ścieżek dostępu. XPath 2.0 umożliwia również wykorzystanie pętli, instrukcji warunkowych itp. slajd 21

22 Xpath XPathQ.java DEMO Przykład DocumentBuilder builder = DocumentBuilderFactory.newInstance().newDocumentBuilder(); //zbuduj dokument (DOM) Document document = builder.parse(new File("salon.xml")); XPath xpath = XPathFactory.newInstance().newXPath(); //zdefiniuj wyrażenie XPath String expression = "//samochod//silnik"; //pobranie węzła Node car = (Node)xpath.evaluate(expression, document, XPathConstants.NODE); //Wydruk informacji o nim System.out.println("Node is: " + car); //pobranie wartości węzła w reprezentacji ciągu znaków String carstring = (String)xpath.evaluate(expression, document, XPathConstants.STRING); //Wydruk informacji jako ciąg znaków System.out.println("String is: " + carstring); //pobranie wartości węzła w reprezentacji typu double Double cardouble = (Double) xpath.evaluate(expression, document, XPathConstants.NUMBER); //Wydruk informacji System.out.println("Double is: " + cardouble); slajd 22

23 XPath 2.0 Model danych XQuery 1.0/XPath 2.0 Dokument XDM (W3C XQuery 1.0 and XPath 2.0 Data Model), definiuje model danych stosowany w [XPath 2.0], [XSLT 2.0] i [XQuery]; bazuje na modelu [XPath 1.0] i wcześniejszych opracowaniach (np. [XML Query Data Model]). slajd 23

24 XPath 2.0 XDM - definicje Każda instancja modelu XDM to sekwencja. Sekwencja jest uporządkowaną kolekcją zero lub więcej pozycji (item). Sekwencja nie może być częścią sekwencji. Pozycją jest węzeł (node) lub wartość atomowa. Istnieje 6 rodzajów węzłów: document, element, attribute, text, namespace, processing instruction i comment. Każdy węzeł należy dokładnie do jednego drzewa; każde drzewa ma dokładnie jeden węzeł główny (root-korzeń). Drzewo, którego węzłem głównym jest Document Node jest dokumentem. Drzewo, którego węzłem głównym nie jest Document Node jest fragmentem. Wartość atomowa to wartość typu atomowego (atomic type) oznaczona tym typem. Typy atomowe to typy podstawowe (XML Schema) i z nich wywiedzione. slajd 24

25 XPath 2.0 Hierarchia typów w modelu XDM. slajd 25

26 XPath XPath 1.0 a ponadto m.in.... slajd 26

27 XPath 2.0 Instrukcja for ForExpr ::= SimpleForClause "return" ExprSingle SimpleForClause ::= "for" "$" VarName "in" ExprSingle ("," "$" VarName "in" ExprSingle)* slajd 27

28 XPath 2.0 Instrukcja if IfExpr ::= "if" "(" Expr ")" "then" ExprSingle "else" ExprSingle porównanie test czy element/atrybut istnieje slajd 28

29 XPath 2.0 Instrukcja in QuantifiedExpr ::= ("some" "every") "$" VarName "in" ExprSingle ("," "$" VarName "in" ExprSingle)* "satisfies" ExprSingle Prawdziwe, jeśli slajd 29

30 XQuery język zapytań da XML Relacja pomiędzy XQuery a XPath 2.0: XQuery 1.0 : XQuery is derived from an XML query language called Quilt [Quilt], which in turn borrowed features from several other languages, including XPath 1.0 [XPath 1.0], XQL [XQL], XML-QL [XML-QL], SQL [SQL], and OQL [ODMG]. XQuery Version 1.0 is an extension of XPath Version 2.0. Any expression that is syntactically valid and executes successfully in both XPath 2.0 and XQuery 1.0 will return the same result in both languages. Przykład: Generacja dokumentu HTML jako lista nagłówków zawierająca ceny napojów (elementy /sklep/napoj/cena): <html>{ let $sklep := document( mojsklep.xml")/sklep for $t in $sklep/napoj return <h2>{$t/cena)</h2> }</html> slajd 30

31 XQuery slajd 31

32 XQuery 2.0 Przykładowa implementacja XQuery: -demonstracja przykładowych zapytań według: Inna: -możliwe do pobrania z tej strony API oraz prosta aplikacja umożliwiają testowanie własnych zapytań XQuery. slajd 32

33 Przykład na podstawie: slajd 33

34 XQuery 2.0 Wyrażenia FLWOR flower expressions to najbardziej typowe wyrażenia przetwarzania danych w XML Query. Ich znaczenie i budowa są podobne do SELECT-FROM-WHERE znanego z języka SQL. F- For L- Let W-while O-order by R-return for $b in doc("books.xml")//book where $b/@year = "2000" return $b/title for $i in (1, 2, 3) for $t in doc("books.xml")//title order by $t return $t let $j := (1, 2, 3) return <car><i>{ $i }</i><j>{ $j }</j></car> slajd 34

35 XQuery 2.0 Nowe, definiowane funkcje! Definiowane zmienne! define variable $titles { doc( books.xml )//title } slajd 35

36 XQuery 2.0 Moduły funkcje można zapisać w ramach modułu, który może być wczytany dla danego zapytania. module " define function toc($book-or-section as element()) as element()* { for $section in $book-or-section/section return <section> { $section/@*, $section/title, toc($section) } </section> } slajd 36

37 XQuery 2.0 instance of zgodność typów. Wynik true <foo/> instance of element() 3.14 instance of xs:decimal "foo" instance of xs:string (1, 2, 3) instance of xs:integer* () instance of xs:integer? (1, 2, 3) instance of xs:integer+ Wynik false 3.14 instance of xdt:untypedatomic "3.14" instance of xs:decimal 3.14 instance of xs:integer Inne: np. typeswitch (rodzaj instukcji wyboru CASE), validate (sterowanie walidacją), itd. slajd 37

38 XML w technologii Web Services XML może stanowić uniwersalną formę pakietów/kopert służących do: -wywoływania określonej funkcjonalności/usług po stronie serwera (dostawcy usług); -kodowania nazw: funkcji, argumentów i elementów przekazywanych przez funkcję; -kodowania danych: określanie typów danych, zapis wartości; -przesyłania wyników działania wywołanej wcześniej funkcji jak również i przesyłanie informacji o ewentualnych wyjątkach i błędach. Przykładowo: boolean hasinsurance(string pesel) -> hasinsurance( ); <methodcall name= hasinsurance > <args> <arg1 type= string > <arg1> </args> <return type= boolean /> </methodcall> slajd 38

39 XML w technologii Web Services Standaryzacja/popularność użycia XML jako metody kodowania w RPC: 1. XML-RPC 2. Web services 3. AJAX? XML-RPC ( Jedna z najkrótszych specyfikacji (Dave Winer) a zarazem tak istotna. XML-RPC to inaczej wersja protokołu Remote Procedure Calling działająca w technologiach sieci WEB. Warstwa transportowa: HTTP (żądanie HTTP-POST request). Kodowanie wiadomości (Content Type): XML. slajd 39

40 POST /RPC2 HTTP/1.0 User-Agent: Mozilla Host: biomed.eti.pg.gda.pl Content-Type: text/xml Content-length: 166 <?xml version="1.0"?> <methodcall> <methodname>examples.hasinsurance</methodname> <params> <param> <value><string> </string></value> </param> </params> </methodcall> XML w technologii Web Services Przykładowo slajd 40

41 XML w technologii Web Services Typy danych w XML-RPC: <i4> or <int> typ liczb całkowitych ze znakiem (4B) <boolean> 0 (false) lub 1 (true) <string> ciąg znaków <double> typ liczb rzeczywistych, zmiennoprzecinkowych <datetime.iso8601> data/godzina <base64>base64 zakodowane dane binarne <struct> <member> </member></struct> - struktury <array> <data> </data> </array> - macierze slajd 41

42 XML w technologii Web Services Odpowiedź zawiera główny element <methodresponse>, który może zawierać: 1.)<params> jeśli są wyniki dla wcześniejszego wywołania funkcji (użycie elementu params identyczne jak przy <methodcall>) 2.) <fault> w przypadku błędu opisywany jest błąd w przekazywanej strukturze w polach o nazwach <name>faultcode</name> i <name>faultstring</name> Krótki przegląd specyfikacji. slajd 42

43 XML w technologii Web Services Wraz z rozwojem technologii XML over HTTP wprowadzano dodatkową funkcjonalność oraz wypracowywano procedury przepływu instrukcji w wykorzystaniu usług sieciowych dostępnych w otoczeniu sieci WEB. Wypracowano (budując odpowiednie rekomendacje stosujące technologię XML) następujące specyfikacje, stanowiące podstawę współczesnych usług klasy Web Services: -rejestr usług (UDDI - Universal Description, Discovery and Integration ), -opis usług (WSDL- Web Services Description Language), -opis komunikatów żądań/odpowiedzi (SOAP - Simple Object Access Protocol). slajd 43

44 XML w technologii Web Services UDDI Universal Description, Discovery and Integration (UDDI) jest usługą katalogową gdzie strona może zarejestrować swoją usługę jak i przeglądać istniejące usługi. Najprościej rejestr skąd można uzyskać informacje o WSDL, którego znajomość umożliwia wprost utworzenie kodu zastosowania opisywanych w WSDL usług sieciowych. UDDI specyfikacja, opis i inne: UDDI.org Przykład serwera z UDDI: UDDI wspiera wiele firm, m.in. Dell, Fujitsu, HP, Hitachi, IBM, Intel, Microsoft, Oracle, SAP, i Sun. slajd 44 UDDI a ebxml (Electronic Business using extensible Markup Language ). ISO : ebxml Collaborative Partner Profile Agreement ISO : ebxml Messaging Service Specification ISO : ebxml Registry Information Model ISO : ebxml Registry Services Specification ISO : ebxml Core Components Technical Specification

45 XML w technologii Web Services WSDL jako rekomendacja W3C bazuje na XML i służy do opisu i lokalizacji usług sieciowych. Dokument WSDL zawiera szereg elementów XML, które umożliwiają opis usługi <porttype> Funkcjonalność usługi sieciowej <message> Komunikaty wykorzystywane przez usługi sieciowe <types> Typy danych wykorzystywane przez usługi sieciowe <binding> Protokoły komunikacyjne wykorzystywane przez usługi sieciowe WSDL Ports - Najbardziej istotnym elementem (opisuje funkcjonalność) jest <porttype>. Można go porównać do biblioteki funkcji. WSDL Messages - Każdy element <message> może zawierać jedną lub więcej części. Opisuje dane (argumenty) związane z funkcjami (usługami). WSDL Types - Element ten definiuje typy danych, jakie używane są przez usługę sieciową (XML Schema). slajd 45 WSDL Bindings Element <binding> określa format komunikatu oraz parametry protokołu związane z każdą funkcjonalnością (<port>).

46 XML w technologii Web Services SOAP służy do komunikacji stron w ramach dostępu, żądania usług i przesyłania wyników określonej funkcjonalności usługi sieciowej (WS). SOAP jest dialektem XML a odpowiednia rekomendacja (W3C w3.org) definiuje wymagania co do budowy dokumentu SOAP. Komunikaty SOAP wymagają: - stosowania XML-a, - użycia przestrzeni nazw SOAP Envelope i SOAP Encoding. Komunikaty SOAP nie mogą: - zawierać odwołania do DTD, - zawierać odwołania do instrukcji przetwarzania (XML Processing Instruction). SOAP to niewątpliwie bardziej rozbudowana wersja XML-RPC (niektórzy początkowo nazywali XML-RPC jako SOAP). slajd 46

47 slajd 47 <?xml version="1.0"?> Szkielet komunikatu SOAP <soap:envelope xmlns:soap= soap:encodingstyle=" <soap:header>......</soap:header> <soap:body> <soap:fault> </soap:fault> </soap:body> </soap:envelope> XML w technologii Web Services Element SOAP Envelope jest głównym elementem (root) dokumenty SOAP. Opcjonalny element SOAP Header zawiera informacje specyficzne dla aplikacji (np. dotyczące płatności). Jeśli ten element jest obecny musi być pierwszym dzieckiem root-a. Element Body jest obowiązkowy i zawiera istotną treść komunikatu SOAP. Można również zdefiniować element SOAP Fault (błąd). Poza tym możemy zapisać własne subelementy.

48 XML w technologii Web Services Opracowano na przykładzie: slajd 48

49 XML w technologii Web Services package hello; import public class CircleFunctions { public double getarea(double r) { return java.lang.math.pi * (r * r); } public double getcircumference(double r) { return 2 * java.lang.math.pi * r; } } import javax.xml.ws.endpoint; public static void main(string[] args) { Endpoint.publish( " new CircleFunctions()); } Annotation (jdk1.6 generuje dodatkowy kod do osbługi WS) Usługi Uruchomienie usług (wbudowany w jdk1.6 serwer) slajd 49

50 XML w technologii Web Services Skompilować powyższy kod. Następnie używając narzędzia wsgen wygenerować automatycznie resztę potrzebnego kodu i plików konfiguracyjnych: wsgen cp. hello.circlefunctions Następnie (ponieważ JDK 1.6 ma wbudowany serwer WWW/aplikacji sieciowych) wystarczy jedynie uruchomić metodę main z powyższego kodu (main()). Weryfikację działania można sprawdzić poprzez połączenie się z pobierając dokument WSDL. DEMO 8 slajd 50

51 XML w technologii Web Services AJAX Asynchronous JavaScript and XML Wprowadzenie specjalnego obiektu (XMLHttpRequest) realizującego asynchroniczną interakcję użytkownik-klientserwer. PRZEGLĄDARKA GUI JavaScript HTML AJAX engine Wykorzystywane technologie HTML, XML, JavaScript oprogramowanie serwera (np. Java, PHP, inne). HTTP request Dane XML Specjalne znaczenie w budowaniu serwisów o bogatej treści interfejsu (odświeżany jest tylko fragment ekranu, a nie cała strona). WEB server (XML, HTML) Inne serwery (np. DB) SERWER slajd 51

52 XML w technologii Web Services AJAX kolejne operacje: 1.Klient wywołuje zdarzenie (np. onkeyup) 2. Tworzony jest obiekt XMLHttpRequest (req=new XMLHttpRequest();) 3. Ustawiane są własności obiektu XMLHttpRequest ( req.onreadystatechange = processrequest; // callback function ) 4. Obiekt XMLHttpRequest wywołuje asynchroniczne żądanie (if (!target) target = document.getelementbyid("userid"); var url = "validate?id=" + escape(target.value); req.open("get", url, true); req.send(null);) 5. Servlet (itp.) odpowiada na żądanie generując dokument XML (doget() XML) 6. Obiekt XMLHttpRequest wywołuję funkcję callback() i przetwarza wynik 7. HTML DOM jest aktualizowany (HTML-><div id="useridmessage"></div> var usermessageelement = document.getelementbyid("useridmessage"); w obsłudze zmienić usermessageelement) slajd 52

53 Java Data Mining Web Service Extension (JDMWS) slajd 53 Źródło: Robert Chu, Web Services Standards for Data Mining

54 XMLA XML for Analysis (OLAP) slajd 54 Źródło: Robert Chu, Web Services Standards for Data Mining

55 Dane XML a eksploracja danych Zbiory częste - tradycyjne podejście Źródło: Jacky W.W., Wan Gillian Dobbie, Mining Association Rules from XML Data using XQuery slajd 55

56 XQuery implemenacja algorytmu Apriori zbiory częste Źródło: Jacky W.W., Wan Gillian Dobbie, Mining Association Rules from XML Data using XQuery slajd 56

57 XQuery generacja reguł 1. Zbiór 1 zawiera więcej elementów niż zbiór 2, 2. Zbiór 2 jest podzbiorem zbioru 1, 3. Ufność > od zadanego poziomu [ P(XuY)/P(X) ]. Źródło: Jacky W.W., Wan Gillian Dobbie, Mining Association Rules from XML Data using XQuery slajd 57

58 Przykładowe testy Intel Pentium 4, 1.8MHz, Window XP Professional, RAM= 256 MB Źródło: Jacky W.W., Wan Gillian Dobbie, Mining Association Rules from XML Data using XQuery slajd 58