Internet Semantyczny Idea Marcin Skulimowski, Wydział Fizyki i Informatyki Stosowanej, Uniwersytet Łódzki 2012
Internet (dosł. międzysieć; od ang. inter między i ang. net sieć) to sieć komputerowa o światowym zasięgu łącząca sieci lokalne, sieci rozległe i wszystkie komputery do nich podłączone.
Wielkość Internetu http://www.worldwidewebsize.com/ Marcin Skulimowski, Wydział Fizyki i Informatyki Stosowanej, Uniwersytet Łódzki 2012
Problem Ilość informacji jest tak duża, że realne staje się: PRZECIĄŻENIE INFORMACJĄ* (information overload) Powoli przestajemy być w wstanie odróżnić fakty istotne (sygnał) od nieistotnych (szum). Do interesujących nas informacji docieramy korzystając z: wyszukiwarek katalogów *A.Toffler, Szok przyszłości, rok 1970.
Open Directory Project Przykładowy katalog:
Problemy z wyszukiwaniem różna precyzja wyszukiwania wyniki są bardzo czułe na wpisane słowa istotny dobór właściwych słów kluczowych. mimo użycia wyszukiwarki interesujące nas informacje musimy,,zbierać z wielu stron. pozycja na liście wyników zależy od popularności strony rozumianej jako liczba odnośników prowadzących z innych stron (rola pozycjonowania). Marcin Skulimowski, Wydział Fizyki i Informatyki Stosowanej, Uniwersytet Łódzki 2012
Przyczyna Informacja znajdująca się w Internecie jest przeznaczona dla człowieka i nie nadaje się do przetwarzania przez maszyny. Jakie rozwiązanie? Zapiszmy informacje w sposób zrozumiały dla maszyn.
Maszyny nic nie rozumieją!
Maszyny nic nie rozumieją! Wpisujemy w wyszukiwarce: wczasy Łeba tanie <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> <html> <head> <meta name="robots" content="index,follow"> <meta http-equiv="content-type" content="text/html; charset=iso-8859-2"> <title>tanie wczasy, zielone szkoły, kolonie Łeba, tani wypoczynek - Eureka</title> <meta name="description" content="biuro organizuje tanie wczasy, zielone szkoły, kolonie (Łeba), tani wypoczynek w Łebie, biura podróży"> <meta name="keywords" content="zielone szkoły, wczasy, tanie, wypoczynek, tani wypoczynek, Łeba, leba, biura podróży, eureka, kolonie"> <meta name="page-type" content="zielone szkoły Łeba"> </head> Cała aktywność maszyny ogranicza się do wyszukiwania odpowiednich ciągów znaków!
Maszyny nic nie rozumieją! Z punku widzenia maszyny strona WWW wygląda tak: EERRTYT DFDF BGFHYY DFFGFGFGFG/FGFGFGFGF$ dfdfd dghjd djkll bhdd5rh gtty8t4 hdfjhdjfhf Asddf hvkdhfjdfdff-fndfndfdf vbcon45 fghfkhg57tyrjgtlrgj cvcvnh 456 xyhj jkrts, dfgh klje, rtyuj werbn, erertty Er5ty6 - Asdfghfgf dfhdhfd wey64njdhp3e8v ujrerf gfgfg fkgjfkgjflg xyhj jkrts, dfy rrtyuyu, rtyuj (werbn), erertty Er5ty6 e Thfdfd, dfdhfd dsdsdjkh hfdgfdhf ghgfgh klje, wczasy, ererttye, Er5ty6, erertty Er5ty6, werbn, tyuio sdsdvg, asdfgh, rtyujfghf rgrlgjk fgfkgjfkg ttrlgtjkgj dfgh klje werbnnhkj fkjgfkgjfk tyyyy ghfturi565 gtrepogp fgjieirerg trtrotirot dghjd a zadanie maszyny polega na wyszukaniu ciągu znaków np. Thfdfd. Marcin Skulimowski, Wydział Fizyki i Informatyki Stosowanej, Uniwersytet Łódzki 2012
Rozwiązanie? Zapiszmy informacje w sposób zrozumiały dla maszyn. INTERNET SEMANTYCZNY to Internet w którym informacje zapisane są w sposób zrozumiały dla maszyn w sposób który ułatwia maszynom przetwarzanie informacji. Marcin Skulimowski, Wydział Fizyki i Informatyki Stosowanej, Uniwersytet Łódzki 2012
Zaczniemy od teorii
Modelowanie informacji Internet traktujemy jako zbiór różnych zasobów. Potrzebny jest nam język pozwalający zapisywać informacje o zasobach w postaci stwierdzeń. Informacje o atrybutach zasobów: zasób atrybut wartość Informacje o relacjach między zasobami: zasób1 relacja zasób2 Umawiamy się także, że zasoby będziemy identyfikować globalnie za pomocą URI (URL).
Modelowanie informacji Reprezentacja graficzna stwierdzeń: zasób atrybut wartość zasób 1 relacja zasób 2 Z użyciem identyfikatorów URI: http://abc.pl/sdf/s http://abc.pl/sdf/s http://asd.org#er http://asd.org#fg 3456 http://add.pl/a/s
Modelowanie informacji Sposób modelowania informacji o zasobach, który wprowadziliśmy to tzw. model RDF (ang. Resource Description Framework). RDF służy do zapisywania informacji w Internecie Semantycznym. Istnieje kilka sposobów zapisu stwierdzeń RDF do plików (serializacji): Turtle, N3, RDF/XML.
Modelowanie informacji Przykład w notacji Turtle: @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>. @prefix uco: <http://makolab.com/uconto#>. @base <http://carshop.pl/catalog>. <#2345> rdf:type uco:osobowy; uco:przebieg "13000"; uco:rocznik "2000". <#1205> rdf:type uco:ciezar; uco:przebieg "13500"; uco:rocznik "2001"; uco:extra "opony zimowe". <#2345> rdf:type uco:osobowy; uco:przebieg "120000"; uco:rocznik "2005"; uco:extra "czujnik deszczu". Stwierdzenia RDF można także umieszczać bezpośrednio w kodzie strony HTML (RDFa).
Odkrywanie informacji Załóżmy, że mamy zbiór stwierdzeń dotyczących pewnych zasobów. Zbiór ten jest użyteczny jeżeli potrafimy z niego wydobywać informacje o zasobach. Może nas np. interesować to czy w zbiorze tym jest zasób o konkretnych własnościach. W przypadku sklepu internetowego możemy być zainteresowani produktem o konkretnych parametrach (cenie, wymiarach, pojemności etc.).
Odkrywanie informacji Istnieje możliwość wydobywania informacji ze zbiorów stwierdzeń RDF. Służy do tego język SPARQL. Przykładowe zapytanie: @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>. @prefix uco: <http://makolab.com/uconto#>. SELECT?s WHERE {?s rdf:type uco:osobowy.?s uco:przebieg "120000".?s uco:rocznik "2005". OPTIONAL {?s uco:extra "czujnik deszczu". } }
Podsumujmy RDF Zbiory stwierdzeń SPARQL
Czy to wszystko? Załóżmy, że mamy dwie strony WWW związane z handlem samochodami. Na stronie 1 znajduje się stwierdzenie: <http://carshop.pl/catalog#2345> rdf:type uco:osobowy. Na stronie 2 znajduje się stwierdzenie: <http://shop-car.pl/offer#car123> rdf:type car:samochodosobowy. Dla maszyny powyższe dwa zasoby nie są tego samego typu...bo użyte są dwie różne nazwy!!!
Czy to wszystko? Jakie jest rozwiązanie? Twórcy obydwu stron powinni używać tego samego słownictwa (albo SamochodOsobowy albo Osobowy). Można też gdzieś (gdzie?) zapisać, że obie nazwy oznaczają to samo: car:samochodosobowy owl:sameas uco:osobowy. Obie powyższe nazwy są nazwami klas zasobów (a dokładnie tej samej klasy).
i jeszcze inny przykład Załóżmy, że aplikacja analizująca strony WWW ma za zadanie wyszukać zasoby będące samochodami. Na stronie 1 znajduje się stwierdzenie: <http://carshop.pl/catalog#2345> rdf:type uco:samochod. Na stronie 2 znajduje się stwierdzenie: <http://shop-car.pl/offer#car123> rdf:type car:ciezarowy. Dla maszyny tylko jeden zasób należy do klasy samochodów!!! Marcin Skulimowski, Wydział Fizyki i Informatyki Stosowanej, Uniwersytet Łódzki 2012
Czy to wszystko? Jakie jest rozwiązanie? Musimy gdzieś (gdzie?) zapisać, że klasa samochodów ciężarowych (Ciezarowy) jest podklasą klasy samochodów (Samochod): car:ciezarowy rdfs:subclassof uco:samochod. Przekazanie maszynie informacji powyższego typu tzn. o relacjach między klasami zasobów (nie tylko o zawieraniu) to dołączenie semantyki
Semantyka Zbiór informacji o klasach zasobów oraz o relacjach między klasami to konceptualizacja pewnej dziedziny (np. dziedziny związanej z handlem samochodami). Informacje takie wyrażamy (zapisujemy) za pomocą specjalnych języków: RDFS i OWL wówczas informacje takie tworzą ontologię. Można powiedzieć, że ontologie są zbiorami słów (słownikami), które mogą być wykorzystywane w opisach w RDF.
Ontologie Fragment prostej ontologii (pokazane tylko klas):
Semantyka Ontologia - klasy i relacje między nimi:
Ontologie Stworzono już wiele różnych ontologii:
Ontologie Ontologie tworzące Linked Open Vocabularies (LOV) :
Ontologie Ontologie mogą być między sobą powiązane tzn. jedna ontologia może wykorzystywać słownictwo z drugiej ontologii. Marcin Skulimowski, Wydział Fizyki i Informatyki Stosowanej, Ontologie Uniwersytet Łódzki umożliwiają 2012
Wnioskowanie Załóżmy, że w ontologii zapisaliśmy: car:ciezarowy rdfs:subclassof uco:samochod. a na stronie WWW umieszczona jest informacja: <http://shop-car.pl/offer#car123> rdf:type car.ciezarowy. Z tych dwóch stwierdzeń maszyna wyciągnie następujący wniosek: <http://shop-car.pl/offer#car123> rdf:type uco:samochod.
Ontologie Ontologie tworzone są za pomocą specjalnych edytorów. Hierarchia klas ontologii
Ontologie Właściwości
Ontologie Fragment ontologii:
Ontologie - uwagi Im bardziej skomplikowana ontologia (im więcej klas, relacji, obiektów i zależności między nimi) tym trudniejsze wykrycie w niej sprzeczności i wnioskowanie na podstawie takiej ontologii! Istniejące ontologie można łączyć i rozbudowywać dodając nowe klasy i relacje (właściwości). Aby strona WWW zaistniała w Semantycznym Internecie musi być powiązana ze stwierdzeniami RDF (i odwoływać się do jakiejś ontologii).
Ewolucja Internetu Internet dzisiaj Internet Semantyczny Jorge Cardoso, The Syntactic and the Semantic Web, Applications, IGI Global, 2007. in Semantic Web Services: Theory, Tools, and
Ewolucja Internetu
Ewolucja Internetu Jorge Cardoso, The Syntactic and the Semantic Web, Applications, IGI Global, 2007. in Semantic Web Services: Theory, Tools, and
A teraz zastosowania
Opisy rozszerzone Wynikiem wyszukiwania frazy opony zimowe w Google jest lista stron zawierających tę frazę. Dla każdej strony Google wyświetla także jej fragment czyli tzw. opis (snippet).
Opisy rozszerzone Internet Syntaktyczny Internet Semantyczny Snippets Rich Snippets Opisy (Snippets) powstają na podstawie zawartości strony przeznaczonej dla ludzi. Opisy rozszerzone (Rich Snippets) powstają na podstawie zawartości strony przeznaczonej dla maszyn.
Opisy rozszerzone Crawler tak jak do tej pory analizuje zawartość strony. Nowość polega na tym, że potrafi także przetwarzać tzw. dane strukturalne przeznaczone dla maszyn i zapisane w formatach wspieranych przez Google. Dane strukturalne możemy umieścić w kodzie HTML wykorzystując jeden z trzech standardów: mikrodane (microdata) mikroformaty (mikroformats) RDFa.
Opisy rozszerzone Dane strukturalne w każdym z formatów mają postać par: Przykład nazwa = wartość cena = 30 waluta = PLN nazwa = pamięć USB pojemność = 4 jednostka = GB Pary takie mogą być tworzone przez autora dowolnej strony WWW. Oczywiście używane słownictwo nie może być dowolne. W przypadku ofert dotyczących produktów mamy do dyspozycji m.in. następujące właściwości:
Opisy rozszerzone W przypadku informacji o produkcie Google wspiera:
Opisy rozszerzone Wyszukiwarka Google obsługuje także słownictwo zdefiniowane w ontologii GoodRelations:
Opisy rozszerzone - korzyści Opisy rozszerzone ułatwiają*: Zainteresowanie swoją ofertą potencjalnych kupujących, którzy szukają produktów w Google. Bezpłatne przesyłanie informacji o produktach. Kontrolowanie informacji o produktach. Można w ten sposób zapewnić dokładność i aktualność informacji o produktach, dzięki czemu klienci będą znajdować trafne, bieżące oferty szukanych produktów.. *http://www.google.com/support/webmasters/bin/answer.py?hl=pl& answer=146750
Opisy rozszerzone http://www.rachaelraystore.com/
Opisy rozszerzone http://www.google.com/webmasters/tools/richsnippets Rich Snippets Testing Tool to narzędzie pozwalające sprawdzić jakie dane strukturalne zawiera dana strona WWW.
Opisy rozszerzone Sprawdzamy stronę WWW: http://www.rachaelraystore.com/
Opisy rozszerzone Dane znalezione na stronie przez Rich Snippets Testing Tool:
Opisy rozszerzone Te same dane w formacie Turle wydobyte ze strony za pomocą RDFa 1.1 Distiller:
Opisy rozszerzone Opis rozszerzony rozważanej strony w wynikach wyszukiwania frazy Lazy Spoon Blue (m.in. cena): UWAGA: Informacje o cenie nie jest efektem parsowania zawartości strony WWW!!! Informacja ta pobierana jest z danych strukturalnych zapisanych w RDF.
Opisy rozszerzone Wynik wyszukiwania w Yahoo (dane strukturalnie nie są wykorzystane):
Opisy rozszerzone Wynik wyszukiwania w Bing (dane strukturalnie nie są wykorzystane): Marcin Skulimowski, Wydział Fizyki i Informatyki Stosowanej, Uniwersytet Łódzki 2012
Porównywarki cenowe Porównywarki cenowe to specjalne serwisy WWW umożliwiające porównanie cen produktów w różnych sklepach internetowych. Porównywarki umożliwiają użytkownikowi określanie własnych wymagań np. ceny, parametrów produktu etc.
Porównywarki cenowe Zasada działania porównywarek sprowadza się do zbierania danych bezpośrednio ze sklepów internetowych. Wykorzystywana może być do tego m.in.: ekstrakcja danych przeprowadzana np. przy użyciu specjalnych robotów (botów) analizujących zawartości stron WWW. Biorąc pod uwagę fakt, że różne sklepy posiadają różne strony WWW ekstrakcja taka nie jest zadaniem prostym. Rozwiązaniem mogłoby być wykorzystanie przez sklepy stron WWW o identycznej strukturze (niewykonalne!) lub zastosowanie języka RDF.
ShopBot przyszłości Zastanówmy się jak może wyglądać działanie ShopBota w Internecie Semantycznym. Przede wszystkim produkty w sklepie internetowym mogą być opisane za pomocą języka RDF. Opisy takie są zrozumiałe dla maszyn, w szczególności naszego ShopBota. Produkt, który nas interesuje też może być opisany w języku RDF. Dla ustalenia uwagi przyjmijmy, że planujemy zakup samochodu używanego...
ShopBot przyszłości Załóżmy, że na stronie WWW wypełniliśmy formularz określając parametry interesującego nas samochodu. Nasze wymagania: Typ: samochód osobowy Przebieg: 120000 Rocznik: 2005 Dodatkowo (opcjonalnie): czujnik deszczu Dane z formularza mogą być zapisane w języku RDF przy użyciu słownictwa pochodzącego z odpowiednich ontologii.
ShopBot przyszłości Nasze wymagania w formacie RDF: @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>. @prefix uco: <http://makolab.com/uconto#>. <> rdf:type uco:osobowy; ontologia uco:przebieg "120000"; uco:rocznik "2005"; uco:extra "czujnik deszczu";
ShopBot przyszłości Dane na temat samochodów dostępnych w komisie są również zapisane w formacie RDF np.: @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>. @prefix uco: <http://makolab.com/uconto#>. @base <http://carshop.pl/catalog>. <#2345> rdf:type uco:osobowy; uco:przebieg "13000"; uco:rocznik "2000". <#1205> rdf:type uco:ciezar; uco:przebieg "13500"; uco:rocznik "2001"; uco:extra "opony zimowe". <#2345> rdf:type uco:osobowy; uco:przebieg "120000"; uco:rocznik "2005"; uco:extra "czujnik deszczu".
ShopBot przyszłości Stwierdzenia opisujące dane produktów z katalogu mogą być umieszczone w plikach (też HTML - RDFa) oraz/albo w bazie danych stwierdzeń (tzw. triplestore). Sprawdzenie czy w katalogu znajduje się produkt spełniający nasze wymagania sprowadza się do sformułowania odpowiedniego zapytania w SPARQL. Zapytanie takie może być zrealizowane przez bota za pomocą tzw. endpoint u sklepu internetowego.
ShopBot przyszłości Zapytanie SPARQL sprawdzające czy w bazie jest samochód spełniający nasze wymagania: @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>. @prefix uco: <http://makolab.com/uconto#>. SELECT?s WHERE {?s rdf:type uco:osobowy.?s uco:przebieg "120000".?s uco:rocznik "2005". OPTIONAL {?s uco:extra "czujnik deszczu". } } Odpowiedź URL zasobu (samochodu) spełniającego nasze wymagania:?s ================================== <http://carshop.pl/catalog#2345>
ShopBot przyszłości Można sobie wyobrazić sytuację w której każdy sklep internetowy posiada bazę triplestore zawierającą opisy RDF oferowanych produktów. Boty porównywarek cenowych nie muszą wówczas analizować zawartości strony. Informacja o produktach dostępnych w sklepie uzyskiwana jest w oparciu o zapytania SPARQL. W ten sposób powstaje możliwość integracji danych z wielu sklepów internetowych. Właściciel sklepu musi zadbać o jedno o zapisanie w RDF informacji o produktach.
Triplestore Zawartość bazy danych może być zapisana w formacie RDF:
Przyszłość Wymagania Mój Agent Ontologia 1 transport Ontologia 2 pogoda Agent Ośrodka Wczasowego Ontologia 3 wypoczynek
www.semanticweb.org