Multimedialne bazy danych. Andrzej Łachwa, WFAiIS UJ 2011

Transkrypt

1 4 Multimedialne bazy danych Andrzej Łachwa, WFAiIS UJ 2011

2 Full-Text Search in MySQL Natural Language Full-Text Searches Boolean Full-Text Searches Full-Text Searches with Query Expansion Full-Text Stopwords Full-Text Restrictions Fine-Tuning MySQL Full-Text Search Adding a Collation for Full-Text Indexing

3 Full-Text Search in SQL Server (2008) Full-Text Search Overview Full-Text Search Architecture Administering Full-Text Search Querying SQL Server Using Full-Text Search Troubleshooting Full-Text Search

4 Filters ekstrakcja tekstu bez znaków formatujących z pól binarnych, np. doc SQL Protocol Handler dostęp do danych z tabel SQL Servera Word Breaker wydzielanie słów z przechowywanych tekstów (tokenizing) Utrzymywanie indeksów FTS automatyczna aktualizacja danych (wpływa niekorzystnie na wydajność bazy danych), ręczne przeładowanie indeksu (zwykle wymaga długiego czasu), asynchroniczne przetwarzanie w tle (planowane na czas niskiej aktywności użytkowników w bazie danych).

5 Full-Text Search in PostgreSQL (8.4) Introduction Tables and Indexes Controlling Text Search Additional Features Parsers Dictionaries Configuration Example Testing and Debugging Text Search GiST and GIN Index Types psql Support Limitations Migration from Pre-8.3 Text Search

6 Tomasz Tomczyk Pierwszą myślą, która może przyjść do głowy, jest użycie do szukania konstrukcji LIKE. Jeśli ktoś chce wycisnąć ze swojego serwera ostatnie poty, i napisać supernieoptymalny kod, to polecam tę metodę O ile silnik bazy MyISAM posiada możliwość założenia indeksu pełnotekstowego (fulltext), to niestety najpopularniejszy, przynajmniej według mnie, silnik InnoDB, wsparcia dla wyszukiwania pełnotekstowego nie posiada. Jest kilka sposobów na obejście tego problemu

7 znajdziemy dwa konkurencyjne rozwiązania, które przyjdą nam z pomocą, a mianowicie: Lucene (java) i Sphinx Search (C++). Możliwości Lucene: indeksowanie zawartości plików wielu formatów np. pdf, doc, . wysoka skalowalność funkcjonalność jednoczesnego wyszukiwania i aktualizowania indexu wbudowany mechanizm stronicowania Wymagania systemowe: Java 1.5.x, ANT 1.7.0, JUnit (jeśli chcemy uruchamiać testy)

8 W pakiet Sphinx a wchodzą cztery główne moduły: Indexer: główne narzędzie robocze używane do tworzenia pełnotekstowych indeksów, Search: narzędzie do testowania stworzonych indeksów, Searchd: jest do demon, dzięki któremu zewnętrzne aplikacje mogą poprzez specjalne api przeszukiwać nasze indeksy, Sphinxapi: jest to zbiór bibliotek udostępniających api dla różnych języków programowania, w tym również dla PHP.

9 Co tak naprawdę Sphinx potrafi: - szybkie indeksowanie (10 15 MB/sec) - szybkie wyszukiwanie ( zapytań/sec w indeksie zawierającym ponad 1M wpisów i fizycznym rozmiarze 1.2GB) - wysoka skalowalność - obsługuje rozproszone wyszukiwanie - możliwość użycia go, jako silnika bazy MySQL, przez co możemy odwoływać się do danych przy użyciu składni SQL, podobnej jak przy zapytaniach do indexu fulltextowego w silniku MyISAM - obsługa morfologii dla języka angielskiego i rosyjskiego - natywne wsparcie dla MySQL oraz PostreSQL

10 Kolejne alternatywy: użycie bazy PostgeSQL zamiast MySQL, która ma lepsze wbudowane wsparcie dla wyszukiwania pełnotekstowego. DataparkSearch napisany w C Ferret napisany w Ruby inspirowany Lucene mnogosearch napisany w C Xapian napisany w C

11 Rafał Kosturek SOLR (czyt. solar) to serwer wyszukiwania pełnotekstowego bazujący na bibliotece Lucene. Rozwijany jest przez Apache Foundation i rozpowszechniany na licencji Open Source. Na rynku wyszukiwarek umiejscawiany jest obok produktów takich jak Sphinx czy Katta... Solr napisany jest w Javie, Pełna obsługa, czyli wyszukiwanie, indeksowanie i modyfikacja danych odbywa się przy pomocy interfejsu HTTP/XML. Biblioteki dostępne są w dla wielu popularnych języków a dane wyjściowe mogą być zwracane w kilku formatach: XML/XSLT, JSON, Python, Ruby lub PHP.

12 Ze względu na skuteczność wyników, bardzo istotny jest sam proces indeksowania danych typy tekstowe podlegają serii transformacji: tokenizacji, stemmingowi, itp. Dużą przewagą Solra na tle innych rozwiązań jest funkcjonalność faceted search, przydatna szczególnie w rozwiązaniach e-commerce. funkcja ta polega na grupowaniu wyników w kategorie i zawężaniu kolejnych wyszukiwań. Tłumacząc to na przykład produktów w sklepie internetowym, można je wyszukiwać po producencie, marce, zakresie cen, kolorze, czasie dostawy, ocenie itd. Kategoryzacja następuje automatycznie przez mechanizm wyszukiwarki, a funkcjonalność ta możne być rozszerzona przez dodanie liczników.

13 Jednym z parametrów serwera wyszukiwania jest czas budowania indeksu. Dla testowego przypadku 11 mln rekordów transport z bazy danych i zaindeksowanie trwało kilkanaście godzin. Może się to wydawać dużo, ale należy pamiętać, że w typowych zastosowaniach ładowanie całościowe odbywa się tylko raz. Solr udostępnia bowiem funkcjonalność częściowych aktualizacji. Nie chodzi tutaj tylko o dodawanie danych, jak ma to miejsce w niektórych silnikach wyszukiwawczych, ale również o ich modyfikację i usuwanie.

14 faceted search maszyna HP Proliant DL360 G4

15 Marcin Szeliga Usługa Microsoft Search pozwala na wyszukiwanie danych tekstowych na podstawie ich zgodności z pojedynczymi słowami, frazami czy różnymi formami danego słowa. SQL Server wykorzystuje do wyszukiwania pełnotekstowego obiekty dwóch typów: Indeks wyszukiwania pełnotekstowego (ang. full-text index) przechowujący poszczególne słowa występujące w tabeli, dla której został stworzony. Katalog wyszukiwania pełnotekstowego (ang. full-text catalog).

16 Indeksy wyszukiwania pełnotekstowego zapisane są w katalogu wyszukiwania pełnotekstowego folderze utworzonym na dysku NTFS, do którego uprawnienia posiada wyłącznie administrator komputera i usługa Microsoft Search. Z reguły jeden katalog wyszukiwania pełnotekstowego tworzony jest dla jednej bazy danych. Zadaniem usługi Microsoft Search jest tworzenie indeksów wyszukiwania pełnotekstowego i zarządzanie nimi oraz wykorzystywanie tych indeksów w zapytaniach.

17 [Przykład] sp_help_fulltext_catalogs zwraca informacje o wybranym katalogu wyszukiwania pełnotekstowego: ID, NAME, PATH, STATUS, NUMBER_FULLTEXT_ TABLES gdzie STATUS oznacza jeden z poniższych stanów katalogu: 0 bezczynny, 1 trwa pełne wypełnianie, 2 zatrzymany z powodu niewystarczających zasobów systemowych, 3 wstrzymany, 4 odtwarzany, 5 wyłączony, 6 trwa wypełnianie przyrostowe, 7 trwa aktualizacja indeksów. [ ]

18 System zarządzania dokumentami (Document Management System, DMS) mentami [DMS to] narzędzie informatyczne pozwalające na przetwarzanie wszelkich form dokumentów powstających w organizacjach. Przetwarzanie dotyczy zarówno dokumentów wewnętrznych jak również dokumentów napływających z otoczenia (np. zamówienia od klientów, faktury, listy i inne). Narzędzia OCR przetwarzają dokumenty z formy papierowej (graficznej) w formę tekstową, dającą się w prosty sposób indeksować i zapisywać we wszelkiego rodzaju bazach danych.

19 Funkcje DMS-ów: rejestrowanie, porządkowanie, klasyfikacja, system kontroli wersji, archiwizacja danych, powiadomienia osobiste bądź dla grup użytkowników o zmianach, monitorowanie plików i folderów, obsługa różnych formatów plików, operacje przenoszenia, wysyłania w obieg, usuwania, zarządzanie obiegiem dokumentów. Każdy dokument w DMS posiada metrykę określającą informacje ogólne dokumentu. Dane znajdujące się w metryce mogą być definiowane przez użytkownika systemu. Niektóre systemy zarządzania są zintegrowane z systemami workflow, gdzie każda z osób pracuje nad dokumentem na swoim poziomie kompetencji a następnie przekazuje go kolejnym pracownikom [ ]

20 DMS: systemy zarządzania dokumentami elektronicznymi (przegląd aplikacji Open Source) ronicznymi.przeglad.aplikacji.open.source?page=1 Do pracy grupowej duże przedsiębiorstwa wykorzystują najczęściej takie rozwiązania, jak Microsoft SharePoint, DocPoint, pakiet IBM FileNet P8 Platform czy EMC Documentum. Ich wspólną cechą są jednak wysokie koszty wdrożenia Opisywane w artykule programy OpenSource to: LogicalDOC, OpenKM, Nuxeo, Owl oraz KnowledgeTree. [ ]