media Wyszukiwanie pełnotekstowe z wykorzystaniem Search Engine

Transkrypt

1 Wyszukiwanie pełnotekstowe z wykorzystaniem Search Engine

2 Wyszukiwanie pełnotekstowe (ang. full-text search) - co to jest? Jest sposobem przeszukiwania danych tekstowych, który bazuje na analizie poszczególnych słów danej frazy w przeszukiwanym tekście.

3 Jak to działa? Przetworzenie dokumentu tekstowego Utworzenie wektora słów zawartych w dokumencie Eliminacja stop-słów (usuwanie szumu z, ale, od, tam ) Lematyzacja lub stemming (sprowadzanie do podstawowej formy: samochody samochód) Utworzenie indeksu FTS

4 Dostępne na rynku narzędzia Sphinx Search Engine (C++) Solr (bazujący na bibliotece Lucene, JAVA) DataparkSearch (C) Ferret (Ruby) mnogosearch (C)

5 Sphinx podstawowa funkcjonalność Prędkość indeksowania (do MB/sek na jednym rdzeniu procesora); Prędkość wyszukiwania (do zapytań/sec na jednym rdzeniu, dokumentów, 1.2 GB wielkość indeksu); Wysoka skalowalność (największy znany klaster to 3,000,000,000 dokumentów i największym obciążeniu 50,000,000 zapytań/dzień); Wysoka jakość wyników (posiada kilka modeli wagowania wyników) Możliwość rozproszonego wyszukiwania Generowanie snippetów

6 Sphinx podstawowa funkcjonalność Możliwość wyszukiwania poprzez SphinxAPI, SphinxQL oraz w samym MySQL u (posiada własny silnik magazynowania danych SphinxSE); Obsługa stop-słów (stopwords); Obsługa własnych słowników odmian (algorytm bądź słownik); Stemowanie (wbudowane stemmery dla języków: angielskiego, rosyjskiego oraz czeskiego; wsparcie dla większej ilości języków poprzez bibliotekę libstemmer polskiego nadal brak); Tokenizacja (usuwanie znaków specjalnych); Wbudowane wsparcie dla MySQL, PostgreSQL oraz wszystkich baz zgodnych z ODBC (Open DataBase Connetcivity) (MS SQL, Oracle, etc)

7 Instalacja pod Windowsem Po rozpakowaniu archiwum należy zainstalować searchd jako usługę. W tym celu w konsoli wpisujemy (jako administrator): C:\Sphinx\bin\searchd --install --config C:\Sphinx\sphinx.conf --servicename SphinxSearch Następnie dodajemy do ścieżki systemowej C:\Sphinx\bin Abyśmy mogli cokolwiek przetestować musimy skonfigurować źródło danych i utworzyć indeks - o tym w dalszej części

8 Instalacja pod Linuxem Gentoo: USE= mysql (postgres) (-debug) (id64) (stemmer) emerge app-misc/sphinx Debian: apt-get install sphinxsearch

9 Podstawowe moduły indexer - główne narzędzie, tworzy index search - narzędzie do testowania stworzonych indeksów searchd - demon dzięki któremu zewnętrzne aplikacje lub API mogą przeszukiwać indeksy SphinxAPI - zbiór api dla różnych języków programowania (PHP, JAVA, Python, Ruby, C)

10 Konfiguracja (sphinx.conf) sekcje source nazwa_zrodla #ustawienia źródła danych np. MySQL index nazwa_indexu #ustawienia indexu indexer #ustawienia indexera (limity pamięci etc.) searchd #ustawienia deamon a sphinxa

11 source (źródła danych) Pełna lista opcji: source ogloszenia type = mysql sql_host = sql_user = sphinx_user sql_pass = tajnehaslo!@# sql_db = cms sql_port = 3306 sql_query_pre sql_query sql_query_info = SET NAMES utf8 = SELECT tytul, tresc, autor, streszczenie FROM artykuly\ WHERE publikuj = 1 = SELECT id FROM artykuly WHERE id=$id

12 index Pełna lista opcji: index artykuly source = artykuly path = /var/lib/sphinx/artykuly min_word_len = 2 html_strip = 1 morphology = stem_en stopwords = /etc/sphinx/language/pl/stop_words_pl.txt wordforms = /etc/sphinx/language/pl/pl_dict.txt charset_type = utf-8 #zmienia wielkość liter z dużych na małe ignore_chars = U+002D, U+00AD charset_table = \

13 indexer Pełna lista opcji: indexer mem_limit = 2M write_buffer = 1M max_iops = 40 max_iosize =

14 searchd Pełna lista opcji: searchd listen = 9312 log = /logs/searchd.log query_log = /logs/query.log read_timeout = 2 max_children = 2 pid_file max_matches = seamless_rotate = 1 preopen_indexes = 1 unlink_old = 1 compat_sphinxql_magics = 0 workers = fork = /var/run/sphinx/searchd.pid

15 Przyrostowy indeks main + delta # Nowa tabela w MySQL CREATE TABLE sph_counter ( counter_id INTEGER PRIMARY KEY NOT NULL, max_doc_id INTEGER NOT NULL );

16 Edytujemy sphinx.conf source main #... sql_query_pre = SET NAMES utf8 sql_query_pre = REPLACE INTO sph_counter SELECT 1, MAX(id) FROM artykuly sql_query = SELECT id, tytul, tresc, streszczenie FROM artykuly \ WHERE id<=( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 ) AND publikuj = 1 index main source = main path = /sciezka/do/main #... pozostałe ustawienia

17 Wszystkie inne ustawienia kopiowane są z main do delta, ale source i ścieżka są nadpisywane index delta : main source = delta path = /path/to/delta source delta : main sql_query_pre = SET NAMES utf8 sql_query = SELECT id, tytul, tresc, streszczenie FROM artykuly \ WHERE id>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )\ AND publikuj = 1

18 Dziękuję za uwagę! Łukasz Wrucha Starszy programista tel.: Twoja nawigacja w Biznesie