Inteligentne wydobywanie informacji z internetowych serwisów społecznościowych

Transkrypt

1 Inteligentne wydobywanie informacji z internetowych serwisów społecznościowych

2 AUTOMATYKA INFORMATYKA Technologie Informacyjne Sieć Semantyczna Przetwarzanie Języka Naturalnego Internet Edytor Serii: Zdzisław Kowalczuk

3 Inteligentne wydobywanie informacji z internetowych serwisów społecznościowych Redakcja: Bogdan Wiszniewski POMORSKIE WYDAWNICTWO NAUKOWO-TECHNICZNE GDAŃSK 2011 PWNT

4 Redaktor Naczelny i Edytor Serii: Redaktor wydania: Korekta wydawnicza: Projekt graficzny: Zdzisław Kowalczuk, prof. dr hab. inż. Bogdan Wiszniewski, prof. dr hab. inż. Anna Osadowska Monika Wiszniewska (Kowalczuk), mgr inż. arch. Praca naukowa finansowana przez MNiSzW i NCBR jako projekt rozwojowy ze środków na naukę w latach Książka wydana nakładem Towarzystwa Konsultantów Polskich, Oddział Gdańsk Książkę wydrukowano na podstawie materiałów przygotowanych przez Autorów Copyright by TKP, Pomorskie Wydawnictwo Naukowo-Techniczne, Gdańsk 2011 Copyright by Bogdan Wiszniewski, 2011 All rights reserved Wszystkie nazwy produktów wymienione w niniejszej publikacji są zastrzeżonymi nazwami handlowymi lub znakami towarowymi odpowiednich firm. Niniejszej książki w całości lub części nie wolno powielać, ani przekazywać w żaden sposób (nawet za pomocą nośników mechanicznych, elektronicznych i magnetycznych), w tym też umieszczać lub rozpowszechniać w postaci cyfrowej zarówno w Internecie, jak i sieciach lokalnych, bez uzyskania pisemnej zgody Wydawnictwa PWNT Towarzystwa Konsultantów Polskich. Pomorskie Wydawnictwo Naukowo-Techniczne PWNT Towarzystwa Konsultantów Polskich Oddział Gdańsk Gdańsk, ul. Grunwaldzka 311 tel./fax tkp@konsulting.gda.pl strony: (sklep internetowy) ISBN

5 Spis treści Przedmowa Rozdział 1: Jȩzyki i gramatyki formalne Języki formalne, języki programowania i metajęzyki Języki programowania Translatory, kompilatory oraz interpretery Gramatyki formalne Definicja i rodzaje gramatyk formalnych Notacje zapisu gramatyk formalnych Klasyfikacja Chomsky ego Wyrażenia regularne Jednoznaczność, rozstrzygalność i przydatność gramatyk Analiza zdań języka Rozdział 2: Automaty jako narzȩdzia w przetwarzaniu jȩzyka Stany automatu i notacja grafowa Klasyfikacje automatów Funkcja automatu Akceptowane klasy języków Determinizm działania automatu Automaty skończone Deterministyczne automaty skończone (DFA) Niedeterministyczne automaty skończone(nfa) Niedeterministyczne automaty skończone z ɛ-przejściami (ɛ-nfa) Tworzenie automatu na podstawie wyrażenia regularnego Determinizacja automatu Minimalizacja automatu Automat Mealy ego Determinizacja automatu Mealy ego Rozdział 3: Przetwarzanie jȩzyka naturalnego Perspektywy przetwarzania języka naturalnego Zastosowania przetwarzania języka naturalnego Model warstwowy przetwarzania Warstwa segmentacji Warstwa słownikowa Płytka analiza składniowa Warstwa składniowa Warstwa znaczeniowa Warstwa użycia... 44

6 vi 3.4 Jakość przetwarzania Miary jakości Poprawianie pisowni Optymalizacja reguł Rozdział 4: Głȩboka analiza tekstu w jȩzyku polskim Pragmatyka i funkcje tekstów Problem homonimii Analizatory i wyszukiwarki Dehomonimizacja i desynkretyzacja Typy analiz Analiza morfologiczna Analiza składniowa Analiza głęboka Przykładowa analiza zdania Analiza semantyczna Nowe zjawiska językowe Rozdział 5: Metody wspomagania wyszukiwania informacji Języki zapytań wyszukiwarek internetowych Język zapytań w wyszukiwarce Google Język zapytań w innych wyszukiwarkach Interaktywne rozszerzanie zapytań Metody globalne Metody lokalne Tworzenie rankingu użyteczności słów Zapytania powiązane tematycznie Personalizacja Wykorzystanie modelu przestrzeni wektorowej do wspomagania wyszukiwania Wyszukiwanie relewantne Wyszukiwanie zasobów podobnych Klasteryzacja dokumentów Zapytania w języku naturalnym Chmury znaczników Metoda klasteryzacji kierunkowej Rozdział 6: Detekcja obiektów graficznych i ekstrakcja ich parametrów Analiza obrysu obiektu Podział linii brzegowej na tokeny Wykorzystanie symetrii do porównywania kształtów Analiza zawartości obrazu (tekstury) N M-gramy Lokalne wzorce Filtry Gabora Wykrywanie obiektów metodą AdaBoost Wyznaczanie cech Funkcje klasyfikujące Kaskada klasyfikatorów... 88

7 Rozdział 7: Selekcja i ekstrakcja cech Reprezentacja danych Selekcja cech Generowanie podzbioru cech Ocena jakości podzbioru cech Kryterium stopu Ekstrakcja cech Analiza głównych składowych Wielowymiarowe skalowanie Liniowa analiza dyskryminacyjna Rozdział 8: Algorytmy klasyfikacji i uczenia w rozpoznawaniu treści Uczenie a uogólnianie Klasyfikator bayesowski Estymacja parametrów rozkładu normalnego Naiwny klasyfikator bayesowski Klasyfikator najbliższego sąsiada Drzewa decyzyjne Algorytm ID Metody poprawy uogólniania Sztuczne sieci neuronowe (SSN) Uczenie klasyfikatora neuronowego w oparciu o zbiór przykładów Algorytm propagacji wstecznej błędu Metoda wektorów wspierających (SVM) Rozdział 9: Studium przypadku system ISPAD Moduł pozyskiwania danych Moduł zarządzania korpusem Narzędzia do pracy nad tekstami o określonych treściach Testy korpusu ISPAD Moduł analizy danych Normalizacja i segmentacja tekstu Analiza językowa Wnioskowanie Przygotowanie reakcji Moduł zarządzania bazą wiedzy Bibliografia 139 Skorowidz 145 Streszczenie w jȩz. angielskim 149 vii

8