Semantyczna analiza języka naturalnego

Transkrypt

1 Semantyczna analiza języka naturalnego Rozwiązanie Applica oparte o IBM SPSS Modeler Piotr Surma Applica

2 2 Agenda O Applica Analiza tekstu w języku polskim - wyzwania Rozwiązanie Applica Analiza Tekstu Zastosowania Funkcjonalność

3 3 O Applica Applica automatyzuje procesy związane z analizą i przetwarzaniem danych tekstowych w języku polskim. Produkty Applica zastępują człowieka w realizacji zadań wymagających analizy dużych wolumenów danych, krótkich czasów reakcji czy też powtarzalności uzyskiwanych wyników. j Współpraca z Instytutem Podstaw Informatyki PAN, zespół złożony z pracowników naukowych PAN Współpraca w zakresie Własne, zaawansowane algorytmy z zakresu analizy semantycznej Partnerstwo z firmami IBM i Oracle w zakresie analizy języka naturalnego Doświadczenie poparte wdrożeniami

4 4 Metoda worka słów Wśród obecnych na rynku polskim rozwiązań dedykowanych do analizy języka naturalnego wykorzystywana jest metoda worka słów z zastosowaniem metod czysto statystycznych bez wcześniejszej analizy lingwistycznej tekstu, co prowadzi do znaczącego obniżenia jakości wyników analizy tekstu. Do najczęstszych przyczyn problemów jakościowych należą: Wyrazy niesprowadzone do form podstawowych Brak rozróżnienia części mowy (np. czasownik, rzeczownik, przymiotnik) Brak ujednoznacznienia wyrazów lub ujednoznacznienie wykonywane metodami statystycznymi, a nie w wyniku analizy lingwistycznej Brak wyróżnienia grup składniowych (np. dokumentacja auta, dokumentacja przebiegu) Brak podziału na zdania Brak identyfikacji synonimów (np. auto = pojazd)

5 5 Analiza n-gramów Stosowana przez Applicę analiza lingwistyczna zakłada, że wyrazy łączą się ze sobą znaczeniowo, gdy występują w tej samej grupie składniowej. Stosowana przez konkurencję analiza n-gramów zakłada, że wyrazy łączą się ze sobą znaczeniowo gdy występują obok siebie w zdaniu. Analiza lingwistyczna Play oznaczony jako profesjonalny Play jest zawsze profesjonalny Orange nie dba o klientów Analiza n-gramów: Orange oznaczony jako profesjonalny

6 6 Proces przetwarzania języka naturalnego Przygotowanie danych Segmentacja Analiza morfologiczna Dezambiguacja Analiza syntaktyczna Analiza semantyczna W odróżnieniu od produktów firm konkurencyjnych działających na polskim rynku, które do przetwarzania języka wykorzystują metody czysto statystyczne ( worek słów ), rozwiązanie Applica stosuje zaawansowane metody lingwistyczne w pełnym procesie analizy morfologicznej i płytkiej analizie syntaktycznej tekstu Tekst źródłowy poddawany jest segmentacji, najmniejsze jednostki składowe analizowane są pod kątem morfologicznym, następnie ujednoznaczniane i sprowadzane do form podstawowych. Powierzchniowa analiza syntaktyczna pozwala na wyróżnienie nie tylko pojedynczych słów, lecz również bardziej złożonych konstrukcji językowych. Proces analizy semantycznej tekstu odbywa się zarówno na poziomie wyodrębnionych segmentów, bardziej złożonych konstrukcji językowych, jak i zdań. Na każdym z poziomów wykonywana jest głęboka analiza wydźwięku, w wyniku której oznaczana jest zawartość emocjonalna tekstu. Przy oznaczaniu brana jest pod uwagę złożoność polskiej gramatyki: takie fenomeny językowe jak np. wykorzystanie podwójnego zaprzeczenia, zdań przeciwstawnych, powtórzeń itp. W ramach analizy semantycznej tekstu wykonywana jest także kategoryzacja tematyczna tekstu odzwierciedlająca specyfikę zastosowań biznesowych analizy.

7 7 O rozwiązaniu Rozwiązanie stworzone w oparciu o zaawansowaną platformę analizy predykcyjnej IBM SPSS Modeler. Pełne wsparcie polskiej gramatyki oraz zasoby językowe dla języka polskiego. Możliwość zaawansowanej semantycznej analizy dużych zbiorów danych: Transkrypcje rozmów Call Center Korespondencja Media społecznościowe Odpowiedzi na ankietowe pytania otwarte Możliwość uzupełniania modeli churnowych i fraudowych o dane nieustrukturyzowane. Zunifikowana platforma do pogłębionych analiz Customer Experience w wielu kanałach.

8 8 Analiza transkrypcji rozmów Call Center Cel biznesowy: Analiza treści 100% rozmów prowadzonych z klientami prowadzonych w Call Center m.in. w celu identyfikacji klientów zagrożonych odejściem diagnozy najczęściej pojawiających się problemów, najczęstszych przyczyn niezadowolenia klientów oraz oceny pracy konsultantów. Klienci: Banki Towarzystwa ubezpieczeniowe Operatorzy telekomunikacyjni Inne usługowe firmy konsumenckie Problemy: Brak możliwości odsłuchu 100% nagrań z Call Center Brak narzędzi wspierających analizę znaczeniową rozmów Rozwiązanie Applica: Wsparcie analizy znaczeniowej transkrypcji rozmów Znaczące ograniczenie zasobów zaangażowanych w analizę rozmów Możliwość analizy 100% rozmów

9 9 Analiza masowej korespondencji Cel biznesowy: Szybka oraz efektywna kosztowo identyfikacja tematyki masowej korespondencji Problemy: Duża liczba spraw zgłaszanych w formie Brak narzędzi wspierających identyfikację tematyki spraw Brak czasu na szczegółową analiz masowo zgłaszanych spraw przez konsultantów Potencjalnie bardzo wysokie koszty finansowe i wizerunkowe braku natychmiastowej reakcji na masowe zgłoszenia Klienci: Banki Towarzystwa ubezpieczeniowe Operatorzy telekomunikacyjni Inne usługowe firmy konsumenckie Rozwiązanie Applica: Szybka identyfikacja tematyki spraw Możliwość analizy bardzo dużych wolumenów danych (dziesiątki bądź setki tysięcy wiadomości ) Ograniczenie zasobów niezbędnych do analizy masowych zgłoszeń Możliwość prowadzenia zaawansowanych analiz tematyki spraw w oparciu o dodatkowe dane dostępne w organizacji

10 10 Analiza mediów społecznościowych Cel biznesowy: Wizerunek marki analiza kontekstu wymieniania Atrybuty produktów i usług oferowanych przez markę Najczęstsze problemy związane z użytkowaniem produktów i usług Problemy: Znaczne koszty analizy treści metodami tradycyjnymi Niska powtarzalność analiz Statyczne wymiary analiz Praktyczny brak możliwości analizy danych historycznych Klienci: Wewnętrzne działy badań firm konsumenckich Firmy badawcze Firmy doradztwa strategicznego Agencje PR Partie polityczne Rozwiązanie Applica: Semi-automatyczna analiza treści Możliwość analizy bardzo dużych wolumenów danych (dziesiątki bądź setki tysięcy wypowiedzi) Ograniczenie czasu i zasobów niezbędnych do analizy treści Możliwość semi-automatycznej analizy treści historycznych

11 11 Analiza odpowiedzi na ankietowe pytania otwarte Cel biznesowy: Szybka i powtarzalna analizy odpowiedzi na ankietowe pytania otwarte Problemy: Znaczne koszty analizy odpowiedzi na pytania otwarte metodami tradycyjnego kodowania Statyczne klucze kodowe, ręczne kodowanie Niska powtarzalność kodowania Stosunkowo długi czas kodowania Praktyczny brak możliwości re-kodowania danych historycznych Rezultat - ograniczone wykorzystanie pytań otwartych Klienci: Wewnętrzne działy badań firm konsumenckich Firmy badawcze Partie polityczne Rozwiązanie Applica: Semi-automatyczna kategoryzacja Możliwość analizy bardzo dużych wolumenów danych (dziesiątki bądź setki tysięcy odpowiedzi) Możliwość zautomatyzowanego re-kodowania danych historycznych Ograniczenie czasu i zasobów niezbędnych do analizy odpowiedzi na pytania otwarte

12 12 Zaawansowane metody analizy tekstu Dedykowane węzły do analizy tekstu w języku polskim: Applica MPJ poprawa jakości tekstów źródłowych Applica AMS analiza części mowy, sprowadzanie tekstu do form podstawowych Applica NER wykrywanie nazw własnych* Applica APJ analiza gramatyki* * funkcjonalność dostępna w kolejnych wydaniach

13 13 Zaawansowane metody analizy tekstu Kompletny słownik języka polskiego wraz z modelem gramatyki wykorzystywany w procesie ekstrakcji pojęć

14 14 Automatyzacja procesu kategoryzacji Szybka ekstrakcja kluczowych pojęć i opinii Identyfikacja nowych kategorii lub wykorzystanie predefiniowanych kategorii na potrzeby analizy tekstu Elastyczne dopasowanie poziomu szczegółowości analizy dzięki zastosowaniu hierarchicznej struktury kategorii Oszczędność czasu i powtarzalność wyników dzięki powtórnemu wykorzystaniu przygotowanych modeli kategorii oraz zasobów językowych

15 15 Automatyzacja procesu kategoryzacji Czytelna wizualizacja kategorii i pojęć powiązanych w postaci grafów i wykresów jako wstęp do pogłębionej analizy korelacyjnej Pełen dostęp do verbatimów ilustrujących wykorzystanie pojęć, kategorii oraz ich kombinacji zdefiniowanych z wykorzystaniem wyrażeń logicznych Prosty eksport wyników do innych narzędzi do pogłębionych analiz i wzbogacania modeli danych z innych źródeł

16 16 Pogłębiona analiza wydźwięku model Plutchika N A2. Raport szczegółowy: wizerunek marki - Applica , 16:38 radość zaufanie obawa zaskoczenie smutek niechęć złość oczekiwanie N A2.3b Głęboki wydźwięk wypowiedzi klientów na temat marki liczba [%] radość zaufanie obawa zaskoczenie smutek niechęć złość oczekiwanie Miesiąc Highcharts.com / test.applica.pl/ applica/ viewraport.html?id= 13&product= 9 Strona 1 z 1

17 17 Kontakt Piotr Surma Partner Zarządzający kom Applica Sp. z o.o. ul. Wiślana 8, Warszawa Tel , Fax