Część 1. Ekstrakcja informacji oraz stylometria na usługach psychologii CLARIN-PL. Tomasz Walkowiak

Transkrypt

1 CLARIN-PL Ekstrakcja informacji oraz stylometria na usługach psychologii Część 1 Tomasz Walkowiak Politechnika Wrocławska Grupa Naukowa G4.19 Katedra Inteligencji Obliczeniowej Wydział Informatyki i Zarządzania Katedra Informatyki Technicznej Wydział Elektroniki Tomasz.Walkowiak@pwr.edu.pl

2 Wydobywanie informacji z tekstów Kompetencje Informatyka Eksploracja danych NLP Lingwistyka Wiedza dziedzinowa

3 LEM = System eksploracji tekstów literackich Opracowywany przez CLARIN-PL we współpracy z Instytutem Badań Literackich Polskiej Akademii Nauk Maciej Maryl, Maciej Piasecki, Tomasz Walkowiak

4 Narzędzia językowe online CLARIN-PL

5 Możliwości wykorzystania Utworzone aplikacje webowe są do państwa dyspozycji służymy pomocą w ich obsłudze w zrozumieniu zasad ich działania/użytych metod nie tylko w ramach warsztatów: webserwisy@clarin-pl.eu Tomasz.Walkowiak@pwr.du.pl Jeżeli nie spełniają one państwa potrzeb, to możemy: zbudować potrzebną aplikacje badawczą na bazie istniejących usług przetworzyć korpus za pomocą usług CTJ Clarin-PL Możecie państwo samodzielnie wykorzystać usługi API REST-owe: przykłady w Javie, Python efektywność przetwarzania 5

6 LEM CLARIN-PL LEM = Literary Exploratory Machine Złożone metody. prosta funkcjonalność

7 Załadowanie korpusów CLARIN-PL Różnorodność formatów txt różnorodne kodowanie znaków doc, docx (pptx, xlslx), odt, rtf, html, pdf Apache Tika do konwersji Różnorodność źródeł ZIP Lokalny plik, URL, prywatna chmura

8 Czyszczenie danych Na wejściu wymagamy danych tekstowych OCR wprowadza sporo błędów PDF kolumny wzory, obrazy, tabele nagłówki, stopki przeniesienia Anotacje A: No strasznie młodo ((śmieje się)) zresztą wyglądasz na taką młodą. I od razu po studiach.hhh wyjechałaś za granicę? R: Tak, tak, znaczy.hhh mój mąż, ja kończyłam czwarty rok a mój mąż.hhh już był za granicą i ja tutaj, dojechałam do niego. A: To na studiach poznaliście się? R: nie, dużo wcześniej (.3)

9 Tagowanie morfosyntaktyczne CLARIN-PL Morfeusz + WCRFT2, MorphoDiTa tokenizacja forma bazowa znacznik, tagset NKJP: <chunk id="ch1" type="p"> <sentence id="s1"> <tok> <orth>wysoka</orth> <lex disamb="1"> <base>wysoki</base> <ctag>adj:sg:nom:f:pos</ctag></lex> </tok> <ns/> <tok> <orth>,</orth> <lex disamb="1"><base>,</base> <ctag>interp</ctag></lex> </tok> <tok> <orth>kształtna</orth> <lex disamb="1"><base>kształtny</base> <ctag>adj:sg:nom:f:pos</ctag></lex> </tok> <ns/> <tok> <orth>,</orth> <lex disamb="1"><base>,</base> <ctag>interp</ctag></lex> </tok> <tok> <orth>z</orth> <lex disamb="1"><base>z</base> <ctag>prep:gen:nwok</ctag></lex> </tok> <tok> <orth>twarzą</orth> <lex disamb="1"><base>twarz</base> <ctag>subst:sg:inst:f</ctag></lex> </tok>

10 LEM: lematyzacja CLARIN-PL Tekst przykładowy (Orzeszkowa, Szczęśliwa) Wysoka, kształtna, z twarzą myślącą, zimną nieco, ale pięknie zarysowaną i bardzo świeżą, w stroju pełnym smaku i powagi, siedzi pod rozłożystemi drzewami wspaniałego parku i myśli o tem, jaki ten park jest piękny, jaki ten dzień letni jest pogodny i jaka ona sama jest szczęśliwa. Rezultat lematyzacji (Orzeszkowa, Szczęśliwa) wysoki, kształtny, z twarz myśląca, zimny nieco, ale pięknie zarysować i bardzo świeży, w strój pełny smak i powaga, siedzieć pod rozłożystemi drzewo wspaniały park i myśleć o tema, jaki ten park być piękny, jaki ten dzień letni być pogodny i jaki on sam być szczęśliwy.

11 LEM: Wyznaczanie części mowy CLARIN-PL Przykład: Orzeszkowa, Kto winien Nie nie qub była być praet już już qub młodą młody adj,, interp lecz lecz conj twarz twarz subst jej on ppron3 zachowała zachować praet delikatność delikatność subst rysów rys subst i i conj cery cer subst,, interp kibić kibić subst

12 CLARIN-PL LEM: Charakterystyka czasownikowa tokeny czasowni czas1osl czas1osl czas2osl Czas2 k poj mn poj oslmn czas3 oslpoj czas3osl mn Czas bezokoli cznik Czas bezosob trybprzyp trybrozk Czas teraz czasprze czasprzy muzyka_ 2_ LEM: Statystyki lematów i części mowy (znaczników NKJP) człowiek 36 ale 34 o 34 życie 33 od 33 oko 32 subst:sg:gen:m3 122 subst:sg:nom:f 119 subst:sg:gen:n 115 subst:sg:nom:n 111 prep:gen 107 prep:gen:nwok 105

13 Nazwy własne CLARIN-PL Liner2 narzędzie do rozpoznawania i znakowania nazw własnych oraz wyrażeń temporalnych w tekście modele:

14 LEM CLARIN-PL Przykład (Żuławski, Veneri et romae) LEM: Wyznaczanie nazwy własnych Statystki nazw własnych Adrjatyku Afrodyty Albano Albańskich Alpach Amfiteatrowi Flawjusza Asklepjosa Augusta Baedeker Baedekera Berniniego Bibljoteki Augusta Bogu Borghese Rzym Rzym 19 Palatynie Palatyn 13 Kapitolu Kapitol 7 Forum forum 6 Konstantyna Konstantyn 4 Koloseum Koloseum 3 Piotra Piotr 3 Słońce słońce 3 Via Sacra via sacrum 3 Baedeker Baedeker 2 Grecji Grecja 2 Kastora Kastor 2 Marka Aureljusza Marek aureljusza 2

15 Ujednoznacznianie znaczeń

16 Nastawienie emocjonalne CLARIN-PL ANOTACJA NASTAWIENIEM EMOCJONALNYM Emocje podstawowe radość, smutek, złość, strach, zaufanie, obrzydzenie, zaskoczenie czymś nieprzewidywanym i czekanie na coś miłego (Ekman 1992; Plutchik 1980) Wartości uniwersalne użyteczność / bezużyteczność, dobro drugiego człowieka / krzywda, prawda, wiedza / niewiedza, błąd, piękno / brzydota, szczęście i nieszczęście (Puzynina 1992) Nastawienie pozytywne (bardzo słabo), negatywne (bardzo słabo), neutralne, ambiwalentne. Ponad oznakowanych jednostek

17 LEM: Wydźwięk Charakterystyka czasownikowe, zaimkowe, Polaryzacja emocjonalna, wartościowanie emocji Częstości wystąpień w tekstach Prus Faraon tokeny czas1oslpoj czas1oslmn czas2oslpoj czas2oslmn czas3oslpoj czas3oslmn zaim1oslpoj zaim1oslmn zaim2oslpoj zaim2oslmn zaim3oslpoj zaim3oslmn polneu polpos polneg błąd nieszczęście szczęście strach zaufanie złość użyteczność radość krzywda zaskoczenie czymś nieużytecz cieszenie się na coś nieprzewidy smutek piękno wiedza ność niewiedza wstręt dobro oczekiwanego wanym brzydota prawda

18 Analiza wydźwięku Korpus: Wydźwięk 60% to opinie dotyczące hotelarstwa (TripAdvisor), 30% to opinie dotyczące usług lekarskich (znanylekarz.pl), 3% (czyli jakiś 1000 tekstów) to recenzje produktów (Ceneo) 3% to komentarze oceniające kursy politechniczne (Polwro). z tego wylosowano próbkę anotowano ręcznie dr hab. Monika Zaśko-Zielińska, Uniwersytet Wrocławski zero brak wydźwięku plus_s - polaryzacja pozytywna (lekka, słaba) plus_m - polaryzacja pozytywna (mocna) minus_s - polaryzacja negatywna(lekka, słaba) minus_m - polaryzacja negatywna (mocna) amb - dany tekst jest niejednoznaczny pod względem wydźwięku - może wyrażać zarówno pozytywne aspekty jak i negatywne

19 Analiza wydźwięku 2 Analiza krótkich wypowiedzi Klasyfikator fasttext 76,8% poprawności Ale myli się głównie w przypadku _m _s i amb Model pracujący na kilku zdaniach

20 LEM - ćwiczenia Przykładowy zbiór plików Zadania Załadowanie zbioru musi to być pojedynczy plik zip Uruchomienie poszczególnych funkcji przetwarzania Pobranie pliku z rezultatami Rozpakowanie pliku Analiza poszczególnych rezultatów w na komputerze lokalnym za pomocą arkusza kalkulacyjnego lub edytora plików tekstowych

21 Kolokacje: często zaobserwowane i nieprzypadkowe połączenie słów występujących w bliskim sąsiedztwie. Przykłady interesujących kolokacji: białe wino (ciągła), czerwona kartka (ciągła), nabić [komuś] guza (nieciągła). MEWEX ws.clarin-pl.eu/mewex.shtml ws.clarin-pl.eu/websty.shtml Cel: Słownik wielowyrazowych jednostek leksykalnych Metoda: kolokacje kryteria Wychodzimy od kolokacji, które wydobywamy w sposób automatyczny, ale oceniamy za pomocą kryteriów lingwistycznych.

22 TermoPL ws.clarin-pl.eu/termopl.shtml ws.clarin-pl.eu/websty.shtml

23 Wielojęzyczność ws.clarin-pl.eu/websty.shtml