Słowosieć leksykalna sieć semantyczna języka polskiego i jej zastosowanie w analizie znaczeń

Transkrypt

1 Słowosieć leksykalna sieć semantyczna języka polskiego i jej zastosowanie w analizie znaczeń Paweł Kędzia, Marek Maziarz, Maciej Piasecki, Ewa Rudnicka i Piotr Pęzik * Politechnika Wrocławska Katedra Inteligencji Obliczeniowej Grupa Naukowa G4.19 pawel.kedzia@, marek.maziarz@, maciej.piasecki, ewa.rudnicka@pwr.edu.pl *Uniwersytet Łódzki Wydział Filologiczny Instytut Anglistyki pezik@uni.lodz.pl

2 Plan prezentacji Warsztaty

3 Plan prezentacji Warsztaty 1. Wstęp 2. Relacje 3. Dodatkowe elementy opisu 4. Proces budowy Słowosieci 5. Efekt 6. Zastosowania 7. Ujednoznacznianie znaczeń słów 8. WoSeDon 9. Stenogramy sejmowe

4 1. Wstęp Warsztaty

5 Wordnet Warsztaty Uniwersytet w Princeton, lata 80., psycholingwistyka i lingwistyka informatyczna (J. Miller, Ch. Fellbaum) Badania nad językiem dzieci Wielka sieć leksykalno-semantyczna języka angielskiego Cztery części mowy rzeczowniki, czasowniki, przymiotniki i przysłówki Synset zbiór prawie synonimów (ang. near synonyms) Relacje semantyczne Podstawowy zasób językowy Global Wordnet Association

6 Relacyjna semantyka leksykalna Warsztaty System semantyczny języka jako sieć relacji John Lyons (1963), Structural semantics znaczenie wyrazu = zbiór jego relacji znaczeniowych główne relacje znaczeniowe (sense relations): synonimia, antonimia, hiponimia, meronimia (relacje paradygmatyczne) Igor Mel čuk, Jurij Apresjan, Aleksandr Žolkovskij, lata 60. model sens tekst funkcje leksykalne paradygmatyczne i syntagmatyczne (Mel čuk 1996), neostrukturalizm Alan Cruse, Gregory Murphy (Uniwersytet w Manchester), lata 80.

7 Słowosieć (plwordnet) Warsztaty Pochodzenie Politechnika ska, szereg projektów cel: bardzo obszerny opis systemu relacji leksykalno-semantycznych Relacje leksykalno-semantyczne, ok. 40 głównych typów rzeczownik czasownik przymiotnik hiponimia meronimia antonimia mieszkaniec role semantyczne hiponimia kauzacja procesywność zawieranie roli aspektowość hiponimia wartość cechy gradacyjność charakteryzowanie symilatywność

8 Synset Warsztaty Synset zbiór jednostek leksykalnych o wspólnych relacjach konstytutywnych, np. hiperonimii, holo/meronimii, jednostki zawarte w synsecie są uznawane za synonimy jest rodzajem skróconego zapisu, np. {afekt 1, uczucie 2} hiperonim {miłość 1, umiłowanie 1, kochanie 1} Relacje konstytutywne podstawa konstrukcji synsetu, współdzielone i relatywnie częste Dodatkowe rozróżnienia: rejestr stylistyczny, aspekt

9 Bogata sieć relacji Warsztaty

10 2. Relacje Warsztaty

11 Relacje Warsztaty 1. Relacje synsetów = pomiędzy zbiorami synonimów. 2. Relacje jednostek leksykalnych = pomiędzy znaczeniami. 3. Relacja synonimii.

12 Relacje synsetów Warsztaty relacje pomiędzy zbiorami synonimów hiponimia meronimia fuzzynimia bliskoznaczność instancja 0% 20% 40% 60% 80% mieszkaniec Rzeczowniki

13 Relacje synsetów Warsztaty relacje pomiędzy zbiorami synonimów 0% 20% 40% 60% 80% hiponimia meronimia bliskoznaczność fuzzynimia kauzatywność procesywność wielokrotność inchoatywność uprzedniość presupozycja stanowość Czasowniki

14 Relacje synsetów Warsztaty Hiponimia Najważniejsza z relacji synsetów 70% 65,9% Rzeczowniki 60% 50% 40% 30% 20% 10% 15,1% 12,4% 3,7% 2,6% 0,3% 0% 66% instancji wszystkich relacji synsetów kościec każdego wordnetu

15 Relacje synsetów Warsztaty Hiponimia testy podstawieniowe tygrys 1 (zw) «Panthera tigris» kot 1 (zw) «każdy ssak z rodziny kotowatych» Hiponimia Jeśli coś jest tygrysem 1, to musi być kotem 1. Jeśli coś jest kotem 1, to niekoniecznie jest tygrysem 1. Jeśli coś nie jest kotem 1, to nie może być tygrysem 1.

16 Relacje synsetów Warsztaty Hiponimia testy podstawieniowe tygrys 1 (zw) «Panthera tigris» kot 1 (zw) «każdy ssak z rodziny kotowatych» Hiponimia Jeśli coś jest tygrysem 1, to musi być kotem 1. Jeśli coś jest kotem 1, to niekoniecznie jest tygrysem 1. Jeśli coś nie jest kotem 1, to nie może być tygrysem 1.

17 Relacje synsetów Warsztaty Hiponimia testy podstawieniowe tygrys 1 (zw) «Panthera tigris» kot 1 (zw) «każdy ssak z rodziny kotowatych» Hiponimia Jeśli coś jest tygrysem 1, to musi być kotem 1. TAK Jeśli coś jest kotem 1, to niekoniecznie jest tygrysem 1. TAK Jeśli coś nie jest kotem 1, to nie może być tygrysem 1. TAK

18 Relacje synsetów Warsztaty Hiponimia «każdy ssak z rodziny kotowatych» «Acinonyx jubatus» «Panthera onca» «Panthera leo» «Panthera tigris»

19 Relacje synsetów Warsztaty Hiponimia

20 Relacje synsetów Warsztaty Hiponimia istota żywa 1 (zw) organizm 1 (rz) mięsożerca 1 (zw) drapieżnik 1 (zw) kot 1 (zw) «każdy ssak z rodziny kotowatych» tygrys 1 (zw) «Panthera tigris»

21 Relacje synsetów Warsztaty Hiponimia hiperonim hiponimy

22 Relacje synsetów Warsztaty Meronimia relacja część całość druga w kolejności, 15% instancji relacji 70% 65,9% Rzeczowniki 60% 50% 40% 30% 20% 10% 15,1% 12,4% 3,7% 2,6% 0,3% 0%

23 Relacje synsetów Warsztaty Meronimia relacja część całość holonim (całość) meronimy (części)

24 Relacje synsetów Warsztaty Meronimia test podstawieniowy Meronimia Kiosk 3 jest częścią okrętu podwodnego 1. meronim (część) holonim (całość)

25 Relacje synsetów Warsztaty Meronimia test podstawieniowy Meronimia Kiosk 3 jest częścią okrętu podwodnego 1. TAK meronim (część) holonim (całość)

26 Relacje jednostek leksykalnych Warsztaty relacje pomiędzy jednostkami leksykalnymi (znaczeniami) nie mniej ważne niż relacje synsetów dostarczają informacji dodatkowej

27 Relacje jednostek leksykalnych Warsztaty

28 Relacje jednostek leksykalnych «kaleczyć, ranić, rozcinając ciało i odsłaniając wewnętrzne tkanki» Warsztaty «używać sztyletu w celu zadania ciosu» «o zwierzętach: gryźć»

29 Relacje jednostek leksykalnych Warsztaty

30 Relacje jednostek leksykalnych Warsztaty

31 Relacje jednostek leksykalnych Warsztaty

32 Relacje jednostek leksykalnych Warsztaty

33 Relacje jednostek leksykalnych Warsztaty AGENS rozpruwacz 1 (os) «ktoś, kto rozpruwa» NARZĘDZIE «sztyletujesię sztyletem 1 (wytw)»

34 Relacje jednostek leksykalnych Warsztaty AGENS rozpruwacz 1 (os) «ktoś, kto rozpruwa» NARZĘDZIE «sztyletujesię sztyletem 1 (wytw)»

35 Relacje jednostek leksykalnych Warsztaty AGENS rozpruwacz 1 (os) «ktoś, kto rozpruwa» NARZĘDZIE «sztyletujesię sztyletem 1 (wytw)»

36 Relacje jednostek leksykalnych Warsztaty rozpruwać 1 (dtk) «kaleczyć (kogoś); czynność wykonywana przez mordercę nazywanego rozpruwaczem» NARZĘDZIE «sztyletujesię sztyletem 1 (wytw)»

37 Relacje jednostek leksykalnych Warsztaty rozpruwać 1 (dtk) «kaleczyć (kogoś); czynność wykonywana przez mordercę nazywanego rozpruwaczem» sztyletować 1 (wal) «kaleczyć (kogoś) sztyletem»

38 Relacje jednostek leksykalnych Warsztaty 1. Relacje o charakterze derywacyjnym: np. rola agens: rozpruwacz 1 (os) rozpruwać 1 (dtk), np. zawieranie roli narzędzie: sztyletować 1 (wal) sztylet 1 (wytw). 2. Pozostałe relacje: antonimia: miłość 1 (czuj) nienawiść 1 (czuj), konwersja: mąż 2 (os) żona 1 (os).

39 Relacje jednostek leksykalnych Warsztaty Testy podstawieniowe Rola agens Rzeczownik rozpruwacz 1 jest derywatem czasownika rozpruwać 1. Rozpruwacz 1 jest rozpruwaczem 1, ponieważ rozpruwacz 1 rozpruwa 1. Rozpruwacz 1 to AGENS czynności rozpruwać 1. Znaczenie rozpruwacza 1 zawiera w sobie czynność wyrażaną przez czasownik rozpruwać 1.

40 Relacje jednostek leksykalnych Warsztaty Testy podstawieniowe Rola agens Rzeczownik rozpruwacz 1 jest derywatem czasownika rozpruwać 1. Rozpruwacz 1 jest rozpruwaczem 1, ponieważ rozpruwacz 1 rozpruwa 1. Rozpruwacz 1 to AGENS czynności rozpruwać 1. Znaczenie rozpruwacza 1 zawiera w sobie czynność wyrażaną przez czasownik rozpruwać 1.

41 Relacja synonimii Warsztaty Pełna synonimia jest rzadka (lingwistyka = językoznawstwo). Synonimia w wordnetach = synonimia częściowa. Definicja synonimii X i Y są synonimami, jeżeli w sieci relacji konstytutywnych zajmują dokładnie tę samą pozycję i nie różnią się w sposób istotny rejestrem. Relacje konstytutywne = hiponimia, meronimia,

42 Relacja synonimii Warsztaty holk, hulk «północnoeur. żaglowiec (XIV XVI w.); miał 2 lub 3 maszty, był większy od kogi, którą zastąpił; miał też większą nośność dzięki innej konstrukcji poszycia (klepkowego na zakładkę).» [Encyklopedie PWN; Kopaliński, Słownik wyrazów obcych]

43 Relacja synonimii Warsztaty {hulk 1 (wytw), holk 1 (wytw)} holk 1 = hulk 1 (warianty) pełna synonimia, te same testy podstawieniowe, to samo miejsce w sieci.

44 Relacja synonimii Warsztaty Pełna synonimia jest rzadka (lingwistyka = językoznawstwo). Synonimia w wordnetach = synonimia częściowa. Definicja synonimii X i Y są synonimami, jeżeli w sieci relacji konstytutywnych zajmują dokładnie tę samą pozycję i nie różnią się w sposób istotny rejestrem. Relacje konstytutywne = hiponimia, meronimia, Istotnie różnią się np. rejestry wulgarny i potoczny.

45 Relacja synonimii Warsztaty Pełna synonimia jest rzadka (lingwistyka = językoznawstwo). Synonimia w wordnetach = synonimia częściowa. Definicja synonimii X i Y są synonimami, jeżeli w sieci relacji konstytutywnych zajmują dokładnie tę samą pozycję i nie różnią się w sposób istotny rejestrem. Relacje konstytutywne = hiponimia, meronimia, Istotnie różnią się np. rejestry wulgarny i potoczny.

46 Relacja synonimii Warsztaty Pełna synonimia jest rzadka (lingwistyka = językoznawstwo). Synonimia w wordnetach = synonimia częściowa. Definicja synonimii X i Y są synonimami, jeżeli w sieci relacji konstytutywnych zajmują dokładnie tę samą pozycję i nie różnią się w sposób istotny rejestrem. Relacje konstytutywne = hiponimia, meronimia, Istotnie różnią się np. rejestry wulgarny i potoczny.

47 Relacja synonimii Warsztaty {afekt 1, uczucie 2} hiponimia {miłość 1, umiłowanie 1, kochanie 1}

48 3. Dodatkowe elementy opisu Warsztaty

49 Rejestr jednostki leksykalnej Warsztaty Rejestr = zakres stosowalności jednostki leksykalnej. 11 rejestrów Słowosieci

50 Rejestr jednostki leksykalnej Warsztaty Rejestr = zakres stosowalności jednostki leksykalnej. 11 rejestrów Słowosieci: nienorm. nienormatywne daw. dawne reg. regionalne środ. środowiskowe specj. specjalistyczne urz. urzędowe książk. książkowe wulg. wulgarne posp. pospolite pot. potoczne og. rejestr ogólny

51 Rejestr jednostki leksykalnej Warsztaty Rejestr = zakres stosowalności jednostki leksykalnej. 11 rejestrów Słowosieci: nienorm. nienormatywne daw. dawne reg. regionalne środ. środowiskowe specj. specjalistyczne urz. urzędowe książk. książkowe wulg. wulgarne posp. pospolite pot. potoczne og. rejestr ogólny hulk 1 (wytw) specj. holk 1 (wytw) specj. tygrys 1 (zw) og. rozpruwacz 1 (os) pot.

52 Rejestr jednostki leksykalnej Warsztaty drzewo decyzyjne procedura postępowania specj. og. pot. książk. daw. reg. środ. urz. posp. wulg. nienorm. Warstwy słownictwa 0% 10% 20% 30% 40% 50% 60% 70%

53 Rejestr jednostki leksykalnej Warsztaty

54 Glosy Warsztaty Glosy to skrócone definicje. W Słowosieci jest ich ponad 90 tys.

55 Glosy Warsztaty Glosy to skrócone definicje. W Słowosieci jest ich ponad 90 tys. tygrys 1 (zw)og. «Panthera tigris gatunek dużego, drapieżnego ssaka łożyskowego z rodziny kotowatych (Felidae), największy z żyjących współcześnie czterech wielkich, ryczących kotów z rodzaju Panthera, jeden z największych drapieżników lądowych wielkością ustępuje jedynie niektórym niedźwiedziom» rozpruwacz 1 (os)pot. «określenie mordercy, który okalecza swoje ofiary za pomocą noża; rozpruwacz odcina głowę lub końcyzny, rozcina tułów, masakruje różne części ciała»

56 Przykłady użycia Warsztaty dokumentacja korpusowa lub ilustracja znaczenia preparowane lub ze źródeł o otwartej licencji ponad 100 tys. opisanych znaczeń (głównie rzeczowników i przymiotników) tygrys 1 (zw)og. 1 «Panthera tigris gatunek dużego, drapieżnego ssaka łożyskowego z rodziny kotowatych (Felidae), największy z żyjących współcześnie czterech wielkich, ryczących kotów z rodzaju Panthera, jeden z największych drapieżników lądowych wielkością ustępuje jedynie niektórym niedźwiedziom» Umiejętność chowania pazurów umożliwia tygrysowi bardzo ciche stąpanie przy podkradaniu się do ofiary, a ich wysunięcie ułatwia przytrzymywanie i rozrywanie zdobyczy. (źródło: Wikipedia)

57 Przykłady użycia Warsztaty dokumentacja korpusowa lub ilustracja znaczenia preparowane lub ze źródeł o otwartej licencji ponad 100 tys. opisanych znaczeń (głównie rzeczowników i przymiotników) fluita 1 (wytw)specj. «typ handlowego statku żaglowego, zbudowany przez budowniczych z Hoorn i rozwijany w Holandii od lat 90. XVI wieku, następnie używany także w innych krajach» Fluita miała zaokrągloną rufę; nadbudówki (kasztele) były niższe, niż na galeonach. (źródło: Wikipedia) wyłącznie źródła o otwartej licencji

58 Dziedziny Słowosieci Warsztaty skróty w nawiasach: tygrys 1 (zw) zw = zwierzęta fluita 1 (wytw) wytw = wytwory (artefakty) rozpruwacz 1 (os) os = osoby, ludzie sztyletować 1 (wal) wal = walka i rywalizacja rozpruwać 1 (dtk) dtk = kontakt fizyczny zamek 1 (msc) msc = miejsce nienawiść 1 (czuj) czuj = uczucia, emocje mają techniczny charakter pomagają w orientowaniu się w sieci

59 Dziedziny Słowosieci Warsztaty gatunki i rasy zwierząt pejoratywne określenia ludzi

60 Nastawienie emocjonalne Warsztaty ANOTACJA NASTAWIENIEM EMOCJONALNYM Emocje podstawowe radość, smutek, złość, strach, zaufanie, obrzydzenie, zaskoczenie czymś nieprzewidywanym i czekanie na coś miłego (Ekman 1992; Plutchik 1980) Wartości uniwersalne użyteczność / bezużyteczność, dobro drugiego człowieka / krzywda, prawda, wiedza / niewiedza, błąd, piękno / brzydota, szczęście i nieszczęście (Puzynina 1992) Nastawienie pozytywne (bardzo słabo), negatywne (bardzo słabo), neutralne. Ponad oznakowanych jednostek.

61 Nastawienie emocjonalne Warsztaty rozpruwacz 1 (os) pot. «określenie mordercy, który okalecza swoje ofiary za pomocą noża; rozpruwacz odcina głowę lub kończyny, rozcina tułów, masakruje różne części ciała.» ##A1: {złość, wstręt, strach; błąd, krzywda, nieszczęście} m [Całe miasteczko żyło w strachu przed rozpruwaczem, nikt nie wychodził z domu po zmroku.] ##A2: {złość, wstręt, strach; błąd, krzywda, nieszczęście} m [Rozpruwacz przyczynił się do śmierci 9-letniej dziewczynki.]

62 Nastawienie emocjonalne Warsztaty pierwszy anotator rozpruwacz 1 (os) pot. «określenie mordercy, który okalecza swoje ofiary za pomocą emocje podstawowe wartości nastawienie noża; rozpruwacz odcina głowę lub kończyny, rozcina tułów, masakruje różne części ciała.» ##A1: {złość, wstręt, strach; błąd, krzywda, nieszczęście} m [Całe miasteczko żyło w strachu przed rozpruwaczem, nikt nie wychodził z domu po zmroku.] ##A2: {złość, wstręt, strach; błąd, krzywda, nieszczęście} m [Rozpruwacz przyczynił się do śmierci 9-letniej dziewczynki.]

63 Nastawienie emocjonalne Warsztaty rozpruwacz 1 (os) pot. «określenie mordercy, który okalecza swoje ofiary za pomocą noża; rozpruwacz odcina głowę lub kończyny, rozcina tułów, masakruje różne części ciała.» ##A1: {złość, wstręt, strach; błąd, krzywda, nieszczęście} m [Całe miasteczko żyło w strachu przed rozpruwaczem, nikt nie wychodził z domu po zmroku.] ##A2: {złość, wstręt, strach; błąd, krzywda, nieszczęście} m [Rozpruwacz przyczynił się do śmierci 9-letniej dziewczynki.] drugi anotator

64 4. Proces budowy Słowosieci Warsztaty

65 Proces budowy Słowosieci Warsztaty Kto tworzy Słowosieć? zespół polonistów, 10 anglistów informatycy, specjaliści od przetwarzania języka sztuczna inteligencja (narzędzia półautomatyczne)

66 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów

67 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów siatka haseł (słowa najczęstsze)

68 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów siatka haseł (słowa najczęstsze) wyróżnić znaczenia

69 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów wyróżnić znaczenia siatka haseł (słowa najczęstsze) narzędzia komputerowe

70 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów wyróżnić znaczenia siatka haseł (słowa najczęstsze) narzędzia komputerowe konkordancer korpusu

71 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów wyróżnić znaczenia siatka haseł (słowa najczęstsze) Sketch Engine narzędzia komputerowe konkordancer korpusu automatyczne przykłady użycia Inforex

72 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów wyróżnić znaczenia siatka haseł (słowa najczęstsze) narzędzia komputerowe konkordancer korpusu

73 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów wyróżnić znaczenia siatka haseł (słowa najczęstsze) narzędzia komputerowe konkordancer korpusu automatyczne przykłady użycia

74 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów wyróżnić gryźć znaczenia siatka haseł (słowa najczęstsze) n.a. - przykłady `o zwierzętach: użycia gryźć -> wyróżnianie używając znaczeń, przykłady typowe, zębów, 10 znaczeń powodując (Marek) rany `o zjawiskach pogodowych (np. mrozie): gryźć, szczypać `o owadach: `o zmartwieniach, wyrzutach sumienia: gryźć `o ludziach: dokuczać, szkodzić komuś Przykłady użycia wyrazu kąsać narzędzia komputerowe konkordancer korpusu automatyczne przykłady użycia

75 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów wyróżnić znaczenia siatka haseł (słowa najczęstsze) narzędzia komputerowe konkordancer korpusu automatyczne przykłady użycia

76 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów wyróżnić znaczenia siatka haseł (słowa najczęstsze) narzędzia komputerowe konkordancer korpusu automatyczne przykłady użycia wytyczne zespół Słowosieci

77 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów wyróżnić znaczenia siatka haseł (słowa najczęstsze) narzędzia komputerowe konkordancer korpusu automatyczne przykłady użycia słowniki, encyklopedie, l eksykony wytyczne zespół Słowosieci

78 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów siatka haseł (słowa najczęstsze) wyróżnić znaczenia zdefiniować jednostkę narzędzia komputerowe słowniki, encyklopedie, l eksykony wytyczne zespół Słowosieci

79 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów siatka haseł (słowa najczęstsze) wyróżnić znaczenia zdefiniować jednostkę przypisać relacje = podpiąć narzędzia komputerowe Tkacz Wordnetu słowniki, encyklopedie, l eksykony wytyczne zespół Słowosieci

80 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów siatka haseł (słowa najczęstsze) wyróżnić znaczenia zdefiniować jednostkę przypisać relacje = podpiąć narzędzia komputerowe Tkacz Wordnetu słowniki, encyklopedie, l eksykony wytyczne zespół Słowosieci

81 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów siatka haseł (słowa najczęstsze) wyróżnić znaczenia zdefiniować jednostkę przypisać relacje = podpiąć narzędzia komputerowe Tkacz Wordnetu słowniki, encyklopedie, leksykony wytyczne zespół Słowosieci

82 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów siatka haseł (słowa najczęstsze) wyróżnić znaczenia zdefiniować jednostkę przypisać relacje = podpiąć narzędzia komputerowe Tkacz Wordnetu funkcja podobieństwa znaczeniowego słowniki, encyklopedie, l eksykony wytyczne zespół Słowosieci

83 Proces budowy Słowosieci Warsztaty antonim hiperonim hiponim kohiponim wyraz bliskoznaczny holonim

84 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów siatka haseł (słowa najczęstsze) wyróżnić znaczenia zdefiniować jednostkę przypisać relacje = podpiąć narzędzia komputerowe Tkacz Wordnetu funkcja podobieństwa znaczeniowego słowniki, encyklopedie, l eksykony wytyczne zespół Słowosieci

85 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów siatka haseł (słowa najczęstsze) wyróżnić znaczenia zdefiniować jednostkę przypisać relacje = podpiąć +kwalifikator +definicję +przykład użycia wytyczne narzędzia komputerowe konkordancer automatyczne przykłady użycia Tkacz Wordnetu funkcja podobieństwa znaczeniowego słowniki, encyklopedie, l eksykony zespół Słowosieci

86 Proces budowy Słowosieci Warsztaty Korpus Słowosieci 2 mld tokenów siatka haseł (słowa najczęstsze) wyróżnić znaczenia zdefiniować jednostkę przypisać relacje = podpiąć +kwalifikator +definicję +przykład użycia intuicja

87 5. Efekt Warsztaty

88 Słowosieć w liczbach Warsztaty Liczba haseł (lematów) w Słowosieci i w WordNecie Słowosieć WordNet haseł synsetów jednostek relacji > > rzeczownik czasownik przymiotnik przysłówek

89 Słowosieć w liczbach Warsztaty Słowosieć a słowniki polszczyzny współczesnej Słowosieć Praktyczny słownik współczesnej polszczyzny Słownik języka polskiego W. Doroszewskiego Uniwersalny słownik języka polskiego Inny słownik języka polskiego haseł [tys.]

90 Słowosieć w liczbach Warsztaty Słowosieć 2.3 koniec kwietnia br. przymiotnik + nastawienie

91 Praca ze Słowosiecią Warsztaty Słowosieć online Słowosieć mobilna WordnetLoom- Viewer

92 Praca ze Słowosiecią Warsztaty

93 Praca ze Słowosiecią Warsztaty Słowosieć mobilna

94 Praca ze Słowosiecią Warsztaty WordnetLoom

95 6. Zastosowania Warsztaty

96 Zastosowania: projekty badawcze (wybrane) Warsztaty Semantyczna anotacja korpusu gestów wskazujących (Lis, 2012) Leksykony semantycznych ram walencyjnych (Hajnicz, 2011; Hajnicz, 2012) Wyznaczanie pól semantycznych Grupowanie czasowników na potrzeby badania klas alternacji Kategoryzacja wyrażeń metaforycznych w oparciu o hiperonimy Wspomagana komputerowo analiza danych jakościowych Badania nad frazeologią Nauka języka przygotowanie słowniku dla kursu języka czeskiego dla obcokrajowców (Uniwersytet Masaryka, Brno) Konstrukcja programów do nauki języka Badanie treści prac uczniowskich/studenckich Edukacyjne: językoznawstwo, leksykologia, leksykografia Tłumaczenia Analiza leksykalizacji pojęć

97 Zastosowania (wybrane) Warsztaty Wyszukiwanie semantyczne w korpusach tekstu Grupowanie semantyczne tekstów określanie podobieństwa zdań i fragmentów tekstów, np. (Siemiński, 2012) Klasyfikacja semantyczna tekstu, np. (Maciołek, 2010) Korekta rozpoznawania mowy w systemach dialogowych Systemy odpowiedzi na pytania w języku naturalnym Np. do rozpoznania typu pytania Wydobywanie terminologii i słów kluczowych, np. (Mykowiecka i Marciniak, 2012) Wnioskowania w oparciu o logiki naturalne Tworzenie programów do grania w gry słowne Wykrywanie i generowanie pleonazmów

98 Zastosowania (wybrane) Warsztaty Definiowanie cech na potrzeby Text Mining ze stron WWW (Maciolek and Dobrowolski, 2013) Rzutowanie pomiędzy leksykonem a ontologią (Wróblewska et al., 2013) Miara podobieństwa semantycznego słów na potrzeby analizy ontologii (Lula and Paliwoda-Pękosz, 2009) Automatyczne wydobywanie leksykonów atrybutów opinii (Wawer and Gołuchowski, 2012) Rozpoznawanie i klasyfikacja nazw własnych (własne G4.19) Ujednoznacznianie sensów słów (Gołuchowski and Przepiórkowski, 2012, własne G4.19, 2015) Rozpoznawanie powiązań anaforycznych (własne G4.19)

99 7. Ujednoznacznianie sensów słów Warsztaty

100 Ujednoznacznianie sensów słów Warsztaty Idea ujednoznaczniania sensów słów: zamek

101 Ujednoznacznianie sensów słów Warsztaty Idea ujednoznaczniania sensów słów (cd.): zamek

102 Ujednoznacznianie sensów słów Warsztaty Idea ujednoznaczniania sensów słów (cd.): zamek

103 Ujednoznacznianie sensów słów Warsztaty Idea ujednoznaczniania sensów słów (cd.): zamek

104 Ujednoznacznianie sensów słów Warsztaty Idea ujednoznaczniania sensów słów (cd.): Po powrocie z pracy zepsułem zamek. ` ` `

105 Ujednoznacznianie sensów słów Warsztaty Idea ujednoznaczniania sensów słów (cd.): Po powrocie z pracy zepsułem zamek w drzwiach. ` ` `

106 Ujednoznacznianie sensów słów Warsztaty Proces polegający na przypisaniu słowu odpowiedniego znaczenia wybranego ze zbioru znaczeń słów, odpowiadającego znaczeniu słowa w danym kontekście.

107 Ujednoznacznianie sensów słów Warsztaty Uczenie na podstawie oznaczeń w tekstach: Wymagane duże zasoby ręcznie oznaczonych tekstów; Czasochłonność ręcznego oznaczania tekstów (koszty); Każde słowo z osobna posiada swoje anotacje; Rozpoznawanie znaczeń kolejnego słowa = anotacje tego słowa = kolejne koszty; Zaleta: duża dokładność systemu; Wada: niska kompletność rozpoznawanych znaczeń;

108 Ujednoznacznianie sensów słów Warsztaty Uczenie bez wstępnego oznaczania w tekście: Nie jest wymagane wstępne znakowanie znaczeń w tekstach; Wykorzystanie istniejących struktur opisujących zależności między znaczeniami słów (Słowosieć); Zaleta: dużo większa kompletność rozpoznawanych słów w stosunku do ujednoznaczniania na podstawie ręcznych anotacji; Wada: mniejsza dokładność rozpoznawanych w stosunku do systemów uczonych na podstawie ręcznych oznaczeń;

109 Ujednoznacznianie sensów słów Warsztaty Nienadzorowane podejście oparte o przetwarzanie grafu. Po powrocie z pracy zepsułem zamek w drzwiach. graf dla słowa zamek.

110 Ujednoznacznianie sensów słów Warsztaty Po powrocie z pracy zepsułem zamek w drzwiach.

111 Ujednoznacznianie sensów słów Warsztaty 0 Proces aktywacji synsetów Nienadzorowane podejście oparte o przetwarzanie grafu.... rezydencja budowla obronna strażnica baszta zamek-1 (budowla) brama furtka drzwi zamek-2 (w drzwiach) Mam zamek w kurtce i garniturze zamknięcie zatrzask mieć zamek-6 (suwak) posiadać kurtka zapięcie garnitur

112 Ujednoznacznianie sensów słów Warsztaty Surowe wyjście WoSeDona anotacje WSD dla słowa zamek w zdaniu Po powrocie z pracy zepsułem zamek w drzwiach. <tok> <orth>zamek</orth> <lex disamb="1"> <base>zamek</base><ctag>subst:sg:acc:m3</ctag> </lex> <prop key="sense:ukb:syns_id">4190</prop> <prop key="sense:ukb:syns_rank">4190/ / / / / / / </prop> <prop key="sense:ukb:unitsstr">zamek.2(3:wytw)</prop> </tok> Anotacja w formacie CCL zawierająca informacje o znaczeniu słowa zamek.

113 8. WoSeDon Warsztaty

114 WoSeDon Warsztaty Narzędzie do generowania i przeglądania list frekwencyjnych znaczeń Słowosieci z korpusów tekstów. Korpus musi posiadać wcześniej przypisane znaczenia, za co również odpowiada WoSeDon w fazie wstępnej przetwarzania tekstu (preprocessingu). Dostępność poprzez przeglądarkę pod adresem:

115 WoSeDon okno główne Warsztaty

116 WoSeDon schemat działania Warsztaty Przetwarzanie korpusu do CCL (WCRFT, Liner, WoSeDon) Korpus w DSpace Przejście do WoSeDon a

117 WoSeDon funkcjonalność Warsztaty Generowanie i przeglądanie list frekwencyjnych znaczeń z korpusów tekstów. Generowanie listy bezpośrednio z DSpace poprzez kliknięcie w przycisk: Ewentualnie poprzez wklejenie URI (np. do WoSeDona:

118 WoSeDon funkcjonalność Warsztaty

119 WoSeDon funkcjonalność Warsztaty

120 WoSeDon dalsze prace Warsztaty Rozwój interfejsu o kolejne informacje np. liczba wszystkich znaczeń w korpusie, liczba różnych znaczeń itp. Nowe pomysły, Państwa sugestie.

121 9. Stenogramy sejmowe Warsztaty

122 Stenogramy sejmowe Warsztaty Sejm ostatnich kadencji lata metadane: data partia poseł automatycznie ujednoznacznione sensy słów prezentacja w aplikacji KOPER autorstwa dra P. Pęzika

123 Stenogramy sejmowe Warsztaty

124 Stenogramy sejmowe Warsztaty składnia zapytań wersja robocza <lemma=kryzys:30679> hasło ID synsetu ID synsetu identyfikuje znaczenia konkordancja + trendy (szeregi czasowe)

125 Stenogramy sejmowe Warsztaty kryzys 1 (cech) (pogorszenie się sytuacji w sferze społecznej) kryzys 2 (pos) (kryzys gospodarczy, recesja) kryzys 3 (st) (pogorszenie się sytuacji człowieka, np. kryzys małżeński) kryzys 4 (zdarz) (w chorobie)

126 Stenogramy sejmowe Warsztaty kryzys 4 (zdarz) (w chorobie)

127 Stenogramy sejmowe konkordancje Warsztaty ściąganie w formacie *.xls

128 Stenogramy sejmowe szeregi czasowe Warsztaty ściąganie w różnych formatach graficznych

129 Stenogramy sejmowe szeregi czasowe kryzys 2 (pos) Warsztaty

130 Stenogramy sejmowe szeregi czasowe Warsztaty

131 Stenogramy sejmowe szeregi czasowe Warsztaty klikalne punkty

132 Stenogramy sejmowe szeregi czasowe Warsztaty mógłby także zagrozić A przecież, jak mówiłem kryzys stabilności polskiego systemu wcześniej, taki bankowego. minister Jacek Rostowski, PO,

133 Stenogramy sejmowe szeregi czasowe Warsztaty

134 Stenogramy sejmowe szeregi czasowe Warsztaty Z tego, co usłyszałem w exposé, wyn ika, że kryzys poseł Leszek Miller, SLD, gospodarczy nie stuka do naszych drzwi, nie łomocze - jest już w przedpokoju, powiesił płaszcz, założył kapcie i zaczyna czuć się jak u siebie w domu.

135 Stenogramy sejmowe szeregi czasowe Warsztaty

136 Stenogramy sejmowe szeregi czasowe Taką potrzebą chwili na przykład uzasadnialiśmy zmiany, które weszły w 2009 r. i obowiązywały przez 2 lata w okresie tzw. - niektórzy tak to nazywają - pierwszej fali poseł Adam Szejnfeld, PO, Warsztaty kryzysu.

137 Stenogramy sejmowe szeregi czasowe Warsztaty

138 Stenogramy sejmowe Warsztaty Plany: pozostałe kadencje Sejmu wyszukiwanie po polach leksykalnych - tj. po grupie hiponimów danej jednostki - np. hiponimy rzeczownika kobieta w zn. «dorosły człowiek płci żeńskiej»

139 Dziękujmy bardzo za uwagę