Składnia. Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (248 / 272)

Podobne dokumenty
Gramatyka TAG dla języka polskiego

j INSTYTUT PODSTAW INFORMATYKI

Wstęp do Językoznawstwa

Wstęp do Językoznawstwa

Analiza znaczeniowa sterowana składnią

Podstawy programowania 2. Temat: Drzewa binarne. Przygotował: mgr inż. Tomasz Michno

Programowanie w Logice Gramatyki metamorficzne. Przemysław Kobylański na podstawie [CM2003] i [SS1994]

GRAMATYKI BEZKONTEKSTOWE

Matematyczne Podstawy Informatyki

Parsery wykorzystywane w analizie języka naturalnego

Karta przedmiotu. FILOLOGIA ANGIELSKA Z PRZYGOTOWANIEM PEDAGOGICZNYM Studia pierwszego stopnia/ogólnoakademicki

INŻYNIERIA LINGWISTYCZNA

Metody Kompilacji Wykład 3

Gramatyki wykorzystywane w analizie języka naturalnego

Spis treści 1 Wprowadzenie do HPSG 2 Struktury i argumenty 3 Struktura słownika, modyfikatory i semantyka 4 Uzgodnienie 111

10. Translacja sterowana składnią i YACC

dr hab. Maciej Witek, prof. US MODELE UMYSŁU rok akademicki 2016/2017, semestr letni

11 Probabilistic Context Free Grammars

Course type* German I BA C 90/120 WS/SS 8/9. German I BA C 30 WS 2. English I BA C 60/90 WS/SS 5/6. English I BA C 30 WS 2. German I BA L 30 WS 4

Gramatyka generatywna - zarys

prezentacja wybranych modeli kompetencji komunikacyjnej

Spis treści Informacje podstawowe Predykaty Przykłady Źródła RDF. Marek Prząda. PWSZ w Tarnowie. Tarnów, 6 lutego 2009

Jerzy Nawrocki, Wprowadzenie do informatyki

Definiowanie języka przez wyrażenie regularne(wr)

Wysokość drzewa Głębokość węzła

Struktury Danych i Złożoność Obliczeniowa

inżynieria Lingwistyczna a obecna sytuacja językoznawstwa PoLskiego

Kompresja danych Streszczenie Studia Dzienne Wykład 10,

Model zaszumionego kanału

do osób zainteresowanych językiem polskim, jego składnią, zjawiskami z pogranicza składni i semantyki oraz z pogranicza składni i morfologii;

Języki i gramatyki formalne

Próba opisu formalnego polskich konstrukcji komitatywnych p.1

Maszynowe tłumaczenie Polskiego Języka Migowego

Abstrakcyjne struktury danych - stos, lista, drzewo

Wprowadzenie do analizy składniowej. Bartosz Bogacki.

i INSTYTUT PODSTAW INFORMATYKI

Lokalizacja Oprogramowania

JAO - lematy o pompowaniu dla jezykow bezkontekstowy

SYSTEMY UCZĄCE SIĘ WYKŁAD 4. DRZEWA REGRESYJNE, INDUKCJA REGUŁ. Dr hab. inż. Grzegorz Dudek Wydział Elektryczny Politechnika Częstochowska

Analiza semantyczna. Gramatyka atrybutywna

Wykład 2. Drzewa zbalansowane AVL i 2-3-4

Metody Kompilacji Wykład 1 Wstęp

JAO - Wprowadzenie do Gramatyk bezkontekstowych

Metody automatycznego wykrywania błędów w bankach drzew

PLAN WYKŁADU BAZY DANYCH INDEKSY - DEFINICJE. Indeksy jednopoziomowe Indeksy wielopoziomowe Indeksy z użyciem B-drzew i B + -drzew

Wprowadzenie do programowania języki i gramatyki formalne. dr hab. inż. Mikołaj Morzy

Algorytmy i Struktury Danych

Wstęp do logiki. Semiotyka cd.

2.2. Gramatyki, wyprowadzenia, hierarchia Chomsky'ego

Metoda Tablic Semantycznych

Algorytmy zapisywane w pseudojęzyku programowania. Klasa 2 Lekcja 6

Przypomnij sobie krótki wstęp do teorii grafów przedstawiony na początku semestru.

Załącznik Nr 5 KARTA PRZEDMIOTU. 1. NAZWA PRZEDMIOTU: Wstęp do językoznawstwa. 2. KIERUNEK: filologia, specjalność filologia angielska

Języki formalne i automaty Ćwiczenia 1

Korpusowe badania składniowe

Dynamiczny przydział pamięci w języku C. Dynamiczne struktury danych. dr inż. Jarosław Forenc. Metoda 1 (wektor N M-elementowy)

WYKŁAD 3 XML DOM XML DOCUMENT OBJECT MODEL CZĘŚĆ 1

dr hab. Maciej Witek, prof. US MODELE UMYSŁU

Wykład X. Programowanie. dr inż. Janusz Słupik. Gliwice, Wydział Matematyki Stosowanej Politechniki Śląskiej. c Copyright 2016 Janusz Słupik

Języki formalne i automaty Ćwiczenia 2

Efektywna analiza składniowa GBK

Języki, automaty i obliczenia

Listy, kolejki, stosy

Indeksy. Wprowadzenie. Indeksy jednopoziomowe indeks podstawowy indeks zgrupowany indeks wtórny. Indeksy wielopoziomowe

Gramatyki wykorzystywane w analizie języka naturalnego Ciekawe zastosowania

Hierarchia Chomsky ego

< K (2) = ( Adams, John ), P (2) = adres bloku 2 > < K (1) = ( Aaron, Ed ), P (1) = adres bloku 1 >

Analiza leksykalna 1. Teoria kompilacji. Dr inż. Janusz Majewski Katedra Informatyki

Parsowanie semantyczne i jego zastosowania

Teoretyczne podstawy informatyki

Bank częściowo ujednoznacznionych struktur LFG

Programowanie deklaratywne i logika obliczeniowa

Wstęp do programowania

Metoda tabel semantycznych. Dedukcja drogi Watsonie, dedukcja... Definicja logicznej konsekwencji. Logika obliczeniowa.

Wprowadzenie. Teoria automatów i języków formalnych. Literatura (1)

Efektywny parsing języka naturalnego przy użyciu gramatyk probabilistycznych

JĘZYKIFORMALNE IMETODYKOMPILACJI

Struktury danych: stos, kolejka, lista, drzewo

Algorytmy i struktury danych. wykład 5

Plan wykładu. Kompilatory. Literatura. Translatory. Literatura Translatory. Paweł J. Matuszyk

Opis wzorców polegający na na wykorzystaniu modelu definicji rekurencyjnych, nazywamy gramatyką bezkontekstową (ang. contex-free grammar).

Drzewo. Drzewo uporządkowane ma ponumerowanych (oznaczonych) następników. Drzewo uporządkowane składa się z węzłów, które zawierają następujące pola:

Programowanie obiektowe

prowadzący dr ADRIAN HORZYK /~horzyk tel.: Konsultacje paw. D-13/325

JIP. Analiza składni, gramatyki

Implementacja gramatyk HPSG w systemie TRALE

Teoretyczne podstawy informatyki. Wykład 12: Gramatyki. E. Richter-Was 1

liniowa - elementy następują jeden za drugim. Graficznie możemy przedstawić to tak:

Programowanie strukturalne. Opis ogólny programu w Turbo Pascalu

Wyszukiwanie dokumentów/informacji

Z punktu widzenia kognitywisty: język naturalny

e ::= 0 S o o ::= S e

Metody Kompilacji Wykład 7 Analiza Syntaktyczna

Gramatyki, wyprowadzenia, hierarchia Chomsky ego. Gramatyka

WSTĘP DO INFORMATYKI. Drzewa i struktury drzewiaste

Programowanie obiektowe

ALGORYTMY I STRUKTURY DANYCH

Drzewa binarne. Drzewo binarne to dowolny obiekt powstały zgodnie z regułami: jest drzewem binarnym Jeśli T 0. jest drzewem binarnym Np.

Wykład 9 Funktory (moduły sparametryzowane)

Podstawy Informatyki. Wykład 6. Struktury danych

Transkrypt:

Składnia Składnia to nauka o związkach wyrazów w zdaniu, szyku wyrazów i roli pełnionej przez wyrazy. Zapis składni powinien w łatwy sposób umożliwiać jej opis i wykorzystanie w automatycznej analizie zdania. Analiza składniowa dostarcza informacji o związkach wyrazów w zdaniu, najczęściej w postaci drzewa. Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (248 / 272)

Klasyfikacja opisów składni Ze względu na zakres: z szerokim pokryciem specjalizowane Ze względu na rodzaj opisywanych zależności: wyodrębniające części zdania zależnościowe Ze względu na sposób przechowywania reguł składniowych: zleksykalizowane bez leksykalizacji Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (249 / 272)

Gramatyki transformacyjne Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (250 / 272)

Gramatyki transformacyjne XṖ. spec. X X dopełnienia X (także X 0 ) element główny (ang. head), XP (także X, X, X 2 ) fraza X ( P w angielskim pochodzi od phrase, po angielsku XP jest nazywane maximal projection (of X), X (także X intermediate projection) kategoria pośrednia. Reguły: XP Spec. X X X dopełnienia Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (251 / 272)

Gramatyki transformacyjne. CP [+q] C C [+q] NP John IP I [+fin] I VP V [+aux] has V V [+en] read VP [+en] V NP the book Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (252 / 272)

Gramatyki transformacyjne. CP [+q] C V [+aux] has i NP John IP I [+fin] t i I V [+aux] t i VP V V [+en] read VP [+en] V NP the book Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (253 / 272)

Gramatyki transformacyjne. CP [+q] C C [+q] NP John IP I [+fin] I VP V [+aux] has V V [+en] read VP [+en] V D [+wh] which NP [+wh] N N book Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (254 / 272)

Gramatyki transformacyjne. NP [+wh] C which book [+q] i has j CP [+q] C NP John IP I [+fin] t j I V [+aux] t j VP V V [+en] read VP [+en] V NP [+wh] t i Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (255 / 272)

Lexical-Functional Grammar Analiza zdania w tej gramatyce opiera się na dwóch strukturach: c-structure (z ang. constituent structure) i f-structure (z ang. functional structure). C-structure ma postać drzew uzyskanych z użyciem gramatyki bezkontekstowej. Może mieć różną postać w różnych językach. F-structure ma postać par (cecha, wartość) i reprezentuje powiązania często odległych od siebie fragmentów zdania. Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (256 / 272)

Lexical-Functional Grammar S 1.. S( = ) NP( subj = ) NNP( = ). John(. pred = john.. num = sg.. pers = 3) VP( = ) VBZ( = ).has(. pred = have ) VBN( = ). VP. xcomp =.. obj = obj NP( obj = ). read(. pred = read.. tense = past) DT( spec:det = ) NN( = ).book(. pred = book the( pred = the.. num = sg ).. pers = 3) Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (257 / 272)

Lexical-Functional Grammar S 1.. wszystkie cechy dzielone z wyższym węzłem S( = ) NP( subj = ) VP( = ) cecha pred dzielona z wyższym węzłem NNP( = ). John(. pred = john.. num = sg.. pers = 3) VBZ( = ).has(. pred = have ) VBN( = ). VP. xcomp =.. obj = obj NP( obj = ). read(. pred = read.. tense = past) DT( spec:det = ) NN( = ).book(. pred = book the( pred = the.. num = sg ).. pers = 3) Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (258 / 272)

Lexical-Functional Grammar S 1.. S( = ) AUX( = ) NP( subj = ) VP( xcomp =, obj = obj) Has( pred = has ) NNP( = ) VB( = ) NP( obj = ) read( pred = read ).John(. pred = John.. num = sg.. pers = 3) DT( spec:det = ) NN( = ) the( pred = the ). book(. pred = book.. num = sg.. pers = 3) Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (259 / 272)

Head-Driven Phrase Structure Grammar HPSG wywodzi się z GPSG (ang. Generalized Phrase Structure Grammar). Gramatyka zleksykalizowana informacje o łączliwości słów w słowniku. Gramatyka unifikacyjna poszczególne obiekty posiadają cechy, na które można nakładać ograniczenia odwzorowujące zjawiska zachodzące w języku. Część ograniczeń jest zapisywana bezpośrednio za pomocą współdzielenia cech. Część ograniczeń wynika z ogólnych zasad, takich jak zasada elementu głównego, zasada struktury argumentów, czy zasada walencji. Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (260 / 272)

Head-Driven Phrase Structure Grammar word phon dał ss lc local cat category head 1 verb gender masc person 3rd number sg val valence subj 1 comps 2, 3 arg-st 1 NP[nom] 4, 2 NP[dat] 5, 3 NP[acc] 6 cont give giver 4 given 6 recipient 5 Zarówno słowa, jak i zdania są opisywane przez struktury cech. Współdzielenie wartości cech zapisywane jest za pomocą liczb w kwadratach, np. 1 : wartość cechy SSLCCATHEAD jest tożsama wartością cechy SSLCCATVALSUBJ. Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (261 / 272)

Tree Adjoining Grammar Gramatyka istnieje w wielu wersjach (XTAG, LTAG, ), dla których istnieją różne analizatory składniowe. Podstawowe cechy: Z każdym słowem w słowniku związane jest drzewo określające miejsce słowa w zdaniu rolę, jaką pełni w składni. Każde podstawowa struktura (w TAG drzewo) posiada co najmniej jeden symbol końcowy (słowo). Innymi słowy: TAG jest gramatyką zleksykalizowaną. Przy dokonywaniu analizy składniowej zdania wykonuje się dwie operacje na drzewach: zastępowanie (ang. substitution) dołączanie (ang. adjunction) Na każdą z operacji można nałożyć dodatkowe warunki za pomocą unifikacji. Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (262 / 272)

Tree Adjoining Grammar Zastępowanie Jeden z liści drzewa jest zastępowany poddrzewem o tej samej etykiecie. IṖ. DP I I VP DṖ. DṖ. V DP John a book reads W wyniku zastępowania dokonanego na liściach trzeciego drzewa otrzymamy: IṖ. DP I John I VP V DP reads a book Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (263 / 272)

Tree Adjoining Grammar dołączanie Podstawowe drzewa dzielimy na dwie kategorie:.1 pomocnicze: korzeń drzewa ma tę samą etykietę (kategorię) co wyznaczony liść drzewa.2 początkowe: wszystkie inne Dołączanie polega na wstawieniu drzewa pomocniczego o korzeniu A z etykietą X i wyznaczonym liściem B o tej samej etykiecie do innego drzewa w miejsce węzła C o etykiecie X w taki sposób, że rodzic węzła C staje się rodzicem węzła A, a dzieci węzła C stają się dziećmi węzła B. Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (264 / 272)

Tree Adjoining Grammar dołączanie IṖ. DP John I I VP V DP reads a book Po operacji dołączenia otrzymamy: IṖ. DP John I I VP patiently VP V reads DP a book VṖ. patiently VP Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (265 / 272)

Link Grammar W tej gramatyce słowa w słowniku wyposażone są w zestawy uporządkowanych, nazwanych wiązań. Wiązania dzielą się na lewostronne (łączą się z wiązaniami innych słów leżących w tekście na lewo od danego słowa) i prawostronne (analogicznie). Lewo- i prawostronne wiązania uporządkowane są pod względem odległości słów, z których wiązaniami się łączą. Słowo może mieć kilka alternatywnych zestawów wiązań. Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (266 / 272)

Link Grammar Ciąg słów jest zdaniem rozpoznawanym przez gramatykę, jeżeli wiązania uda się połączyć w graf spełniający następujące warunki: planarność wiązania nie przecinają się; łączliwość wiązania wystarczają do połączenia wszystkich słów zdania; spełnialność połączenia spełniają wszystkie wymagania nakładane przez wiązania słów w zdaniu. Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (267 / 272)

Link Grammar Xp Os Wd Ss PP Ds LEFT-WALL. John.b has.v read.v the book.n. Xp PP Os Qd SIs Ds LEFT-WALL. has.v John.b read.v the book.n. Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (268 / 272)

Link Grammar Xp Bsm PP Wq Ds*w Rw SIs LEFT-WALL. which book.n has.v John.b read.v? Xp Pv Ws Ds*w Ss Os LEFT-WALL. which book.n has.v John.b read.v? Xp I*j Ws Ds*w Ss Os LEFT-WALL. which book.n has.v John.b read.v? Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (269 / 272)

Definite Clause Grammar DCG jest rodzajem gramatyki metamorficznej. Jest ściśle związana z konkretnym językiem programowania prologiem. Nie oznacza to, że nie można pisać analizatorów składniowych innych gramatyk w prologu, np. Alpino analizator składniowy HPSG dla języka niderlandzkiego jest napisany właśnie w prologu. Jedyna do niedawna pełna gramatyka języka polskiego (napisana przez Stanisława Szpakowicza, a rozwijana także przez Marka Świdzińskiego) jest gramatyką DCG. Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (270 / 272)

Literatura dotycząca składni Andrew Radford, Transformational Grammar. A First Course, Cambridge Textbooks in Linguistics, Cambridge University Press, 1988. Cheryl A. Black, A Step-by-Step Introduction to the Government and Binding Theory of Syntax, Summer Institute of Linguistics, 1999. Dostępne pod: http: //www.sil.org/americas/mexico/ling/e002-introgb.pdf Joan Bresnan, Lexical-Functional Syntax, Blackwell, 2001. Mary Dalrymple, Lexical Functional Grammar, San Diego: Academic Press, 2001. Magdalene Grantson, Lexical Functional Grammar: Analysis and Implementation, raport techniczny, Lund University, 2002. Dostępne pod: http://www.cs.lth.se/eda171/reports/2001/magdalene.pdf Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (271 / 272)

Literatura dotycząca składni Carl Pollard, Ivan A. Sag,Head-Driven Phrase Structure Grammars, University of Chicago Press, 1994. Adam Przepiórkowski, Anna Kupść, Małgorzata Marciniak, Agnieszka Mykowiecka, Formalny opis języka polskiego. Teoria i implementacja, Akademicka Oficyna Wydawnicza Exit, Warszawa 2002. Stefan Müller, Head-Driven Phrase Structure Grammar. Eine Einführung, Stauffenburg Einführungen Nr. 17, Tübingen: Stauffenburg Verlag, 2008. Dostępne pod: http://hpsg.fu-berlin.de/~stefan/pub/hpsg-lehrbuch.html Daniel Sleator, Davy Temperley, Parsing English with a Link Grammar, Third International Workshop on Parsing Technologies, 1993. Dostępny pod: http://www.cs.cmu.edu/afs/cs.cmu.edu/project/link/pub/ www/papers/ps/lg-iwpt93.pdf Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 10. Metody opisu składni (272 / 272)