System Korekty Tekstu Polskiego

Transkrypt

1 System Korekty Tekstu Polskiego Plan prezentacji Geneza problemu i cele pracy Opis algorytmu bezkontekstowego Opis algorytmów kontekstowych Wyniki testów Wersja algorytmu dla języka hiszpańskiego Wnioski Grzegorz Szuba

2 Geneza problemu rosnąca ilość błędów w tekstach brak programów dostosowanych do języka polskiego brak programów badających kontekst wyrazów problem przypadkowo poprawnych wyrazów Cel powstania pracy stworzenie systemu korekty dla języka polskiego uwzględnienie kontekstu, fleksyjności, błędów ortograficznych i alfabetu

3 Metody inżynierii lingwistycznej odległość edycyjna prawo Zipfa częstotliwość N-gramy pozycja w rankingu

4 Algorytm bezkontekstowy metoda działania próba odgadnięcia błędu zmienna głębokość przeszukiwania rodzaje poprawianych błędów: ogonki, błędy ortograficzne, zamiana liter miejscami, wstawienie, usunięcie i zmiana znaku trigramy ze znaków - mechanizm środkowych liter magazynowanie wyników wyrazy sklejone lub podzielone

5 Algorytmy kontekstowe częstość występowania pojedynczego wyrazu częstość występowania pary wyrazów (niezależnie od form obu słów) częstość występowania pary wyrazów (z uwzględnieniem formy obu słów) częstość występowania dwóch wyrazów w tym samym zdaniu

6 Algorytmy kontekstowe c.d. analiza tematu tekstu analiza gramatyki związek zgody wyrażenia przyimkowe

7 Testy wybór tekstów Teksty i błędy pochodzące z rzeczywistych wypowiedzi i publikacji forum Onetu grupy dyskusyjne Usenetu komunikator Gadu - Gadu teksty skanowane teksty przepisywane na klawiaturze tekst bez polskich znaków diakrytycznych tekst z Gazety Wyborczej

8 Testy podsumowanie Ilość słów zawierających błędy: 1133 rodzaj błędu ilość wystąpień błędu brak polskiego znaku diakrytycznego 258 błąd ortograficzny 49 zamiana litery na inną (nie licząc braku ogonka) 223 dodana nadmiarowa litera 98 pominięta jedna litera 136 zamiana miejscami sąsiadujących liter 37 sklejenie sąsiednich wyrazów 122 podział słowa na dwa 34

9 Porównanie stopni algorytmu check_word +2 check_word -3 check_word +3 check_word -4 check_word 24 check_word +4 check_word +2 gcnpp check_word -3 gcnpp check_word +3 gcnpp check_word -4 gcnpp check_word 24 gcnpp check_word +4 gcnpp 0,0% 10,0% 20,0% 30,0% 40,0% 50,0% 60,0% 70,0% 80,0% 90,0% 100,0%

10 Porównanie z innymi programami Porównywane programy: Aspell, Ispell, Microsoft Office Word, Google Docs (Writely) ispell Writely aspell fast aspell normal Word check_word +2 check_word 24 check_word +2 gcnpp check_word 24 gcnpp 0,0% 10,0% 20,0% 30,0% 40,0% 50,0% 60,0% 70,0% 80,0% 90,0% 100,0%

11 Porównanie z innymi programami Ispell Aspell Word Writely mój program brak ogonka /- + błędy ortograficzne - - +/- - + naciśnięcie sąsiedniej litery nazwy własne /- - przypadkowo poprawne słowa słowa sklejone słowa podzielone

12 Porównanie metod kontekstowych bezkontekstowy temat tekstu gramatyka dwa słowa w zdaniu pary słów bez form pary słów z formami słowa pojedynczo pojedyncze + pary bez form + pary z formami wszystkie opcje jednocześnie 0,0% 10,0% 20,0% 30,0% 40,0% 50,0% 60,0% 70,0% 80,0% 90,0% 100,0%

13 Metody kontekstowe - podsumowanie częstość pojedynczego wyrazu częstość par wyrazów (niezależnie od ich formy) częstość par wyrazów (z uwzględnieniem form słów) częstość występowanie dwóch wyrazów jednocześnie w zdaniu analiza tematu tekstu analiza zasad gramatycznych

14 Wersja dla języka hiszpańskiego różnice z programem dla języka polskiego inny alfabet inne błędy ortograficzne algorytm kontekstowy różnice połączenie metod nowa baza częstości testy sztucznie generowane błędy w tekstach

15 Wersja dla języka hiszpańskiego Wyniki testów: ispell aspell ultra aspell fast aspell normal aspell bad-spellers check_word +2 check_word -3 check_word +3 check_word +3 g check_word +3 t check_word +3 c check_word +3 N check_word +3 cnt 0,0% 10,0% 20,0% 30,0% 40,0% 50,0% 60,0% 70,0% 80,0% 90,0% 100,0%

16 Wnioski i podsumowanie korzyści z uwzględnienia ogonków i błędów ortograficznych badanie kontekstu wyrazu daje dobre wyniki badanie tematu i gramatyki wymaga ulepszenia korzyści z wykorzystania fleksyjności języka algorytm można adaptować dla innych języków

17 Dziękuję za uwagę!