Poprawianie pisowni Błędna pisownia może być powodowana przez różne czynniki: błędy w przekazywaniu sygnałów do mięśni odpowiedzialnych za ruch palców (literówki, np litreówki); nieznajomość pisowni słów i zasad ortografii (wymowa błędnej formy jest taka sama lub podobna do wymowy formy poprawnej, np Stary człowiek i może jako tytuł znanego utworu literackiego a nie reklama leku); nieznajomość morfologii (np upartość zamiast upór) Metody poprawiania pisowni powinny uwzględniać model błędów użytkownika Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (166 / 188)
Odległość Levenshteina Odległość Levenshteina dwóch łańcuchów znaków x i y to minimalna liczba prostych operacji edycyjnych, które przekształcają łańcuch x w łańcuch y (lub odwrotnie) Proste operacje edycyjne to: wstawienie znaku, np kota kwota usunięcie znaku, np kwota kota zamiana znaku, np kota koza zamiana miejscami dwóch sąsiadujących znaków (tzw czeski błąd), np pisk psik Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (167 / 188)
Odległość Levenshteina ed(x 1i+1, Y 1j+1 ) = ed(x 1i, Y 1j ) jeśli x i+1 = y j+1 (ostatnie znaki takie same) = 1 + min{ed(x 1i 1, Y 1j 1, jeśli x i = y j+1 ed(x 1i+1, Y 1j ), ed(x 1i, Y 1j+1 )} i x i+1 = y j (dwa ostatnie znaki zamienione miejscami) = 1 + min{ed(x 1i, Y 1j), w pozost przypadkach ed(x 1i+1, Y 1j), ed(x 1i, Y 1j+1 )} ed(x 10, Y 1j ) = j 0 j n ed(x 1i, Y 10 ) = i 0 i m ed(x 1 1, Y 1j ) = ed(x 1i, Y 1 1 ) = max(m, n) (Definicje brzegowe) Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (168 / 188)
Odległość Levenshteina przestawienie: (kula,kual) ed(x 1i+1, Y 1j+1 ) = ed(x 1i, Y 1j ) jeśli x i+1 = y j+1 (ostatnie znaki takie same) = 1 + min{ed(x 1i 1, Y 1j 1, jeśli x i = y j+1 ed(x 1i+1, Y 1j ), ed(x 1i, Y 1j+1 )} i x i+1 = y j (dwa ostatnie znaki zamienione miejscami) = 1 + min{ed(x 1i, Y 1j), w pozost przypadkach ed(x 1i+1, Y 1j), ed(x 1i, Y 1j+1 )} ed(x 10, Y 1j ) = j 0 j n ed(x 1i, Y 10 ) = i 0 i m ed(x 1 1, Y 1j ) = ed(x 1i, Y 1 1 ) = max(m, n) (Definicje brzegowe) Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (169 / 188)
Odległość Levenshteina usunięcie: (bab,baba) ed(x 1i+1, Y 1j+1 ) = ed(x 1i, Y 1j ) jeśli x i+1 = y j+1 (ostatnie znaki takie same) = 1 + min{ed(x 1i 1, Y 1j 1, jeśli x i = y j+1 ed(x 1i+1, Y 1j ), i x i+1 = y j ed(x 1i, Y 1j+1 )} (dwa ostatnie znaki zamienione miejscami) = 1 + min{ed(x 1i, Y 1j), w pozost przypadkach ed(x 1i+1, Y 1j), ed(x 1i, Y 1j+1 )} ed(x 10, Y 1j ) = j 0 j n ed(x 1i, Y 10 ) = i 0 i m ed(x 1 1, Y 1j ) = ed(x 1i, Y 1 1 ) = max(m, n) (Definicje brzegowe) Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (170 / 188)
Odległość Levenshteina ed(x 1i+1, Y 1j+1 ) = ed(x 1i, Y 1j ) wstawienie: (babab,baba) jeśli x i+1 = y j+1 (ostatnie znaki takie same) = 1 + min{ed(x 1i 1, Y 1j 1, jeśli x i = y j+1 ed(x 1i+1, Y 1j ), i x i+1 = y j ed(x 1i, Y 1j+1 )} (dwa ostatnie znaki zamienione miejscami) = 1 + min{ed(x 1i, Y 1j), w pozost przypadkach ed(x 1i+1, Y 1j), ed(x 1i, Y 1j+1 )} ed(x 10, Y 1j ) = j 0 j n ed(x 1i, Y 10 ) = i 0 i m ed(x 1 1, Y 1j ) = ed(x 1i, Y 1 1 ) = max(m, n) (Definicje brzegowe) Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (171 / 188)
Odległość Levenshteina ed(x 1i+1, Y 1j+1 ) = ed(x 1i, Y 1j ) jeśli x i+1 = y j+1 (ostatnie znaki zamiana: takie (kod,kot) same) = 1 + min{ed(x 1i 1, Y 1j 1, jeśli x i = y j+1 ed(x 1i+1, Y 1j ), i x i+1 = y j ed(x 1i, Y 1j+1 )} (dwa ostatnie znaki zamienione miejscami) = 1 + min{ed(x 1i, Y 1j), w pozost przypadkach ed(x 1i+1, Y 1j), ed(x 1i, Y 1j+1 )} ed(x 10, Y 1j ) = j 0 j n ed(x 1i, Y 10 ) = i 0 i m ed(x 1 1, Y 1j ) = ed(x 1i, Y 1 1 ) = max(m, n) (Definicje brzegowe) Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (17 / 188)
Odległość Levenshteina ed(x 1i+1, Y 1j+1 ) = ed(x 1i, Y 1j ) jeśli x i+1 = y j+1 (ostatnie znaki takie same) = 1 + min{ed(x 1i 1, Y 1j 1, usunięcie: jeśli x i = y j+1 (kot,kota) ed(x 1i+1, Y 1j ), i x i+1 = y j ed(x 1i, Y 1j+1 )} (dwa ostatnie znaki zamienione miejscami) = 1 + min{ed(x 1i, Y 1j), w pozost przypadkach ed(x 1i+1, Y 1j), ed(x 1i, Y 1j+1 )} ed(x 10, Y 1j ) = j 0 j n ed(x 1i, Y 10 ) = i 0 i m ed(x 1 1, Y 1j ) = ed(x 1i, Y 1 1 ) = max(m, n) (Definicje brzegowe) Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (17 / 188)
Odległość Levenshteina ed(x 1i+1, Y 1j+1 ) = ed(x 1i, Y 1j ) jeśli x i+1 = y j+1 (ostatnie znaki takie same) = 1 + min{ed(x 1i 1, Y 1j 1, jeśli x i = y j+1 ed(x 1i+1, Y 1j ), wstawienie: i x i+1 = y j (kota,kot) ed(x 1i, Y 1j+1 )} (dwa ostatnie znaki zamienione miejscami) = 1 + min{ed(x 1i, Y 1j), w pozost przypadkach ed(x 1i+1, Y 1j), ed(x 1i, Y 1j+1 )} ed(x 10, Y 1j ) = j 0 j n ed(x 1i, Y 10 ) = i 0 i m ed(x 1 1, Y 1j ) = ed(x 1i, Y 1 1 ) = max(m, n) (Definicje brzegowe) Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (174 / 188)
Odległość edycyjna przykład g u p c h i s 0 1 4 5 6 7 g 1 0 1 4 5 6 ł 1 1 4 5 6 u 1 4 5 6 p 4 1 4 5 s 5 5 4 4 i 6 5 4 4 Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (175 / 188)
Odległość edycyjna przykład ed(g, g) = ed(ϵ, ϵ) = 0 g u p c h i s 0 1 4 5 6 7 g 1 0 1 4 5 6 ł 1 1 4 5 6 u 1 4 5 6 p 4 1 4 5 s 5 5 4 4 i 6 5 4 4 g g Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (176 / 188)
Odległość edycyjna przykład ed(g, gł) = 1 + min{ed(ϵ, g), ed(g, g), ed(ϵ, gł)} = 1 + min{1, 0, } = 1 g u p c h i s 0 1 4 5 6 7 g 1 0 1 4 5 6 ł 1 1 4 5 6 u 1 4 5 6 p 4 1 4 5 s 5 5 4 4 i 6 5 4 4 g g ł Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (177 / 188)
Odległość edycyjna przykład ed(gu, głu) = ed(g, gł) = 1 g u p c h i s 0 1 4 5 6 7 g 1 0 1 4 5 6 ł 1 1 4 5 6 u 1 4 5 6 p 4 1 4 5 s 5 5 4 4 i 6 5 4 4 g u g ł u Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (178 / 188)
Odległość edycyjna przykład ed(gup, głup) = ed(gu, głu) = 1 g u p c h i s 0 1 4 5 6 7 g 1 0 1 4 5 6 ł 1 1 4 5 6 u 1 4 5 6 p 4 1 4 5 s 5 5 4 4 i 6 5 4 4 g u p g ł u p Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (179 / 188)
Odległość edycyjna przykład ed(gupc, głups) = 1 + min{ed(gup, głup), ed(gupc, głup), ed(gup, głups)} = 1 + min{1,, } = g u p c h i s 0 1 4 5 6 7 g 1 0 1 4 5 6 ł 1 1 4 5 6 u 1 4 5 6 p 4 1 4 5 s 5 5 4 4 i 6 5 4 4 g u p c g ł u p s Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (180 / 188)
Odległość edycyjna przykład ed(gupch, głups) = 1 + min{ed(gupc, głup), ed(gupch, głup), ed(gupc, głups)} = 1 + min{,, } = g u p c h i s 0 1 4 5 6 7 g 1 0 1 4 5 6 ł 1 1 4 5 6 u 1 4 5 6 p 4 1 4 5 s 5 5 4 4 i 6 5 4 4 g u p c h g ł u p s Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (181 / 188)
Odległość edycyjna przykład ed(gupchi, głupsi) = ed(gupch, głups) = g u p c h i s 0 1 4 5 6 7 g 1 0 1 4 5 6 ł 1 1 4 5 6 u 1 4 5 6 p 4 1 4 5 s 5 5 4 4 i 6 5 4 4 g u p c h i g ł u p s i Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (18 / 188)
Odległość edycyjna przykład ed(gupchis, głupsi) = 1 + min{ed(gupch, głup), ed(gupchi, głupsi), ed(gupchis, głups)} = 1 + min{,, 4} = 4 g u p c h i s 0 1 4 5 6 7 g 1 0 1 4 5 6 ł 1 1 4 5 6 u 1 4 5 6 p 4 1 4 5 s 5 5 4 4 i 6 5 4 4 g u p c h i s g ł u p s i Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (18 / 188)
Odległość edycyjna przykład g u p c h i s 0 1 4 5 6 7 g 1 0 1 4 5 6 ł 1 1 4 5 6 u 1 4 5 6 p 4 1 4 5 s 5 5 4 4 i 6 5 4 4 g u p c h i s g ł u p s i Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (184 / 188)
Odległość edycyjna przykład g u p c h i s 0 1 4 5 6 7 g 1 0 1 4 5 6 ł 1 1 4 5 6 u 1 4 5 6 p 4 1 4 5 s 5 5 4 4 i 6 5 4 4 g u p c h i s g ł u p s i Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (185 / 188)
Edycyjna odległość odcięcia Porównywanie w całości wszystkich słów w słowniku z formą niepoprawną X (o długości m) byłoby zbyt kosztowne Wystarczy sprawdzić tylko część potencjalnego zamiennika Y (o długości n) z częścią niepoprawnej formy X i zadecydować, czy sprawdzać następne litery formy: cuted(x 1m, Y 1n ) = min l i u ed(x 1i, Y 1n ), l = min(1, n t), u = max(m, n + t) t jest maksymalną dopuszczalną odległością, operacje min i max zapobiegają wyjściu indeksów poza granice słowa Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (186 / 188)
Edycyjna odległość odcięcia 0 0 1 1 1 4 4 4 4 g ł u p s i o ó ś w w c s i h a ą c m o z a ą e y i z Dla t = 4, cuted(gupchis,głuch)=min{ed(g,głuch),ed(gu,głuch),ed(gup,głuch), ed(gupc,głuch),ed(gupch,głuch),ed(gupchi,głuch),ed(gupchis,głuch)}= Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (187 / 188)
Edycyjna odległość odcięcia 0 0 1 1 1 4 4 4 4 g ł u p s i o ó ś w w c s i h a ą c m o z a ą e y i z g ł u k s i 0 1 4 5 6 g 1 Dla t = 4, cuted(gupchis,głuch)=min{ed(g,głuch),ed(gu,głuch),ed(gup,głuch), ed(gupc,głuch),ed(gupch,głuch),ed(gupchi,głuch),ed(gupchis,głuch)}= Jan Daciuk, KISI, ETI, PG Przetwarzanie języka naturalnego 6 Korekta pisowni: odległość Levenshteina (188 / 188)