Wstęp do przetwarzania języka naturalnego. Wykład 13 Podsumowanie i spojrzenie w przyszłość

Transkrypt

1 Wstęp do przetwarzania języka naturalnego Wykład 13 Podsumowanie i spojrzenie w przyszłość Wojciech Czarnecki 22 stycznia 2014

2 Section 1

3 Zarys kursu Wyrażenia regularne

4 Zarys kursu Wyrażenia regularne Podstawowy processing tekstu, tokenizacja, stemming, lematyzacja

5 Zarys kursu Wyrażenia regularne Podstawowy processing tekstu, tokenizacja, stemming, lematyzacja Reprezentacja Bag of Words i Naive Bayes

6 Zarys kursu Wyrażenia regularne Podstawowy processing tekstu, tokenizacja, stemming, lematyzacja Reprezentacja Bag of Words i Naive Bayes Statystyczne modele języka, n-gramy

7 Zarys kursu Wyrażenia regularne Podstawowy processing tekstu, tokenizacja, stemming, lematyzacja Reprezentacja Bag of Words i Naive Bayes Statystyczne modele języka, n-gramy Tagowanie sekwencji (POS, NER)

8 Zarys kursu Wyrażenia regularne Podstawowy processing tekstu, tokenizacja, stemming, lematyzacja Reprezentacja Bag of Words i Naive Bayes Statystyczne modele języka, n-gramy Tagowanie sekwencji (POS, NER) Modele sekwencyjne: HMM, MEMM, CRF

9 Zarys kursu Wyrażenia regularne Podstawowy processing tekstu, tokenizacja, stemming, lematyzacja Reprezentacja Bag of Words i Naive Bayes Statystyczne modele języka, n-gramy Tagowanie sekwencji (POS, NER) Modele sekwencyjne: HMM, MEMM, CRF Różnice pomiędzy generatywnością a dyskryminatywnością

10 Zarys kursu Wyrażenia regularne Podstawowy processing tekstu, tokenizacja, stemming, lematyzacja Reprezentacja Bag of Words i Naive Bayes Statystyczne modele języka, n-gramy Tagowanie sekwencji (POS, NER) Modele sekwencyjne: HMM, MEMM, CRF Różnice pomiędzy generatywnością a dyskryminatywnością Skuteczne, liniowe modele dyskryminatywne: MaxEnt, SVM

11 Zarys kursu Wyrażenia regularne Podstawowy processing tekstu, tokenizacja, stemming, lematyzacja Reprezentacja Bag of Words i Naive Bayes Statystyczne modele języka, n-gramy Tagowanie sekwencji (POS, NER) Modele sekwencyjne: HMM, MEMM, CRF Różnice pomiędzy generatywnością a dyskryminatywnością Skuteczne, liniowe modele dyskryminatywne: MaxEnt, SVM Konceptualizacja dokumentów

12 Zarys kursu Wyrażenia regularne Podstawowy processing tekstu, tokenizacja, stemming, lematyzacja Reprezentacja Bag of Words i Naive Bayes Statystyczne modele języka, n-gramy Tagowanie sekwencji (POS, NER) Modele sekwencyjne: HMM, MEMM, CRF Różnice pomiędzy generatywnością a dyskryminatywnością Skuteczne, liniowe modele dyskryminatywne: MaxEnt, SVM Konceptualizacja dokumentów LSA, WordNet, algorytm Lesk

13 Zarys kursu Wyrażenia regularne Podstawowy processing tekstu, tokenizacja, stemming, lematyzacja Reprezentacja Bag of Words i Naive Bayes Statystyczne modele języka, n-gramy Tagowanie sekwencji (POS, NER) Modele sekwencyjne: HMM, MEMM, CRF Różnice pomiędzy generatywnością a dyskryminatywnością Skuteczne, liniowe modele dyskryminatywne: MaxEnt, SVM Konceptualizacja dokumentów LSA, WordNet, algorytm Lesk Wektoryzacja dokumentów, schematy SoW, BoW, TfIdf

14 Zarys kursu Wyrażenia regularne Podstawowy processing tekstu, tokenizacja, stemming, lematyzacja Reprezentacja Bag of Words i Naive Bayes Statystyczne modele języka, n-gramy Tagowanie sekwencji (POS, NER) Modele sekwencyjne: HMM, MEMM, CRF Różnice pomiędzy generatywnością a dyskryminatywnością Skuteczne, liniowe modele dyskryminatywne: MaxEnt, SVM Konceptualizacja dokumentów LSA, WordNet, algorytm Lesk Wektoryzacja dokumentów, schematy SoW, BoW, TfIdf Zaawansowane funkcje jądra, pozwalające na pracę z dokumentami

15 NLP Zaczęło się na Turingu

16 NLP I na nim się kończy

17 ogólna perspektywa Udało się rozwiązać niektóre problemy POS Sentiment analysis Dla części stworzono zadowalające rozwiązania Machine translation Speech recognition Ale wiele wciąż jest otwartych Language representation Language Understanding

18 dotąd Przez większość kursu, Państwa zadania można było podsumować w nastepujacy sposób: Zapoznać się z problemem Znaleźć dobre przekształcenie φ przenoszące dokumenty w bardziej zrozumiały dla komputera format Dobrać odpowiedni model i nauczyć go na dostepnych danych

19 dotąd Przez większość kursu, Państwa zadania można było podsumować w nastepujacy sposób: Zapoznać się z problemem Znaleźć dobre przekształcenie φ przenoszące dokumenty w bardziej zrozumiały dla komputera format Dobrać odpowiedni model i nauczyć go na dostepnych danych

20 Dobra reprezentacja danych Ten problem jest kluczowy w całym NLP i stanowi olbrzymią bolączkę. Mamy ogromne ilości informacji, a mimo to praca z nimi wymaga ręcznego dobierania często złożonych obiektów na chybił trafił. W dodatku jak tylko dostaniemy nowe zadanie stare podejście możemy wyrzucić do kosza (nie liczac jakieś podstawowej formy i naszego doświadczenia).

21 Co się teraz dzieje w NLP Google Microsoft Stanford

22 NLP dziś Większość obecnych rozwiązań ML działa dobrze ze względu na inżynieryjną pracą wielu ludzi (dobre zaprojektowanie cech). Cały proces uczenia to jedynie dobieranie wag do tych cech.

23 NLP dziś - słowo klucz Representation Learning

24 NLP dziś - representation learning Zamiast ograniczyć uczenie do etapu podjęcia decyzji, uczmy się również spojrzenia na problem. Spojrzenia na świat.tak jak ludzie. Gdy człowiek ma nauczyć się np. odróżniać pozytywne recenzje od negatywnych: Dostaje nieznany, tajemniczy zbiór symboli s i, oraz równie tajemnicze pojęcia Jo i No i ma zbudować sobie jak najlepszy zbiór zasad które z s i podejmuje decyzję o Jo i No? Uczy się przez wiele lat tego czym jest język, jak się nim posługiwać, czym są sentymenty, i bazując na tej bazowej wiedzy dostraja się do rozwiązywania konkretnego zadania.

25 NLP dziś - representation learning Dlaczego? Tworzenie reprezentacji jest bardzo czasochłonne (kosztowne) Dla każdego zadania trzeba cały proces powtarzać Zasady stworzone przez człowieka są bardzo wrażliwe na wszelkie zmiany, dynamikę języka i specyfikę konkretnych grup/problemów

26 NLP dziś - representation learning Zamiast atomicznej reprezentacji w psotaci Bag of Words, czy drzew parsingu - bardziej rozproszone, rozmyte reprezentacje. np. reprezentowanie słowa jako konceptu (tzn. Brown clustering, exchange clustering) Redukcja błędu (dependency parsing) o 15% Redukcja błędu (NER) o 23.7%

27 NLP dziś - representation learning Ogrom informacji dostepnych dla NLP to dane niepoetykietowane. O ile niektóre algorytmy potrafią je zaadoptować (HMM), o tyle w ogólności systemy NLP bazują w zasadzie wyłącznie na poetykietowanych danych.

28 NLP dziś - reprezentacja wielopoziomowa Kiedy przyjrzymy się temu jak uczy się człowiek, nie znajdziemy jednego, homogenicznego systemu uczenia, jednego obszaru mózgu pt. składnica wiedzy. Nasz proces uczenia jest wielopoziomowy. Budujemy reprezentację na wielu poziomach abstrakcji. Dla NLP, np.: Pojedyncze kleksy na papierze tworzą linie Linie tworzą znaki (litery) Litery (już jako abstrakcyjne obiekty) tworzą słowa Słowa tworzą zdania Zdania tworzą wypowiedzi Wypowiedzi przenoszą sens, informację, wiedzę, poglądy,...

29 deep representation

30 deep representation Idea Kompozycyjność Rekurencja Ta sama operacja aplikowana na coraz wyższych poziomach abstrakcji

31 deep representation

32 deep representation - Dlaczego teraz? Mamy o wiele potężniejsze komputery (Postęp technologiczny) Lepiej zrozumieliśmy naturę regularyzacji (Machine Learning Theory) Powstały nowe metody uczenia nienadzorowanego (przede wszystkim prace G.Hinton a 2006)

33 Typowa reprezentacja Set (Bag) of words representation φ(hotel) = [ ] φ(motel) = [ ] sim(φ(hotel), φ(motel)) = 0

34 Idea: kontekst Słowa są reprezentowane przez ich kontekst

35 Statystyczny model języka P(w) = P(w n w 1,..., w n 1 ) Dotąd: model ngramowy Obecnie: uczone modele

36 Statystyczny model języka Mając duży zbiór tekstu możemy zbudować model tego języka, zdolny do wymodelowania P(w) = P(w n w 1,..., w n 1 ) używając ustalonej liczby M stanów ukrytych podobna koncepcja do Ukrytych Modeli Markowa można wykorzystac tzw. rekurencyjne sieci neuronowe (ciekawostka: mają moc obliczeniową maszyny turinga)

37 Neuronowy model języka W szczególności: Neural Language Model ( Tomas Mikolov /2012 )

38 NLP dziś - słowo klucz Deep Learning

39 deep learning

40 deep learning Czym są pojedyncze elementy składowe? sieciami neuronowymi (perceptrony) ograniczonymi maszynami Boltzmanna Modelami Markowa

41 deep learning

42 deep learning

43 Co sie dzieje w Microsofcie

44 Przyszłość? Deep learning jest wykorzystywany teraz w:

45 Przyszłość? Deep learning jest wykorzystywany teraz w: Google Translate Wyszukiwaniu głosowym androida Rozpoznawaniu obrazów wykorzystywanym w Google

46 Czy na pewno test Turinga to dobry test?

47 Co dalej? dr Igor Podolak - Sieci Neuronowe Podstawowe architektury neuronowe Podstawowe modele i uczenie nienadzorowane Deep learning

48 Dziękuję Liczę na szczere komentarze w systemie ankietowym USOS

49 Egzamin Termin: 4 lutego 2014, godz. 15:00 sala: 0094 Co można mieć ze sobą: długopis i głowę pełną wiedzy Forma egzaminu: Dwa proste zadania otwarte (obliczeniowe) 20 pytań testowych (wielokrotnego wyboru) +1/-1pkt 90 minut (acz można go napisac w połowie tego czasu) Ocena z przedmiotu to średnia (arytmetyczna) oceny z egzaminu i ćwiczeń Trzeba zaliczyć obie części (egzamin i ćwiczenia)