Poszukiwanie wartości w szumie informacyjnym. Problemy z Big Data. Elementary, my dear Watson...we are Deriving Value from Unstructured Information

Transkrypt

1 Poszukiwanie wartości w szumie informacyjnym. Problemy z Big Data. Elementary, my dear Watson....we are Deriving Value from Unstructured Information Emilia Smółko

2 BigData Hype Cycle 2014 by Gartner

3 Ewolucja rozwiązań informatycznych Mądrość Wiedza Insight Information Data Przetwarzanie programowe Analityka Cognitive Computing Business Analytics Industry Solutions Watson Big Data Tabulation Wyszukiwanie Deterministyczny Dane wewnętrzne Język maszyny Prosta odpowiedź Wnioskowanie Probabilistyczny Big Data Język naturalny Inteligentne opcje

4 BigData postęp komputera w naśladowaniu ludzi

5 IBM Watson wygrywa w teleturnieju Jeopardy! Jeopardy! to teleturniej z szerokiego zakresu dyscyplin włączając: Historię, literaturę, politykę, sztukę, rozrywkę i naukę Jeopardy! jest wielkim wyzwaniem dla komputera: Szeroki zakres tematyki /otwarte dziedziny Szybkość poprawnych odpowiedzi i pewność Wymaga analizowania znaczenia subtelności, ironii, zagadek, i innych złożonych problemów zadania w których ludzie czują się dobrze, ale komputery tradycyjnie tego nie robią.

6 Gra finałowa

7 Co jest łatwe dla komputerów? ln((12,546,798 * π)) ^ 2 / 34, = Select Payment where Owner= David Jones and Type(Product)= Laptop, Owner David Jones Serial Number AK Invoice # Vendor Payment INV10895 MyBuy $ Serial Number Type Invoice # AK LapTop INV10895 David Jones David Jones = Dave Jones David Jones 7 IBM Confidential

8 Co jest łatwe dla ludzi? Programy komputerowe są natywnie are natively jednoznaczne, szybkie i pewne w ich działaniach na liczbach i symbolach. Ale Język Naturalny jest niejednoznaczny, bardzo kontekstowy, często nieprecyzyjny. Person Birth Place A. Einstein ULM Ustrukturyzowane Gdzie się urodził X? One day, from among his city views of Ulm, Otto chose a water color to send to Albert Einstein as a remembrance of Einstein s birthplace. Person Organization Nieustrukturyzowane J. Welch GE X zarządzał tą organizacją? If leadership is an art then surely Jack Welch has proved himself a master painter during his tenure at GE.

9 Nauka poprzez Czytanie Tomy tekstu Syntaktyka Semantyka Wynalazcy patentują wynalazki (.8) Urzędnicy składają rezygnacje (.7) Ludzie zdobywają stopnie w szkole (0.9) Płyn jest cieczą (.6) Ciecz jest płynna (.5) Statki toną (0.7) Ludzie pływają (0.5) (w basenie/0.8)

10 Dopasowanie przez słowo kluczowe In May 1898 Portugal celebrated the 400th anniversary of this explorer s arrival in India. In May, Gary arrived in India after he celebrated his anniversary in Portugal. arrived in celebrated Keyword Matching celebrated In May 1898 Keyword Matching In May To dopasowanie sugeruje, że Gary jest odpowiedzią ALE system musi się nauczyć, że dopasowanie przez słowo kluczowe jest słabą relacją w porównaniu do innych. 400th anniversary arrival in India explorer Portugal Keyword Matching Keyword Matching Keyword Matching Gary India anniversary in Portugal 10

11 Dopasowywanie złożone In May 1898 Portugal celebrated the 400th anniversary of this explorer s arrival in India. Szukaj w wielu źródłach Analizuj wiele hipotez On the 27 th of May 1498, Vasco da Gama landed in Kappad Beach celebrated Portugal Oceń pewność dopasowań Stosuj wiele algorytmów landed in May th anniversary Rozumowanie czasowe Zgodność daty 27th May 1498 Pewniejsze dopasowanie może być trudniejsze do znalezienia i oceny. arrival in India explorer Parafraza statystyczna Rozumowanie Geoprzestrzenne Parafraza Geo-KB Pewność dopasowania powiązania nadal mniejsza niż 100%. Kappad Beach Vasco da Gama

12 DeepQA: Architektura oparta na Massively Parallel Probabilistic Evidence Generuje i ocenia wiele hipotez korzystając z kombinacji 1000 algorytmów Procesowanie Języka Naturalnego (NLP), Wyszukiwanie Informacji, Algorytmy Uczące i Algorytmy Wnioskowania. Gromadzi, przetwarza, ocenia różne typy dowodów, żeby dostarczyć najlepszą odpowiedź. Pytanie Analiza Pytania & Tematu Wiele Interpretacji Źródła danych Wyszuk iwanie Generowanie odpowiedzi 100 źródeł Dekompozycja pytania 100 możliwych odpowiedzi Generowanie Hipotez Ocena odpowiedzi 1000 elementów z powiązaniami Źródła danych Pobranie danych związanych Ocena hipotez i dowodów Ocena dowodów 100,000 ocen z wielu algorytmów oceniających Synteza Połączenie Modele uczące wspierają ocenę odpowiedzi Modele Modele Modele Modele Modele Modele Połączenie Statystyki i Oceny pewności Generowanie hipotez... Ocena hipotez i dowodów Odpowiedź % pewności

13 Czym jest Watson, a czym nie jest?... Jest wytrenowany w odpowiedziach, gdzie jest dobrze zdefiniowana jedna odpowiedź. Nie jest interaktywnym systemem do rozmowy. <spacer-spacer-spacer> Może odpowiedzieć tylko na temat wcześniej załadowany i przeanalizowany. Nie może odpowiedzieć na pytanie, jeśli odpowiedź nie wynika z danych załadowanych Jest zaprojektowany, żeby głęboko analizować podane dane i wykorzystać je do odpowiedzi na zadawane pytania. Nie jest zaprojektowany do bycia niezależną jednostką (myślącą, podejmującą decyzje). <spacer> Rozumie język naturalny. Jest maszyną uczącą się i stosującą statystykę Bardzo dobry w prostych/łatwych odpowiedziach (wspomaga się ponad 1000 algorytmów, żeby zrozumieć łatwe pytanie). Ma niską pewność kiedy pytania są: Długie, złożone i zawiłe Bardzo krótkie i niejasne

14 Precyzja, Pewność i Szybkość Złożona Analityka Połączenie wiele algorytmów wnioskowania w nowoczesnej architekturze, Watson osiągnął wysoki poziom precyzji i pewności odpowiedzi stosując dużą ilość i różnorodność źródeł informacji. Szybkość W Jeopardy średnia wydajność Watson w Jeopardy na 2,800 rdzeniach POWER7 wynosiła 3 sekundy na pytanie. Dla jednego rdzenia średnia wydajność wynosiła 2 godziny. Wyniki w 55 grach przeciwko graczom Jeopardy Watson uzyskał 1 miejsce w 71% przypadków!..i wygrał w finale!

15 Interaktywna komunikacja z klientem & użytkownikami końcowymi Rozpoznanie klienta & pobranie wcześniejszej informacji o tym kliencie. Interakcja z klientem jest zapisana do późniejszego wykorzystania. Klient wpisuje w naturalnym języku pytanie. Klient informuje o wynikach. Pytanie jest analizowane i odpowiednie akcje są podejmowane. Klient otrzymuje rekomendacje. 15

16 Dr Watson

17 Przykład: łatwa & inteligentna komunikacja z klientem Musze wiedzieć teraz! ibm.com Wsparcie klienta Kontekst: usługi informatyczne Wartość: poprawa szybkości znajdowania rozwiązania Wdrożenie: komunikatywny język naturalny Wyzwanie Miliony klientów, tysiące produktów, miliony dokumentów, miliony zgłoszeń do wsparcia, dziesiątki tysięcy specjalistów. Realizacja Korzystając z IBM Content Analytics analizujemy język naturalny i interaktywnie znajdujemy jaka informacja jest niezbędna lub zawężamy problem bazując na dostarczonych faktach. Wykonujemy symultaniczne przeszukiwania różnorodnych baz wiedzy, forum i stron internetowych podczas mapowania synonimów, akronimów i zmienności w terminologii produktowej. Wyniki Poprawa szybkości znalezienia rozwiązania. Klient nie jest zmuszony znać formalnej terminologii lub odpowiednich źródeł informacji. 17

18

19