ANALIZA DANYCH ZE ŹRÓDEŁ OTWARTYCH CENNE ŹRÓDŁO INFORMACJI DR INŻ. MARIUSZ DZIECIĄTKO

Transkrypt

1 ANALIZA DANYCH ZE ŹRÓDEŁ OTWARTYCH CENNE ŹRÓDŁO INFORMACJI DR INŻ. MARIUSZ DZIECIĄTKO Copyrigh t 2013, SAS Institute Inc. All rights reserve d.

2 POLSKI INTERNET W LICZBACH 56% korzysta z Internetu co najmniej raz w tygodniu 2,3 mln zarejestrowanych domen 10 mln czyli 50% wszystkich polskich użytkowników Internetu, 27 mln komentarzy w mln wypowiedzi 27 mln aukcji miesięcznie do 1000 komentarzy per artykuł dziennie Copyrigh t 2013, SAS Institute Inc. All rights reserve d.

3 PROCES ANALIZY DANYCH TEKSTOWYCH SAS TEXT ANALYTICS PLATFORM Przykładowe źródła online Pobieranie dokumentów Analizy Ad-Hoc Structured Data & Textual Data Redukcja szumu Eksploracja danych Kategoryzacja Wykorzystanie Ekstrakcja danych Wizualizacja Raportowanie Operacje Modelowanie prodykcyjne Copyrigh t 2013, SAS Institute Inc. All rights reserve d.

4 PROCES ANALIZY DANYCH TEKSTOWYCH REDUKCJA SZUMU A ZAKRES PRZEDMIOTOWY zapytanie dla języka polskiego: Nokia zapytanie dla języka polskiego: Angelina Jolie wyniki: dane niewyczyszczone wyniki: dane wyczyszczone ponad 100 wariacji słowa nokia czy muszę uwzględnić je wszystkie w konstrukcji zapytań? Copyrigh t 2013, SAS Institute Inc. All rights reserve d.

5 PROCES ANALIZY DANYCH TEKSTOWYCH EKSPOLORACJA DANYCH Parsowanie tekstu Automatyczna korekta pisowni Sprowadzenie wyrazów do formy bazowej Lista wykluczonych terminów Różne metody przypisywania wag Części mowy Synonimy Rozpoznawanie encji Zmiana reprezentacji tekstu Copyrigh t 2013, SAS Institute Inc. All rights reserve d.

6 PROCES ANALIZY DANYCH TEKSTOWYCH KATEGORYZACJA Drukarka jest tania ale, fabryczne kartridże z tuszem mają stosunkowo niewielką wydajność, toteż koszty wydruku są wysokie. Mimo że przy drukowaniu kolorowych grafik nieco spowalnia, to i tak pozostawia konkurencję w tyle, zwłaszcza przy wydruku fotografii, które wyglądają bardzo ładnie. Ogólnie polecam drukarkę. Negative Positive Copyrigh t 2013, SAS Institute Inc. All rights reserve d.

7 PROCES ANALIZY DANYCH TEKSTOWYCH USE CASE: PRECYZYJNE OKREŚLANIE SENTYMENTU VOICE TO TEXT Kategoryzacja automatyczna Sentyment - podsumowanie liczności analiza automatyczna SAS Czas trwania klasyfikacji: Kilka sekund Kategoryzacja ręczna analityka Sentyment - podsumowanie liczności oznaczenie maualne przez analityków Czas trwania klasyfikacji: - około 3000 rekordów - około 150 znaków na rekord 6 do 8 godzin Wady: - brak konsekwencji w czasie (proces uczenia analityka) - różna ocena przez różnych pracowników Copyrigh t 2013, SAS Institute Inc. All rights reserve d.

8 PROCES ANALIZY DANYCH TEKSTOWYCH EKSTRAKCJA DANYCH Janusz Paliwór PESEL , pod przykrywką wyjazdów służbowych (pracuje w firmie zajmującej się projektowaniem wnętrz), prawdopodobnie przewozi narkotyki z terenu Niemiec. Użytkuje telefon o numerze Jeden z pokjazdów ma nr rej. WD Spotyka się on często również z Jakubem Kowalewskim zam. w Kozienicach ul. Kwiatowa 5. Kowalewski ma adres kowal@wp.pl. A jego nr Dowodu Osobistego to AD wydany przez B M i G Kozienice. Marek Nowak, nip jest również kolegą z klasy Janusza. Copyrigh t 2013, SAS Institute Inc. All rights reserve d.

9 PRZYKŁAD WPADKA NOKII

10 NOKIA

11

12

13

14

15 PRZYKŁAD ANALIZA SENTYMENTU

16 PRZYKŁAD ANALIZA SENTYMENTU BANKÓW Problematyka: Analiza ogólnego sentymentu banków dla wybranych źródeł internetowych (~100 źródeł) Marzec-Maj 2013 Charakterystyka danych: Nieustrukturyzowane dane tekstowe z portali, blogów, forów internetowych ~ dokumentów Rozmiar macierzy wejściowej (dokument/termin): ~ komórek Copyrigh t 2013, SAS Institute Inc. All rights reserve d.

17

18

19

20

21

22

23

24

25 WYKRYWANIE NADUŻYĆ

26 WYKRYWANIE NADUŻYĆ DANE Z SERWISÓW AUKCYJNYCH użytkownik rejestracja Flagi z Text Miningu: handlarze, sprzedaż wartościowych elementów pojazdu, pojazdy bez prawa rejestracji, lokalizacja faktyczna. telefon VIN VIN: JH4TB2H26CC Dla analityków jako zmienne w ABT Dla śledczych Copyrigh t 2013, SAS Institute Inc. All rights reserve d.

27 WYKRYWANIE NADUŻYĆ INTERNETOWE ŹRÓDŁA ONLINE KLIENCI (zgłaszający szkodę, fraudowi) PRACOWNICY Z danymi minimalnymi: data urodzenia / PESEL telefon (+ np. prywatne maile z listy adresatów poczty służbowej) data urodzenia telefon nazwa użytkownika praca PROFILE szkoły zatrudnienie polubienia ZNAJOMI WEWNĘTRZNI (klienci i pracownicy) Aktywni w ostatnich 180 dniach: tagi aktywności komentarze zaproszenia ZEWNĘTRZNI likwidatorzy pracownicy innych ZU kancelarie odszkodowawcze mechanicy lekarze POSTY ubezpieczenia szkody oszustwa/wyłudzenia auta sporty ekstremalne pieniądze/finanse linkowanie do stron o tej tematyce Dla analityków jako zmienne w ABT Powiązania wewnętrzne do sieci Dla śledczych Copyrigh t 2013, SAS Institute Inc. All rights reserve d.

28 PODSUMOWANIE OBSZARY ZASTOSOWAŃ Copyrigh t 2013, SAS Institute Inc. All rights reserve d.

29 DZIĘKUJĘ Copyrigh t 2013, SAS Institute Inc. All rights reserve d.