ANALIZA DANYCH ZE ŹRÓDEŁ OTWARTYCH CENNE ŹRÓDŁO INFORMACJI DR INŻ. MARIUSZ DZIECIĄTKO Copyrigh t 2013, SAS Institute Inc. All rights reserve d.
POLSKI INTERNET W LICZBACH 56% korzysta z Internetu co najmniej raz w tygodniu 2,3 mln zarejestrowanych domen 10 mln czyli 50% wszystkich polskich użytkowników Internetu, 27 mln komentarzy w 2012 147 mln wypowiedzi 27 mln aukcji miesięcznie do 1000 komentarzy per artykuł dziennie Copyrigh t 2013, SAS Institute Inc. All rights reserve d.
PROCES ANALIZY DANYCH TEKSTOWYCH SAS TEXT ANALYTICS PLATFORM Przykładowe źródła online Pobieranie dokumentów Analizy Ad-Hoc Structured Data & Textual Data Redukcja szumu Eksploracja danych Kategoryzacja Wykorzystanie Ekstrakcja danych Wizualizacja Raportowanie Operacje Modelowanie prodykcyjne Copyrigh t 2013, SAS Institute Inc. All rights reserve d.
PROCES ANALIZY DANYCH TEKSTOWYCH REDUKCJA SZUMU A ZAKRES PRZEDMIOTOWY zapytanie dla języka polskiego: Nokia zapytanie dla języka polskiego: Angelina Jolie wyniki: dane niewyczyszczone wyniki: dane wyczyszczone ponad 100 wariacji słowa nokia czy muszę uwzględnić je wszystkie w konstrukcji zapytań? Copyrigh t 2013, SAS Institute Inc. All rights reserve d.
PROCES ANALIZY DANYCH TEKSTOWYCH EKSPOLORACJA DANYCH Parsowanie tekstu Automatyczna korekta pisowni Sprowadzenie wyrazów do formy bazowej Lista wykluczonych terminów Różne metody przypisywania wag Części mowy Synonimy Rozpoznawanie encji Zmiana reprezentacji tekstu Copyrigh t 2013, SAS Institute Inc. All rights reserve d.
PROCES ANALIZY DANYCH TEKSTOWYCH KATEGORYZACJA Drukarka jest tania ale, fabryczne kartridże z tuszem mają stosunkowo niewielką wydajność, toteż koszty wydruku są wysokie. Mimo że przy drukowaniu kolorowych grafik nieco spowalnia, to i tak pozostawia konkurencję w tyle, zwłaszcza przy wydruku fotografii, które wyglądają bardzo ładnie. Ogólnie polecam drukarkę. Negative Positive Copyrigh t 2013, SAS Institute Inc. All rights reserve d.
PROCES ANALIZY DANYCH TEKSTOWYCH USE CASE: PRECYZYJNE OKREŚLANIE SENTYMENTU VOICE TO TEXT Kategoryzacja automatyczna Sentyment - podsumowanie liczności analiza automatyczna SAS Czas trwania klasyfikacji: Kilka sekund Kategoryzacja ręczna analityka Sentyment - podsumowanie liczności oznaczenie maualne przez analityków Czas trwania klasyfikacji: - około 3000 rekordów - około 150 znaków na rekord 6 do 8 godzin Wady: - brak konsekwencji w czasie (proces uczenia analityka) - różna ocena przez różnych pracowników Copyrigh t 2013, SAS Institute Inc. All rights reserve d.
PROCES ANALIZY DANYCH TEKSTOWYCH EKSTRAKCJA DANYCH Janusz Paliwór PESEL 70122314271, pod przykrywką wyjazdów służbowych (pracuje w firmie zajmującej się projektowaniem wnętrz), prawdopodobnie przewozi narkotyki z terenu Niemiec. Użytkuje telefon o numerze 509596630. Jeden z pokjazdów ma nr rej. WD 12345. Spotyka się on często również z Jakubem Kowalewskim zam. w Kozienicach ul. Kwiatowa 5. Kowalewski ma adres e-mail kowal@wp.pl. A jego nr Dowodu Osobistego to AD 543623 wydany przez B M i G Kozienice. Marek Nowak, nip 824-128-79-70 jest również kolegą z klasy Janusza. Copyrigh t 2013, SAS Institute Inc. All rights reserve d.
PRZYKŁAD WPADKA NOKII
NOKIA
PRZYKŁAD ANALIZA SENTYMENTU
PRZYKŁAD ANALIZA SENTYMENTU BANKÓW Problematyka: Analiza ogólnego sentymentu banków dla wybranych źródeł internetowych (~100 źródeł) Marzec-Maj 2013 Charakterystyka danych: Nieustrukturyzowane dane tekstowe z portali, blogów, forów internetowych ~42 000 dokumentów Rozmiar macierzy wejściowej (dokument/termin): ~13 000 000 000 komórek Copyrigh t 2013, SAS Institute Inc. All rights reserve d.
WYKRYWANIE NADUŻYĆ
WYKRYWANIE NADUŻYĆ DANE Z SERWISÓW AUKCYJNYCH użytkownik rejestracja Flagi z Text Miningu: handlarze, sprzedaż wartościowych elementów pojazdu, pojazdy bez prawa rejestracji, lokalizacja faktyczna. telefon VIN VIN: JH4TB2H26CC000000 Dla analityków jako zmienne w ABT Dla śledczych Copyrigh t 2013, SAS Institute Inc. All rights reserve d.
WYKRYWANIE NADUŻYĆ INTERNETOWE ŹRÓDŁA ONLINE KLIENCI (zgłaszający szkodę, fraudowi) PRACOWNICY Z danymi minimalnymi: e-mail data urodzenia / PESEL telefon (+ np. prywatne maile z listy adresatów poczty służbowej) data urodzenia e-mail telefon nazwa użytkownika praca PROFILE szkoły zatrudnienie polubienia ZNAJOMI WEWNĘTRZNI (klienci i pracownicy) Aktywni w ostatnich 180 dniach: tagi aktywności komentarze zaproszenia ZEWNĘTRZNI likwidatorzy pracownicy innych ZU kancelarie odszkodowawcze mechanicy lekarze POSTY ubezpieczenia szkody oszustwa/wyłudzenia auta sporty ekstremalne pieniądze/finanse linkowanie do stron o tej tematyce Dla analityków jako zmienne w ABT Powiązania wewnętrzne do sieci Dla śledczych Copyrigh t 2013, SAS Institute Inc. All rights reserve d.
PODSUMOWANIE OBSZARY ZASTOSOWAŃ Copyrigh t 2013, SAS Institute Inc. All rights reserve d.
DZIĘKUJĘ MARIUSZ.DZIECIATKO@SAS.COM Copyrigh t 2013, SAS Institute Inc. All rights reserve d.