Studia Podyplomowe Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS Analiza danych nieustrukturyzowanych: Text Mining

Transkrypt

1 Analiza danych nieustrukturyzowanych: Text Mining Wydział Nauk Ekonomicznych Uniwersytet Warszawski

2 1) Komercyjne 1. Zintegrowane aplikacje analityczne 2. Analiza sentymentu 2) Aplikacje open source Część 3 Inne narzędzia Text Mining

3 1) Komercyjne 1. Zintegrowane aplikacje analityczne 2. Analiza sentymentu 2) Aplikacje open source Część 3 Inne narzędzia Text Mining

4 Zintegrowane aplikacje analityczne SAS Text Miner IBM SPSS Modeler Text Analytics STATISTICA Text Miner Provalis Research WordStat Megaputer TextAnalyst 171

5 Firma: SAS Produkt: SAS Text Miner

6 SAS Text Miner 173

7 Obsługiwane języki SAS Text Miner prowadzi analizę nieustrukturyzowanych dokumentów w językach europejskich: angielski, holenderski, francuski, niemiecki, włoski, portugalski, hiszpański, szwedzki, polski oraz: japoński, koreański, uproszczony chiński, tradycyjny chiński, arabski 174

8 Obsługiwane funkcje szukanie rdzenia wyrazów automatyczne rozpoznawanie terminów wielowyrazowych standaryzacja wyrażeń takich jak data, godzina, waluta, procenty wydobywanie niestandardowych wyrażeń (nazwy organizacji, produkty, tytuły itp.) etykietowanie części mowy rozpoznawanie synonimów 175

9 Zastosowania filtrowanie wiadomości grupowanie dokumentów według tematu w określone kategorie wyszukiwanie w tekście nowych informacji analiza klastrów w dokumentach naukowych analiza klastrów danych ankietowych analiza klastrów w skargach, komentarzach i zażaleniach klientów 176

10 SAS Text Analytics 177

11 SAS Content Categorization 178

12 SAS Social Media Analytics 179

13 SAS Social Media Analytics 180

14 SAS Social Media Analytics social forecast 181

15 SAS Social Media Analytics sentiment by time 182

16 SAS Social Media Analytics media workbench 183

17 SAS Social Media Analytics fraud framework 184

18 Success stories Maspex Wadowice Group Parks Division of Alberta Tourism, Parks and Recreation Hong Kong government's Efficiency Unit

19 Success stories Sub-Zero and Wolf Appliance Hewlett-Packard 186

20 Firma: IBM SPSS Produkt: IBM SPSS Modeler Text Analytics

21 IBM SPSS Modeler Text Analytics com.ibm.spss.ta.help/tmfc_intro.htm 188

22 Obsługiwane języki Wspierane natywnie angielski, francuski, hiszpański, holenderski, niemiecki, włoski, portugalski, japoński Wspierane przez moduł tłumaczeniowy Language Translation Interface arabski, chiński, hindi, perski, rumuński, rosyjski, somalijski, szwedzki 189

23 Zastosowania Analiza wzorców w tekstach i powiązań między tekstami Analiza pytań otwartych w ankietach Klasteryzacja, kategoryzacja Modelowanie predykcyjne 190

24 What do you like most about this portable music player? /categories 191

25 What do you like most about this portable music player? /concept map 192

26 What do you like most about this portable music player? /positive 193

27 What do you like most about this portable music player? /negative 194

28 Customer service / text link analysis 195

29 What factors influence your decision to choose a car rental company for business? 196

30 Sentiment Analysis 197

31 Success stories PGM Holdings K.K. Hamilton County Department of Education BMW Group 198

32 Firma: StatSoft Produkt: STATISTICA Text Miner

33 STATISTICA Text Miner 200

34 Obsługiwane języki Wspierane natywnie duński, holenderski, angielski, francuski, niemiecki, włoski, portugalski, hiszpański, szwedzki 201

35 Obsługiwane funkcje szukanie rdzenia wyrazów pomijanie nieistotnych słów transformacja i redukcja wymiarów analiza dokumentów podsumowania mapy podobieństw analiza skupień (metody EM i k-średnich) predykcyjny text mining 202

36 Analiza dużych zbiorów dokumentów tekstowych grupowanie dokumentów w określone kategorie wyszukiwanie w tekście nowych informacji Analiza treści stron WWW, portali internetowych i grup dyskusyjnych Prognozowanie Zastosowania 203

37 Accident reports 204

38 Credit scoring 205

39 Success stories Biuro Ubezpieczycieli Czeskich _wykorzystuje_statistica_enterprise_text_miner.pdf Analiza opisów roszczeń ubezpieczeniowych przewidywanie ryzyka wystąpienia wysokich roszczeń z tytułu uszczerbku na zdrowiu dokładniejsze szacowanie łącznej wartości odszkodowania z tytułu OC na wczesnym etapie rozpatrywania danej sprawy 206

40 Firma: Provalis Research Produkt: WordStat

41 Provalis Research WordStat 208

42 Obsługiwane języki Wspierane natywnie angielski, francuski, hiszpański, niemiecki, włoski, portugalski 209

43 analiza wyszukanego tekstu i wizualizacja wyszukiwanie słowa kluczowego i słowa kluczowego w kontekście identyfikacja powiązanych segmentów tekstu grupowanie i analiza korespondencyjna wyrażeń klasteryzacja Obsługiwane funkcje automatyczna klasyfikacja tekstu krzyżowanie dwóch zmiennych 210

44 analiza zawartości zamkniętych/otwartych zapytań w formularzach, kwestionariuszach wydobywanie informacji ze sprawozdań i raportów wydarzeń analiza nowych informacji w literaturze naukowej i sprawozdaniach wykrywanie nieprawidłowości i oszustw identyfikacja autorstwa i analiza patentowa analiza stron WWW Zastosowania 211

45 Keyword retrieval 212

46 Keyword distribution 213

47 Bubble chart 214

48 Dendogram 215

49 2D concept map 216

50 3D concept map 217

51 Proximity plot 218

52 JetBlue Airways Success stories Cornell University School of Hotel Administration Center for Business Performance

53 Firma: Megaputer Produkt: TextAnalyst

54 Megaputer TextAnalyst 221

55 Obsługiwane języki Wspierane natywnie angielski 222

56 tworzenie list synonimów klasteryzacja Obsługiwane funkcje kategoryzacja dokumentów wydobywanie niestandardowych wyrażeń wizualizacja powiązań między dokumentami a słowami analiza powiązań stron WWW 223

57 Zastosowania identyfikacja słów kluczowych automatyczne generowanie streszczeń tematyczna eksploracja tekstu wykrywanie nieprawidłowości generowanie interaktywnych raportów prognozowanie 224

58 Keyword extraction - medical records 225

59 Topic detection - medical records 226

60 Link chart crime reports 227

61 Correlation diagram crime reports 228

62 Success stories e-complaints from e-auction Store Crime reports analysis Government agency 229

63 1) Komercyjne 1. Zintegrowane aplikacje analityczne 2. Analiza sentymentu 2) Aplikacje open source Część 3 Inne narzędzia Text Mining

64 Firma: Clarabridge Produkt: Clarabridge Analyze

65 Clarabridge Analyze 232

66 Overall sentiment - hotels 233

67 Category volume report - hotels 234

68 Motion chart - hotels 235

69 Red Roof Inn Success stories B/E Aerospace 236

70 1) Komercyjne 1. Zintegrowane aplikacje analityczne 2. Analiza sentymentu 2) Aplikacje open source Część 3 Inne narzędzia Text Mining

71 Aplikacje open source GATE RapidMiner National Centre for Text Mining 238