Studia Podyplomowe Metody statystyczne w biznesie. Warsztaty z oprogramowaniem SAS Analiza danych nieustrukturyzowanych: Text Mining

Transkrypt

1 Analiza danych nieustrukturyzowanych: Text Mining Wydział Nauk Ekonomicznych Uniwersytet Warszawski

2 1) Komercyjne 1. Zintegrowane aplikacje analityczne 2. Inne aplikacje (analiza sentymentu) 2) Aplikacje open source Część 3 Dostępne narzędzia Text Mining

3 1) Komercyjne 1. Zintegrowane aplikacje analityczne 2. Inne aplikacje (analiza sentymentu) 2) Aplikacje open source Część 3 Dostępne narzędzia Text Mining

4 Zintegrowane aplikacje analityczne SAS Text Miner IBM SPSS Modeler Text Analytics STATISTICA Text Miner Provalis Research WordStat Megaputer TextAnalyst 173

5 Firma: SAS Produkt: SAS Text Miner

6 SAS Text Miner 175

7 Obsługiwane języki SAS Text Miner prowadzi analizę nieustrukturyzowanych dokumentów w językach europejskich: angielski, holenderski, francuski, niemiecki, włoski, portugalski, hiszpański, szwedzki, polski oraz: japoński, koreański, uproszczony chiński, tradycyjny chiński, arabski 176

8 Obsługiwane funkcje szukanie rdzenia wyrazów automatyczne rozpoznawanie terminów wielowyrazowych standaryzacja wyrażeń takich jak data, godzina, waluta, procenty wydobywanie niestandardowych wyrażeń (nazwy organizacji, produkty, tytuły itp.) etykietowanie części mowy rozpoznawanie synonimów 177

9 Zastosowania filtrowanie wiadomości grupowanie dokumentów według tematu w określone kategorie wyszukiwanie w tekście nowych informacji analiza klastrów w dokumentach naukowych analiza klastrów danych ankietowych analiza klastrów w skargach, komentarzach i zażaleniach klientów 178

10 SAS Text Analytics 179

11 SAS Content Categorization 180

12 SAS Social Media Analytics 181

13 SAS Social Media Analytics 182

14 SAS Social Media Analytics social forecast 183

15 SAS Social Media Analytics sentiment by time 184

16 SAS Social Media Analytics media workbench 185

17 SAS Social Media Analytics fraud framework 186

18 Success stories Maspex Wadowice Group Parks Division of Alberta Tourism, Parks and Recreation Hong Kong government's Efficiency Unit

19 Success stories Sub-Zero and Wolf Appliance Hewlett-Packard Whirlpool 188

20 Firma: IBM SPSS Produkt: IBM SPSS Modeler Text Analytics

21 IBM SPSS Modeler Text Analytics 190

22 Wspierane natywnie Obsługiwane języki angielski, francuski, hiszpański, holenderski, niemiecki, włoski, portugalski, japoński Wspierane przez moduł tłumaczeniowy Language Translation Interface arabski, chiński, hindi, perski, rumuński, rosyjski, somalijski, szwedzki 191

23 Zastosowania Analiza wzorców w tekstach i powiązań między tekstami Analiza pytań otwartych w ankietach Klasteryzacja, kategoryzacja Modelowanie predykcyjne 192

24 What do you like most about this portable music player? /categories 193

25 What do you like most about this portable music player? / concept map 194

26 What do you like most about this portable music player? / positive 195

27 What do you like least about this portable music player? / negative 196

28 Customer service / text link analysis 197

29 What factors influence your decision to choose a car rental company for business? 198

30 Sentiment Analysis 199

31 Success stories Socio Logiciels 03.ibm.com/software/businesscasestudies/us/en/corp?synkey=C B74434A23 BMW Group 03.ibm.com/software/businesscasestudies/us/en/corp?synkey=C U02087M63 200

32 Success stories Woonbedrijf SWS 03.ibm.com/software/businesscasestudies/us/en/corp?synkey=Y G07720B64 Hamilton County Department of Education 03.ibm.com/software/businesscasestudies/us/en/corp?synkey=T A14992E19 201

33 Firma: StatSoft Produkt: STATISTICA Text Miner

34 STATISTICA Text Miner 203

35 Wspierane natywnie Obsługiwane języki duński, holenderski, angielski, francuski, niemiecki, włoski, portugalski, hiszpański, szwedzki 204

36 Obsługiwane funkcje szukanie rdzenia wyrazów pomijanie nieistotnych słów transformacja i redukcja wymiarów analiza dokumentów podsumowania mapy podobieństw analiza skupień (metody EM i k-średnich) predykcyjny text mining 205

37 Zastosowania Analiza dużych zbiorów dokumentów tekstowych grupowanie dokumentów w określone kategorie wyszukiwanie w tekście nowych informacji Analiza treści stron WWW, portali internetowych i grup dyskusyjnych Prognozowanie 206

38 Accident reports 207

39 Credit scoring 208

40 Success stories Biuro Ubezpieczycieli Czeskich wykorzystuje_statistica_enterprise_text_miner.pdf Analiza opisów roszczeń ubezpieczeniowych przewidywanie ryzyka wystąpienia wysokich roszczeń z tytułu uszczerbku na zdrowiu dokładniejsze szacowanie łącznej wartości odszkodowania z tytułu OC na wczesnym etapie rozpatrywania danej sprawy 209

41 Firma: Provalis Research Produkt: WordStat

42 Provalis Research WordStat 211

43 Wspierane natywnie Obsługiwane języki angielski, francuski, hiszpański, niemiecki, włoski, portugalski 212

44 Obsługiwane funkcje analiza wyszukanego tekstu i wizualizacja wyszukiwanie słowa kluczowego i słowa kluczowego w kontekście identyfikacja powiązanych segmentów tekstu grupowanie i analiza korespondencyjna wyrażeń klasteryzacja automatyczna klasyfikacja tekstu krzyżowanie dwóch zmiennych 213

45 Zastosowania analiza zawartości zamkniętych/otwartych zapytań w formularzach, kwestionariuszach wydobywanie informacji ze sprawozdań i raportów wydarzeń analiza nowych informacji w literaturze naukowej i sprawozdaniach wykrywanie nieprawidłowości i oszustw identyfikacja autorstwa i analiza patentowa analiza stron WWW 214

46 Keyword retrieval 215

47 Keyword distribution 216

48 Bubble chart 217

49 Dendogram 218

50 2D concept map 219

51 3D concept map 220

52 Proximity plot 221

53 Success stories JetBlue Airways Cornell University School of Hotel Administration Center for Business Performance

54 Firma: Megaputer Produkt: TextAnalyst

55 Megaputer TextAnalyst 224

56 Wspierane natywnie angielski Obsługiwane języki 225

57 tworzenie list synonimów klasteryzacja Obsługiwane funkcje kategoryzacja dokumentów wydobywanie niestandardowych wyrażeń wizualizacja powiązań między dokumentami a słowami analiza powiązań stron WWW 226

58 Zastosowania identyfikacja słów kluczowych automatyczne generowanie streszczeń tematyczna eksploracja tekstu wykrywanie nieprawidłowości generowanie interaktywnych raportów prognozowanie 227

59 Keyword extraction - medical records 228

60 Topic detection - medical records 229

61 Link chart crime reports 230

62 Correlation diagram crime reports 231

63 Success stories e-complaints from e-auction Store Crime reports analysis Government agency 232

64 1) Komercyjne 1. Zintegrowane aplikacje analityczne 2. Inne aplikacje (analiza sentymentu) 2) Aplikacje open source Część 3 Dostępne narzędzia Text Mining

65 Inne aplikacje (analiza sentymentu) Attensity Analyze Clarabridge Analyze 234

66 Firma: Attensity Produkt: Attensity Analyze

67 Attensity Analyze 236

68 Overall sentiment - social media 237

69 Top compliments - social media 238

70 Top complaints - social media 239

71 Conversation spikes - social media 240

72 Success stories Neiman Marcus Fraud detection in Financial Services gpage/a/10059/p/p-007e/t/page/fm/0 Text mining in telecommunications enterprise gpage/a/10059/p/p-00e5/t/page/fm/0 241

73 Firma: Clarabridge Produkt: Clarabridge Analyze

74 Clarabridge Analyze 243

75 Overall sentiment - hotels 244

76 Category volume report - hotels 245

77 Motion chart - hotels 246

78 Success stories Red Roof Inn Sage Software B/E Aerospace 247

79 1) Komercyjne 1. Zintegrowane aplikacje analityczne 2. Inne aplikacje (analiza sentymentu) 2) Aplikacje open source Część 3 Dostępne narzędzia Text Mining

80 Aplikacje open source GATE RapidMiner National Centre for Text Mining 249