ZASOBY INFORMACYJNE - INACZEJ ADAM BARTOS, SAS POLSKA WYKORZYSTANIE RÓŻNYCH ŹRÓDEŁ INFORMACJI NA POTRZEBY ZARZĄDZANIA KRYZYSOWEGO. KONWERSATORIUM 14 KWIETNIA 2014 R.
PORUSZANE ZAGADNIENIA Dane niestrukturalne i techniczne możliwości ich wykorzystania Zintegrowane dane fundamentem dla metod zaawansowanej analityk
DANE NIESTRUKTURALNE ŹRÓDŁA Przykłady Zarejestrowane rozmowy na numery alarmowe (po konwersji voice->text) Zgłoszenia przekazane pocztą elektroniczną Media społecznościowe (Facebook, twittter) Raporty i notatki służbowe Charakterystyka Brak lub ograniczona struktura Język naturalny z wszystkimi konsekwencjami Różnorodny i zmienny kontekst utrudniający klasyfikację
DANE NIESTRUKTURALNE MOŻLIWOŚCI TECHNICZNE SAS TEXT ANALYTICS PORTFOLIO DOSTĘP ODKRYWANIE PORZĄDKOWANIE Crawlery Konwersja Zarządzanie danymi WYSZUKIWANIE ISTOTNYCH INFORMACJI Analizy Sentymentu Text Mining Ekstrakcja pojęć Kategoryzacja Ontologie Taksonomia Streszczenia Deduplikacja WYKORZYSTANIE UTYLIZACJA Raportowanie operacyjne Analizy predykcyjne Indeksowanie i wyszukiwanie Alerty Obszary biznesowe Gromadzenie danych Analiza danych Organizacja danych Systemy analityczno - raportowe
DANE NIESTRUKTURALNE NATURAL LANGUAGE PROCESSING (NLP) FUNDAMENT ANALIZY TEKSTU Parsowanie tekstu Automatyczna korekta pisowni Sprowadzenie wyrazów do formy bazowej Lista wykluczonych terminów Części mowy Synonimy Rozpoznawanie encji Oznaczanie sentymentu Janusz Paliwór PESEL 70122314271, pod przykrywką Janusz wyjazdów Paliwór służbowych PESEL 70122314271, (pracuje w firmie pod zajmującej przykrywką się Janusz wyjazdów projektowaniem Paliwór służbowych PESEL wnętrz), 70122314271, (pracuje prawdopodobnie w firmie pod zajmującej przykrywką przewozi się Janusz wyjazdów projektowaniem narkotyki Paliwór służbowych z PESEL terenu wnętrz), Niemiec. 70122314271, (pracuje prawdopodobnie w Użytkuje firmie pod zajmującej telefon przykrywką przewozi o numerze się wyjazdów projektowaniem narkotyki 509596630. służbowych z terenu Jeden wnętrz), Niemiec. (pracuje z pokjazdów prawdopodobnie w Użytkuje firmie ma zajmującej telefon nr przewozi rej. WD o numerze się 12345. projektowaniem narkotyki 509596630. Spotyka z terenu się Jeden wnętrz), on Niemiec. często z pokjazdów prawdopodobnie również Użytkuje ma z Jakubem telefon nr przewozi rej. WD o Kowalewskim numerze 12345. narkotyki 509596630. Spotyka zam. z w terenu się Kozienicach Jeden on Niemiec. często z pokjazdów również ul. Użytkuje Kwiatowa ma z Jakubem telefon nr 5. rej. WD o Kowalewskim numerze 12345. ma 509596630. Spotyka zam. adres w się Kozienicach e-mail Jeden on często kowal@wp.pl. z pokjazdów ul. również Kwiatowa ma z A Jakubem jego nr 5. rej. nr WD Dowodu Kowalewskim 12345. ma Spotyka zam. adres Osobistego w się Kozienicach e-mail on często kowal@wp.pl. AD ul. również 543623 Kwiatowa z A wydany Jakubem jego 5. Kowalewski nr przez Dowodu Kowalewskim B M ma i G zam. adres Osobistego w Kozienice. Kozienicach e-mail kowal@wp.pl. to Marek AD ul. 543623 Kwiatowa Nowak, A wydany jego nip 5. 824-128-79-70 Kowalewski nr przez Dowodu B M ma i G jest adres Osobistego Kozienice. również e-mail kowal@wp.pl. to kolegą Marek AD 543623 z Nowak, klasy A wydany Janusza. jego nip 824-128-79-70 nr przez Dowodu B M i G jest Osobistego Kozienice. również to kolegą Marek AD 543623 z Nowak, klasy wydany Janusza. nip 824-128-79-70 przez B M i G jest Kozienice. również kolegą Marek z Nowak, klasy Janusza. nip 824-128-79-70 jest również kolegą z klasy Janusza.
DANE NIESTRUKTURALNE OBSZARY ANALIZY TEKSTU TEXT ANALYTICS KATEGORYZACJA TREŚCI ANALIZA SENTYMENTU TEXT MINING ZARZĄDZANIE ONTOLOGIĄ
EKSTRAKCJA INFORMACJI Janusz Paliwór PESEL 70122314271, pod przykrywką wyjazdów służbowych (pracuje w firmie zajmującej się projektowaniem wnętrz), prawdopodobnie przewozi narkotyki z terenu Niemiec. Użytkuje telefon o numerze 509596630. Jeden z pokjazdów ma nr rej. WD 12345. Spotyka się on często również z Jakubem Kowalewskim zam. w Kozienicach ul. Kwiatowa 5. Kowalewski ma adres e-mail kowal@wp.pl. A jego nr Dowodu Osobistego to AD 543623 wydany przez B M i G Kozienice. Marek Nowak, nip 824-128-79-70 jest również kolegą z klasy Janusza.
Copyright 2012, SAS Institute Inc. All rights reserved. PRZYKŁAD ANALIZY SENTYMENTU
TEXT ANALYTICS TEXT MINING Analizy i wizualizacja Statystyki terminów, identyfikacja podobnych dokumentów Graficzna prezentacja relacji Automatyczna klasyfikacja Taksonomia - np. organizacja tematów w hierarchie Grupowanie np. identyfikacja segmentów w komentarzach z call center Modelowanie predykcyjne Jedynie tekst - np. przewidzieć nastawienie klienta po jego komentarzach Tekst i dane ustrukturyzowane - np. przewidywania przyszłych zakupów na podstawie opinii oraz danych demograficznych
Copyright 2012, SAS Institute Inc. All rights reserved. PRZYKŁAD HONG KONG EFFICIENCY UNIT Call centre nr 1823 - pojedynczy punkt kontaktu dla przyjmowania: zgłoszeń, uwag, sugestii i skarg Corocznie przyjmuje ok. 2,5 mln rozmów telefonicznych 100 tys. e-maili. Cel: Lepsze zrozumienie potrzeb dzwoniących obywateli Poprawa jakości usług Budowa publicznego zaufania i satysfakcji społecznej How can I apply for a vehicle licence? There is water seepage problem in my flat, can you help? Can I import an endangered species? Please remove the fallen tree. I would like to report that the streetlight near my office building went off.
HONG KONG EFFICIENCY UNIT ZASTOSOWANIE ANALITYKI TEKSTOWEJ Automatyczna ekstrakcja informacji ze zgłoszeń, przykłady: Nazwa restauracji, firma, nazwa ulicy, szkoła, nieruchomość etc. Wykorzystanie uzyskanej informacji o terminach i powiązaniach do: Usprawnienia wyszukiwania informacji i powiązań w różnych zgłoszeniach Wykorzystanie zagregowanej informacji o zgłoszeniach do: doskonalenia reguł klasyfikacji zgłoszeń analizy efektywności obsługi w poszczególnych departamentach identyfikacji potencjalnych obszarów usprawnień
HONG KONG EFFICIENCY UNIT PRZYKŁAD RAPORTU
HONG KONG EFFICIENCY UNIT NAJWIĘKSZA WARTOŚĆ ROZWIĄZANIA OPTYMALIZACJA DZIAŁANIA SŁUŻB Environment Protection Dept. Housing Dept. Strategy Dept.
OPTYMALIZACJA ZASOBÓW W PRZYPADKU NAGŁYCH INTERWENCJI SYSTEM GOLDSS (DEPARTAMENT OBRONY STANÓW ZJEDNOCZONYCH)
GOLDSS CELE SYSTEMU Przyspieszyć opracowywanie planów działania w sytuacjach kryzysowych mając na uwadze: Zapewnienie zrównoważenia popytu na zasoby, potrzebne w nagłych interwencjach, z zapasami armii amerykańskiej, rozlokowanymi w różnych miejscach globu ziemskiego* Uwzględnienie alternatywnych planów logistycznych Uzyskanie planu optymalnego, umożliwiającego najlepsze ze względu na ograniczenia transportowe i operacyjne - przemieszczenie dostaw * USA dysponują pełnym przeglądem lokalizacji zapasów z dokładnością do najdrobniejszej pozycji klasyfikacji Departamentu Obrony USA - DODIC (DOD Item Code)
GOLDSS LOGIKA SYSTEMU Op Plan Log Estimate Transportation Network Requirements (Demand) Informacje wejściowe Analizy Model optymalizacyjny Shipments (Network) Shortages (Demand Nodes) Inventory (Supply Nodes) Inventory (Supply) Mapy GIS Inter-service Supply Integracja danych Rezultaty
GOLDSS PRZYKŁAD - SUPER TYPHOON BABETTE Nagła interwencja Pomoc humanitarna dla poszkodowanych przez supertajfun Babette obszar środkowych Filipin Liczba zabitych 20.000 Liczba poszkodowanych (bezdomnych) 500.000 osób Uszkodzone lotniska, niedostępne przez 10 dni Potrzeba zapewnić pomoc humanitarną przez 30 dni (okręty wojskowe, helikoptery, pojazdy)
GOLDSS Jakie zapasy są dostępne? Jakie środki transportu są dostępne (helikoptery, pojazdy? Dostęp do tych informacji z Status scenariuszy działań dowolnego miejsca na świecie
Podaż > od popytu - DOBRZE Klikamy na AFLOAT i pojawia się następny ekran, gdzie. Copyright 2006, SAS Institute Inc. All rights reserved.
Copyright 2006, SAS Institute Inc. All rights reserved. widzimy, na których statkach znajduje się pozycja A059
tutaj planista widzi, których produktów jest za mało w stosunku do potrzeb Supply does not meet demand Copyright 2006, SAS Institute Inc. All rights reserved.
GOLDSS REZULTAT PROCESU OPTYMALIZACJI (PLAN DZIAŁANIA) 1 Dopasowanie potrzeb i zapasów 2 Ustalenie optymalnej lokalizacji zapasów 3 Uwzględnienie ograniczeń transportowych i kosztowych 4 Ustalenie punktów transportowych 5 Prezentacja tras transportowych na mapie Transportation Data Points Drafts and speeds of ships Depths of channels, lengths of piers Distances/transit times bet. nodes Lift capacities Node throughput Net explosive weight capacities
GOLDSS CO POTRAFI OPTYMALIZATOR Wspomaga tworzenie, badanie i ocenę ciągu działań dla różnych scenariuszy, spełniających określone warunki: Uwzględnia nieprzekraczalne czasy Minimalizuje koszty transportu Uwzględnia maksymalną przepustowość poszczególnych węzłów sieci Zarządza przepływem wielkiej liczby towarów i ludzi w zadanych okresach czasu i podokresach Zbudowany model uwzględnił 7 milionów zmiennych decyzyjnych i 1 milion warunków ograniczających Czas obliczania optymalnego planu przerósł oczekiwania Departamentu Obrony (DOD)
PODSUMOWANIE Zaawansowane metody analityczne wymagają danych uprzednio zintegrowanych, aktualnych i wysokiej jakości Nawet zintegrowane systemy zarządzania niekoniecznie dysponują: kompletem danych wymaganych dla zastosowania danej metody analizy Algorytmami i interfejsami pozwalającymi na wykorzystanie zaawansowanej analityki w procesie decyzyjnym