ZASOBY INFORMACYJNE - INACZEJ

Transkrypt

1 ZASOBY INFORMACYJNE - INACZEJ ADAM BARTOS, SAS POLSKA WYKORZYSTANIE RÓŻNYCH ŹRÓDEŁ INFORMACJI NA POTRZEBY ZARZĄDZANIA KRYZYSOWEGO. KONWERSATORIUM 14 KWIETNIA 2014 R.

2 PORUSZANE ZAGADNIENIA Dane niestrukturalne i techniczne możliwości ich wykorzystania Zintegrowane dane fundamentem dla metod zaawansowanej analityk

3 DANE NIESTRUKTURALNE ŹRÓDŁA Przykłady Zarejestrowane rozmowy na numery alarmowe (po konwersji voice->text) Zgłoszenia przekazane pocztą elektroniczną Media społecznościowe (Facebook, twittter) Raporty i notatki służbowe Charakterystyka Brak lub ograniczona struktura Język naturalny z wszystkimi konsekwencjami Różnorodny i zmienny kontekst utrudniający klasyfikację

4 DANE NIESTRUKTURALNE MOŻLIWOŚCI TECHNICZNE SAS TEXT ANALYTICS PORTFOLIO DOSTĘP ODKRYWANIE PORZĄDKOWANIE Crawlery Konwersja Zarządzanie danymi WYSZUKIWANIE ISTOTNYCH INFORMACJI Analizy Sentymentu Text Mining Ekstrakcja pojęć Kategoryzacja Ontologie Taksonomia Streszczenia Deduplikacja WYKORZYSTANIE UTYLIZACJA Raportowanie operacyjne Analizy predykcyjne Indeksowanie i wyszukiwanie Alerty Obszary biznesowe Gromadzenie danych Analiza danych Organizacja danych Systemy analityczno - raportowe

5 DANE NIESTRUKTURALNE NATURAL LANGUAGE PROCESSING (NLP) FUNDAMENT ANALIZY TEKSTU Parsowanie tekstu Automatyczna korekta pisowni Sprowadzenie wyrazów do formy bazowej Lista wykluczonych terminów Części mowy Synonimy Rozpoznawanie encji Oznaczanie sentymentu Janusz Paliwór PESEL , pod przykrywką Janusz wyjazdów Paliwór służbowych PESEL , (pracuje w firmie pod zajmującej przykrywką się Janusz wyjazdów projektowaniem Paliwór służbowych PESEL wnętrz), , (pracuje prawdopodobnie w firmie pod zajmującej przykrywką przewozi się Janusz wyjazdów projektowaniem narkotyki Paliwór służbowych z PESEL terenu wnętrz), Niemiec , (pracuje prawdopodobnie w Użytkuje firmie pod zajmującej telefon przykrywką przewozi o numerze się wyjazdów projektowaniem narkotyki służbowych z terenu Jeden wnętrz), Niemiec. (pracuje z pokjazdów prawdopodobnie w Użytkuje firmie ma zajmującej telefon nr przewozi rej. WD o numerze się projektowaniem narkotyki Spotyka z terenu się Jeden wnętrz), on Niemiec. często z pokjazdów prawdopodobnie również Użytkuje ma z Jakubem telefon nr przewozi rej. WD o Kowalewskim numerze narkotyki Spotyka zam. z w terenu się Kozienicach Jeden on Niemiec. często z pokjazdów również ul. Użytkuje Kwiatowa ma z Jakubem telefon nr 5. rej. WD o Kowalewskim numerze ma Spotyka zam. adres w się Kozienicach Jeden on często kowal@wp.pl. z pokjazdów ul. również Kwiatowa ma z A Jakubem jego nr 5. rej. nr WD Dowodu Kowalewskim ma Spotyka zam. adres Osobistego w się Kozienicach on często kowal@wp.pl. AD ul. również Kwiatowa z A wydany Jakubem jego 5. Kowalewski nr przez Dowodu Kowalewskim B M ma i G zam. adres Osobistego w Kozienice. Kozienicach kowal@wp.pl. to Marek AD ul Kwiatowa Nowak, A wydany jego nip Kowalewski nr przez Dowodu B M ma i G jest adres Osobistego Kozienice. również kowal@wp.pl. to kolegą Marek AD z Nowak, klasy A wydany Janusza. jego nip nr przez Dowodu B M i G jest Osobistego Kozienice. również to kolegą Marek AD z Nowak, klasy wydany Janusza. nip przez B M i G jest Kozienice. również kolegą Marek z Nowak, klasy Janusza. nip jest również kolegą z klasy Janusza.

6 DANE NIESTRUKTURALNE OBSZARY ANALIZY TEKSTU TEXT ANALYTICS KATEGORYZACJA TREŚCI ANALIZA SENTYMENTU TEXT MINING ZARZĄDZANIE ONTOLOGIĄ

7 EKSTRAKCJA INFORMACJI Janusz Paliwór PESEL , pod przykrywką wyjazdów służbowych (pracuje w firmie zajmującej się projektowaniem wnętrz), prawdopodobnie przewozi narkotyki z terenu Niemiec. Użytkuje telefon o numerze Jeden z pokjazdów ma nr rej. WD Spotyka się on często również z Jakubem Kowalewskim zam. w Kozienicach ul. Kwiatowa 5. Kowalewski ma adres kowal@wp.pl. A jego nr Dowodu Osobistego to AD wydany przez B M i G Kozienice. Marek Nowak, nip jest również kolegą z klasy Janusza.

8 Copyright 2012, SAS Institute Inc. All rights reserved. PRZYKŁAD ANALIZY SENTYMENTU

9 TEXT ANALYTICS TEXT MINING Analizy i wizualizacja Statystyki terminów, identyfikacja podobnych dokumentów Graficzna prezentacja relacji Automatyczna klasyfikacja Taksonomia - np. organizacja tematów w hierarchie Grupowanie np. identyfikacja segmentów w komentarzach z call center Modelowanie predykcyjne Jedynie tekst - np. przewidzieć nastawienie klienta po jego komentarzach Tekst i dane ustrukturyzowane - np. przewidywania przyszłych zakupów na podstawie opinii oraz danych demograficznych

10 Copyright 2012, SAS Institute Inc. All rights reserved. PRZYKŁAD HONG KONG EFFICIENCY UNIT Call centre nr pojedynczy punkt kontaktu dla przyjmowania: zgłoszeń, uwag, sugestii i skarg Corocznie przyjmuje ok. 2,5 mln rozmów telefonicznych 100 tys. i. Cel: Lepsze zrozumienie potrzeb dzwoniących obywateli Poprawa jakości usług Budowa publicznego zaufania i satysfakcji społecznej How can I apply for a vehicle licence? There is water seepage problem in my flat, can you help? Can I import an endangered species? Please remove the fallen tree. I would like to report that the streetlight near my office building went off.

11 HONG KONG EFFICIENCY UNIT ZASTOSOWANIE ANALITYKI TEKSTOWEJ Automatyczna ekstrakcja informacji ze zgłoszeń, przykłady: Nazwa restauracji, firma, nazwa ulicy, szkoła, nieruchomość etc. Wykorzystanie uzyskanej informacji o terminach i powiązaniach do: Usprawnienia wyszukiwania informacji i powiązań w różnych zgłoszeniach Wykorzystanie zagregowanej informacji o zgłoszeniach do: doskonalenia reguł klasyfikacji zgłoszeń analizy efektywności obsługi w poszczególnych departamentach identyfikacji potencjalnych obszarów usprawnień

12 HONG KONG EFFICIENCY UNIT PRZYKŁAD RAPORTU

13 HONG KONG EFFICIENCY UNIT NAJWIĘKSZA WARTOŚĆ ROZWIĄZANIA OPTYMALIZACJA DZIAŁANIA SŁUŻB Environment Protection Dept. Housing Dept. Strategy Dept.

14 OPTYMALIZACJA ZASOBÓW W PRZYPADKU NAGŁYCH INTERWENCJI SYSTEM GOLDSS (DEPARTAMENT OBRONY STANÓW ZJEDNOCZONYCH)

15 GOLDSS CELE SYSTEMU Przyspieszyć opracowywanie planów działania w sytuacjach kryzysowych mając na uwadze: Zapewnienie zrównoważenia popytu na zasoby, potrzebne w nagłych interwencjach, z zapasami armii amerykańskiej, rozlokowanymi w różnych miejscach globu ziemskiego* Uwzględnienie alternatywnych planów logistycznych Uzyskanie planu optymalnego, umożliwiającego najlepsze ze względu na ograniczenia transportowe i operacyjne - przemieszczenie dostaw * USA dysponują pełnym przeglądem lokalizacji zapasów z dokładnością do najdrobniejszej pozycji klasyfikacji Departamentu Obrony USA - DODIC (DOD Item Code)

16 GOLDSS LOGIKA SYSTEMU Op Plan Log Estimate Transportation Network Requirements (Demand) Informacje wejściowe Analizy Model optymalizacyjny Shipments (Network) Shortages (Demand Nodes) Inventory (Supply Nodes) Inventory (Supply) Mapy GIS Inter-service Supply Integracja danych Rezultaty

17 GOLDSS PRZYKŁAD - SUPER TYPHOON BABETTE Nagła interwencja Pomoc humanitarna dla poszkodowanych przez supertajfun Babette obszar środkowych Filipin Liczba zabitych Liczba poszkodowanych (bezdomnych) osób Uszkodzone lotniska, niedostępne przez 10 dni Potrzeba zapewnić pomoc humanitarną przez 30 dni (okręty wojskowe, helikoptery, pojazdy)

18 GOLDSS Jakie zapasy są dostępne? Jakie środki transportu są dostępne (helikoptery, pojazdy? Dostęp do tych informacji z Status scenariuszy działań dowolnego miejsca na świecie

19 Podaż > od popytu - DOBRZE Klikamy na AFLOAT i pojawia się następny ekran, gdzie. Copyright 2006, SAS Institute Inc. All rights reserved.

20 Copyright 2006, SAS Institute Inc. All rights reserved. widzimy, na których statkach znajduje się pozycja A059

21 tutaj planista widzi, których produktów jest za mało w stosunku do potrzeb Supply does not meet demand Copyright 2006, SAS Institute Inc. All rights reserved.

22 GOLDSS REZULTAT PROCESU OPTYMALIZACJI (PLAN DZIAŁANIA) 1 Dopasowanie potrzeb i zapasów 2 Ustalenie optymalnej lokalizacji zapasów 3 Uwzględnienie ograniczeń transportowych i kosztowych 4 Ustalenie punktów transportowych 5 Prezentacja tras transportowych na mapie Transportation Data Points Drafts and speeds of ships Depths of channels, lengths of piers Distances/transit times bet. nodes Lift capacities Node throughput Net explosive weight capacities

23 GOLDSS CO POTRAFI OPTYMALIZATOR Wspomaga tworzenie, badanie i ocenę ciągu działań dla różnych scenariuszy, spełniających określone warunki: Uwzględnia nieprzekraczalne czasy Minimalizuje koszty transportu Uwzględnia maksymalną przepustowość poszczególnych węzłów sieci Zarządza przepływem wielkiej liczby towarów i ludzi w zadanych okresach czasu i podokresach Zbudowany model uwzględnił 7 milionów zmiennych decyzyjnych i 1 milion warunków ograniczających Czas obliczania optymalnego planu przerósł oczekiwania Departamentu Obrony (DOD)

24 PODSUMOWANIE Zaawansowane metody analityczne wymagają danych uprzednio zintegrowanych, aktualnych i wysokiej jakości Nawet zintegrowane systemy zarządzania niekoniecznie dysponują: kompletem danych wymaganych dla zastosowania danej metody analizy Algorytmami i interfejsami pozwalającymi na wykorzystanie zaawansowanej analityki w procesie decyzyjnym