MODELE BIG DATA WE WSPOMAGANIU DECYZJI BIZNESOWYCH OPIEKUN NAUKOWY: dr hab. inż. Tadeusz A. Grzeszczyk mgr Agnieszka Kucharska Wydział Zarządzania
2 STRUKTURA PREZENTACJI Definicja i zadania Big Data Trzy aspekty wykorzystania Big Data Proponowany kierunek badań
eksabajty 3 GENEZA ŚWIATOWY WZROST ILOŚCI DANYCH Źródło: Digital Universe. IDC, 2012 dane ustrukturyzowane dane nieustrukturyzowane
DEFINICJA I ZADANIA BIG DATA 4
5 PRZEGLĄD DEFINICJI Big Data jako duże dane do analizowania, których liczbę należy maksymalizować w celu wydobycia wartości informacyjnych [Cox, Ellsworth 1997]. Big Data to duża liczba danych, która wymaga zastosowania nowych technologii i architektur, tak by była możliwa ekstrakcja wartości płynącej z tych danych poprzez uchwycenie i analizę procesu, to sentencja, jaką przedstawiają autorzy publikacji [Katal i in. 2013]. Big Data jako termin oznaczający zbiory danych, którymi nie można zarządzać za pomocą obecnych metod eksploracji lub narzędzi programowych ze względu na duży rozmiar i złożoność danych [Fan, Bifet 2012]. SAS definiuje Big Data jako tendencje do poszukiwania i wykorzystania wartości biznesowej drzemiącej w dostępnych, coraz większych wolumenach danych, które charakteryzują się dużą zmiennością i złożonością [www.sas.com].
6 WYKORZYSTYWANE WARIANTY MODELU Model 3V [Gartner, 2001]. Big Data charakteryzują atrybuty: objętość (volume), różnorodność (variety), szybkość przetwarzania (velocity). Modele: 4V, 5V,, nv (od ok. 2012), dodatkowe atrybuty: wiarygodność (veracity), zmienność (variability), wartość (value), weryfikacja (verification), widoczność (visibility), itd.
7 MODEL ZINTEGROWANY Big Data to określenie stosowane dla takich zbiorów danych, które jednocześnie charakteryzują się: dużą objętością (volume), różnorodnością (variety), strumieniowym napływem w czasie rzeczywistym (velocity; real-time data streaming), zmiennością (variability), złożonością (complexity), jak również wymagają zastosowania innowacyjnych technologii, narzędzi i metod informatycznych w celu wydobycia z nich nowej i użytecznej wiedzy. Na podstawie: Tabakow, M.; Korczak, J.; Franczyk, B.: Big Data definicje, wyzwania i technologie informatyczne, 2014
8 ZADANIE - WSPIERANIE DECYZJI ZARZĄDCZYCH Możliwość przetwarzania: 1. W czasie zbliżonym do rzeczywistego 2. Danych słabo ustrukturyzowanych 3. Bliżej źródła danych
TRZY ASPEKTY WYKORZYSTANIA BIG DATA 9
10 ASPEKTY STOSOWANIA BIG DATA Trzy podstawowe aspekty [Wieczorkowski 2014]: technologiczny (technologia informatyczna i metody analityczne) ekonomiczny (zastosowanie koncepcji) społeczny (konsekwencje zastosowań) Ekonomiczny Technologiczny Społeczny
11 ASPEKT TECHNOLOGICZNY MapReduce - system przeznaczony dla tworzenia aplikacji działających jednocześnie na tysiącach komputerów. Zaleta: umożliwienie łatwego rozproszenia operacji jeśli każda z operacji map jest niezależna od pozostałych, może być ona realizowana na osobnym serwerze; Apache Hadoop to zestaw oprogramowania typu open-source, które umożliwia przetwarzane rozproszone dużych zestawów danych w klastrach serwerów [Venner 2009]; NoSQL korzyści: poprawa zrozumienia danych, możliwość gromadzenia danych niestrukturalnych, skalowalność i elastyczność bazy oraz potencjalna możliwość tworzenia unikalnych modeli biznesowych opartych na wielu danych, których wcześniej nie można było uwzględnić w analizach; ELT wykorzystywano model ETL (Extract, Transform and Load) - model ELT (Extract, Load, Transform and Load) pozwala na prześledzenie historii danych aż do źródła, dzięki przechowywaniu danych surowych, co w dalszej mierze pozwala na zaobserwowanie unikalnych zależności i powiązań, co dotychczas nie było możliwe.
12 ASPEKT EKONOMICZNY Menedżerowie uważają, że wykorzystanie Big Data obniży koszty i zwiększy efektywność czyli poprawi wyniki o średnio o 41% w ciągu 3 lat, a do tej pory poprawiło już o 26%. Teraz 3 lata 64% Tak 25% Nie, ale planujemy to zrobić Źródło: The Deciding Factor: Big Data & Decision Making, The Economist Intelligence Unit, 2012 11% Nie Średnia Pytanie: W przybliżeniu do jakiego stopnia wierzysz, że wykorzystanie Big Data poprawiło ogólny wynik przedsiębiorstwa, a o ile poprawi w ciągu najbliższych trzech lat?
13 ASPEKT SPOŁECZNY Czy Big Data zmieniło podejmowanie decyzji w twojej organizacji? 64% - Tak; 25% - Nie, ale planujemy to wdrożyć w ciągu 2 lat; 11% - Nie i nie planujemy (albo Nie wiem). Źródło: Guts & gigabytes. The Economist Intelligence Unit, 2014 64% Tak 25% Nie, ale planujemy to wdrożyć 11% Nie
14 ZAKRES WSPIERANIA DECYZJI nie wiemy, czego nie wiemy wiemy, czego nie wiemy TYP WSPIERANIA DECYZJI 55%/59%*-58%** - wspieranie podejmowania decyzji 25%*-29%** - automatyzacja decyzji Źródła: * Big Data Analytics. Towards a Data-Driven Economy. 2014.** The Deciding Factor: Big Data & Decision Making,, 2012.
15 STUDIUM PRZYPADKU: FORD Na koniec 2006 r. 12,6 mld $ straty 2009 r. 2,7 mld $ zysku i 2,3 mln sprzedanych samochodów Przykłady wykorzystania Big Data: 1. Sieci społecznościowe i blogosfera np. text-mining (przykładowa decyzja: Zainstalować standardową czy automatyczną klapę bagażnika?) 2. Sensory np. 74 sensory generujące 25 GB/h; samochody testowe generują do 250 GB/h; (przykładowa decyzja: wysokość dachu, typ koła itp.) 3. Połączenie, w tym: Inteligentny System Zarządzania; dane operacyjne, np. sprzedaży; zewnętrzne, np. Google Trends, (przykładowa decyzja: Który model samochodu będzie optymalny dla X? model składa się z tryliarda kombinacji elementów składowych)
PROPONOWANY KIERUNEK BADAŃ 16
17 PODSUMOWANIE - PROPONOWANY KIERUNEK BADAŃ Wykorzystanie Big Data w: 1. podejmowaniu decyzji biznesowych: Czy w Polsce wykorzystanie Big Data jest równie pożądane jak wynika ze światowych statystyk? Czy i co ogranicza wdrożenia Big Data w Polsce?
18 ŹRÓDŁA 1. Tabakow, M.; Korczak, J.; Franczyk, B.: Big Data definicje, wyzwania i technologie informatyczne. Informatyka Ekonomiczna, 2014, 1 (31), s. 138-153. 2. The Deciding Factor: Big Data & Decision Making [online]. The Economist Intelligence Unit, 2012 [dostęp 20 października 2014]. Dostępny w Internecie: www.capgemini.com/thought-leadership/the-deciding-factor-big-data-decision-making 3. Wieczorkowski, J.: Big Data-aspekt technologiczny i ekonomiczny vs. aspekt społeczny. Zeszyty Naukowe Uniwersytetu Szczecińskiego. Ekonomiczne Problemy Usług, 2014, 113, T. 2 Ekonomiczno-społeczne i techniczne wartości w gospodarce opartej na wiedzy, s. 399-408. 4. Płoszajski, P.: Big Data: nowe źródło przewag i wzrostu firm. e-mentor nr 3 (50), s. 5-10. 5. Big data: Harnessing a game-changing asset [online]. The Economist Intelligence Unit, 2011 [dostęp 5 października 2015]. Dostępny w Internecie: www.sas.com/resources/asset/sas_bigdata_final.pdf 6. Manyika, J., Chui, M., Brown, B., Bughin, J., Dobbs, R., Roxburgh, C., & Byers, A. H.: Big data: The next frontier for innovation, competition, and productivity. McKinsey Global Institute, 2011. cdn.
19 ŹRÓDŁA CD. 8. Guts & gigabytes [online]. The Economist Intelligence Unit, 2014 [dostęp 10 listopada 2015]. Dostępny w Internecie: http://www.pwc.co.nz/pwc.nz/media/pdf-documents/publications/eiu-big-decisions-nz-report-final.pdf 9. Miller, K.; Morreale, P.: Finding the Needle in the Image Stack: Performance Metrics for Big Data Image Analysis. MultiMedia, IEEE, 2014, 21(1), s. 84-89. 10. Data and Organizational Issues Reduce Confidence. Harvard Business Review Analytic Services, 2013. 11. Decisive action: How businesses make decisions and how they could do it better [online]. The Economist Intelligence Unit, 2014 [dostęp 10 listopada 2015]. Dostępny w Internecie: http://www.economistinsights.com/technology-innovation/analysis/decisive-action 12. The new hero of big data and analytics The Chief Data Officer [online]. IBM Institute for Business Value, 2014 [dostęp 29 grudnia 2015]. Dostępny w Internecie: http://www-07.ibm.com/au/pdf/gbe03607usen9.pdf 13. Mehta, A.: Big Data: Powering the Next Industrial Revolution. Tableau Software White Paper, 2011. 14. Big Data Analytics. Towards a Data-Driven Economy [online]. BARC Institute, Würzburg, May 2014 [dostęp 29 grudnia 2015]. Dostępny w Internecie: http://barc-research.com/wp-content/uploads/2014/06/barc-big-data-analytics-2014-en.pdf 15. Gantz, J.; Reinsel, D.: The digital universe in 2020: Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East. Dec., 2012. 16. Yoshimura, Y.; Girardin, F.; Carrascal, J.P.; Carlo Ratti, Josep Blat: New Tools for Studying Visitor Behaviours in Museums: A Case Study at the Louvre. Information and Communication Technologies in Tourism 2012, pp 391-402. 17.
20 Dziękuję za uwagę! mgr Agnieszka Kucharska A.Kucharska@wz.pw.edu.pl