Nowe przewagi konkurencyjne - technologia, informacja, społeczność

Transkrypt

1 Seminarium Nowe przewagi konkurencyjne - technologia, informacja, społeczność Bogna Zacny Warszawa,

2 Zespół Wydział Informatyki i Komunikacji Katedra Inżynierii Wiedzy Agata Berdowska Krzysztof Kania Tomasz Staś Bogna Zacny

3 WYKORZYSTANIE INFORMACJI W KREOWANIU PRZEWAGI KONKURENCYJNEJ

4 Agenda Wykorzystanie informacji w kreowaniu przewagi konkurencyjnej gospodarka oparta na wiedzy informacja jako źródło przewagi konkurencyjnej Big Data

5 Dane, informacja i wiedza Dane reprezentacja obiektów świata zewnętrznego, dobranych w celu zapamiętania faktów, zdarzeń, prawidłowości. Przedstawionych w sformalizowanej postaci, umożliwiającej przekazywanie i dokonywanie na nich różnorodnych czynności przetwarzania

6 Dane, informacja i wiedza Informacja (teoria jakościowa) oznacza znaczenie, treści jakie przy zastosowaniu odpowiedniej konwencji przyporządkowuje się danym. Informacja ustala znaczenie danych w relacji do wyspecyfikowanego kontekstu działania lub wypowiedzi

7 Dane, informacja i wiedza Wiedza wykracza poza informacje, gdyż implikuje zdolność do rozwiązywania problemów, do inteligentnego zachowania i działania. To usystematyzowana informacja, będąca wynikiem celowego nagromadzenia lub wypadkową doświadczeń w odniesieniu do poszczególnych obszarów działalności.

8 Dane, informacja i wiedza Dane Informacja Wiedza Fakty, liczby, tekst Znajomość rzeczy Zdolność do efektywnego działania

9 Gospodarka oparta na wiedzy Gospodarka Oparta na Wiedzy (Knowledge Based Economy) Nowa gospodarka (New Economy), Gospodarka cyfrowa (Digital Economy) Gospodarka sieciowa (Network Economy)

10 Gospodarka oparta na wiedzy Podstawowe znaczenie we współczesnej gospodarce odgrywają nie tylko czynniki materialne (hardware, zasoby finansowe), jak to było do tej pory, ale w coraz większym stopniu wiedza. Wiedza: kodyfikowana niekodyfikowana Paul Michael Romer

11 Rodzaje wiedzy Wiedza ukryta (Tacit) Wiedza z doświadczenia Wiedza przejawiająca się w zastosowaniu Wiedza analogowa (praktyka) Przykład: Umiejętności manualne Wiedza jawna (Explicit) Wiedza z wnioskowania Wiedza którą można wyrazić Wiedza cyfrowa (teoria) Przykład: Formuła matematyczna

12 Zarządzanie wiedzą cechy wiedzy Cechy odróżniające wiedzę od innych zasobów (Alvin Toffler) Dominacja - wiedza zajmuje priorytetowe miejsce wśród pozostałych zasobów, ma ona strategiczne znaczenie dla funkcjonowania każdego przedsiębiorstwa; Niewyczerpalność - oznacza to, że wartość zasobów wiedzy nie zmniejsza się gdy jest przekazywana;

13 Zarządzanie wiedzą cechy wiedzy Symultaniczność - wiedza może być w tym samym czasie wykorzystywana przez wiele osób, w wielu miejscach jednocześnie; Nieliniowość - brak jednoznacznej korelacji pomiędzy wielkością zasobów wiedzy a korzyściami z tego faktu wynikającymi. Posiadanie dużych zasobów wiedzy nie decyduje bezpośrednio o przewadze konkurencyjnej.

14 Zarządzanie wiedzą Zarządzanie wiedzą to ogół procesów umożliwiających: tworzenie, upowszechnianie, wykorzystywanie wiedzy do realizacji celów organizacji.

15 Fazy modelu procesowego Pozyskiwanie Adaptacja Tworzenie Nabywanie wiedzy Gromadze nie wiedzy Przechowywani Kodyfikacja Wykorzysta nie wiedzy Wizja Technologie Produkty/usługi Dzielenie się wiedzą Transmisja Absorpcja

16 Big Data cechy Jedną z charakterystyk, jest zaproponowany przez Doug a Laney a z firmy Gartner w 2001 roku, model 3V Variety Volume Velocity

17 Big Data cechy Volume (objętość), który oznacza gigantyczny przyrost danych w bardzo szybkim tempie.

18 Big Data cechy Velocity (szybkość przetwarzania), rozumiana jako szybkość napływu danych. Ciągły napływ danych jest nazywany strumieniowym. Jakakolwiek interakcja lub przeanalizowanie danych napływających strumieniowo w czasie rzeczywistym wymaga ogromnej mocy obliczeniowej. Taką moc udostępniają nowe rozwiązania technologiczne na przykład farmy serwerów czy chmury obliczeniowe

19 Big Data cechy Variety (różnorodność), oznaczająca, iż zgromadzone dane zostały uzyskane z wielu różnych źródeł i są zapisywane w różnych formatach o niejednorodnej strukturze. Dane posiadające określony typ i format to dane strukturalne (structured), dane które posiadają tylko elementy struktury wewnętrznej nazywane są semistrukturalnymi (semi-struktured) oraz dane nie posiadające żadnej struktury noszą miano niestrukturalnych (unstructured).

20 Big Data cechy Firma IBM, która oprócz atrybutów wymienionych w modelu 3V dodatkowo uwzględniła cechę Veracity czyli wiarygodność. Atrybut ten oznacza konieczność weryfikacji pozyskiwanych danych. Należy uwzględnić fakt, że dane umieszczane w Internecie przez użytkowników nie zawsze są prawdziwe, co w konsekwencji wpłynie na nieprawdziwość wysuniętych wniosków.

21 Big Data cechy Istnieje również model 5V z atrybutem Value (wartość), ponieważ przetwarzanie BIG Data zmierza w swej istocie do uzyskania pewnej wartości - takiej wyjątkowej i nieznanej wcześniej wiedzy która zostaje wydobyta poprzez analizę dużych i złożonych danych i która może być wykorzystana do osiągnięcia jakiejś korzyści.

22 Co może być taką wartością? Dzięki możliwości automatycznego monitorowania treści opinii internautów w serwisach społecznościowych, automatycznej analizy treści e- maili, blogów ogłoszeń, ocen klientów pozostawianych na portalach aukcyjnych i w serwisach porównujących ceny itp., śledzenia przedmiotów włączonych w Internet Rzeczy, przedsiębiorcy wzbogacą swą wiedzę na temat:

23 Co może być taką wartością? postrzegania ich produktów, usług, organizacji przez klientów, opinii klientów na temat kampanii reklamowych i sponsorskich, reakcji klientów i kontrahentów na nowe produkty lub zmiany w produkowanym asortymencie, oczekiwań klientów co do rozwoju i kierunków doskonalenia produktów firmy, opinii kontrahentów na temat organizacji, interakcji pomiędzy kontrahentami.

24 Skąd bierze się wartość w BD? Jednym z podstawowych sposobów odnajdowania zależności pomiędzy zjawiskami oraz opisu rzeczywistości są metody drążenia danych (Data Mining).

25 Drążenia danych automatyczne odkrywanie nietrywialnych, dotychczas nieznanych, zależności, związków, podobieństw lub trendów - ogólnie nazywanych wzorcami (patterns) - w dużych repozytoriach danych.

26 Drążenia danych Statystyka Data Mining Uczenie maszynowe AI Bazy danych

27 Zadania drążenia danych Regresja Analiza wariancji Regresja prosta Analiza dyskryminacji Regresja logistyczna

28 Zadania drążenia danych Redukcja wymiaru cech analiza czynnikowa (analiza składowych głównych), skalowanie wielowymiarowe, analiza korespondencji analiza skupień. Grupowanie Hierarchiczne Niehierarchiczne (iteracyjno-optymalizacyjne)

29 Zadania drążenia danych Klasyfikacja Drzewa klasyfikacyjne i regresyjne Algorytmy reguł decyzyjnych Sztuczne sieci neuronowe Asocjacja Analiza koszykowa Analiza wzorców sekwencji

30 Analiza regresji Zbiór metod wykorzystywany do: oceny oczekiwanej wartości zmiennej y w oparciu o wartości zmiennych objaśniających X, oceny współczynników b, oceny poprawności i dopasowania modelu (funkcji regresji). y zmienna ilościowa, x 1, x 2,, x k zmienne ilościowe lub jakościowe.

31 Zmienna y Gdy zmienna y nie jest zmienną ilościową nie można stosować metod regresji liniowej.

32 Analiza dyskryminacji Metoda regresji stosowana gdy zmienna objaśniana (y) jest zmienną nominalną. Analiza funkcji dyskryminacyjnej jest stosowana do rozstrzygania, które zmienne pozwalają w najlepszy sposób dzielić dany zbiór przypadków na występujące w naturalny sposób grupy.

33 Regresja logistyczna Metoda regresji stosowana gdy zmienna objaśniana (y) jest zmienną binarną Cecha jest zmierzona na skali dychotomicznej (przyjmuje tylko dwie wartości).

34 Redukcja wymiaru cech Istotą metod redukcji wymiaru cech jest fakt istnienia silnej korelacji pomiędzy zmiennymi, które w rzeczywistości mogą mierzyć to samo zjawisko tylko z różnych punktów widzenia.

35 Redukcja wymiaru cech Celem metod redukcji wymiaru jest: zmniejszenie liczby elementów opisujących, wyeliminowania ze zbioru danych zmiennych silnie (funkcyjnie) zależnych od innych cech wybranych do budowy modelu, stworzenie struktury pozwalającej na przejrzystą interpretację zmiennych ukrytych.

36 Metody redukcji wymiaru Wyróżnia się wiele metod redukcji wymiaru przestrzeni cech: analiza czynnikowa (analiza składowych głównych), skalowanie wielowymiarowe, analiza korespondencji analiza skupień grupowanie cech.

37 Analiza czynnikowa pozwala na zidentyfikowanie nieskorelownych liniowych kombinacji zmiennych, użytych do celów budowy modelu gdzie każda zmienna jest wyjaśniana przez czynniki.

38 Skalowanie wielowymiarowe W analizie czynnikowej podobieństwa między obiektami (np. zmiennymi) są wyrażone w postaci macierzy korelacji. Przy pomocy skalowania wielowymiarowego oprócz macierzy korelacji, można analizować dowolny rodzaj macierzy podobieństwa lub odmienności. Zmierza do uporządkowania "obiektów" w przestrzeni o danej liczbie wymiarów, tak aby odtworzyć zaobserwowane odległości.

39 Analiza korespondencji Technika analizy tablic dwudzielczych i wielodzielczych, zawierających pewne miary charakteryzujące powiązanie między kolumnami i wierszami.

40 Grupowanie Grupowanie obiektów polega na znajdowaniu skończonego zbioru klas (podzbiorów) w bazie danych. Celem grupowania jest podział zbioru na stosunkowo homogeniczne (jednorodne, zgodne) grupy (klasy) zwane klastrami (skupieniami) różniące się względem siebie.

41 Grupowanie - zastosowania określanie segmentów rynku na podstawie cech klientów, redukcja wymiaru przestrzeni cech na te decydujące o zmienności zjawiska.

42 Drzewa klasyfikacyjne i regresyjne Metody regresji wymagają spełnienia wielu rygorystycznych założeń. Jeżeli wymogi teoretyczne i założenia dotyczące rozkładów oczekiwane przez metody tradycyjne nie są spełnione zalecana jest analiza przy pomocy drzew klasyfikacyjnych i regresyjnych. y zmienna jakościowa drzewa klasyfikacyjne y zmienna ilościowa drzewa regresyjne

43 Klasyfikacja Znajdowanie odwzorowywania danych w zbiór predefiniowanych klas (podzbiorów). Celem klasyfikacji jest budowa modelu (klasyfikatora) który służy do klasyfikowania nowych obiektów w bazie danych lub głębszego zrozumienia istniejącego podziału obiektów na predefiniowane klasy

44 Klasyfikacja Baza danych zawiera obiekty opisane atrybutami (cechami nazywanymi deskryptorami), z których jeden jest atrybutem decyzyjnym Wartości atrybutu decyzyjnego dzielą zbiór krotek na predefiniowane klasy, składające sie z krotek o tej samej wartości atrybutu decyzyjnego

45 Klasyfikacja - zastosowania identyfikacja cech kredytobiorców wiarygodnych i niewiarygodnych, analiza churn.

46 Odkrywanie reguł asocjacji odkrywanie asocjacji pomiędzy atrybutami, analiza podobieństwa - wspólnego występowania, analiza koszyka sklepowego (koszykowa),

47 Reguły asocjacji - zastosowania odkrycie grup objawów wskazujących określoną chorobę budowa modelu wspomagającego decyzję lekarza, odkrycie grup produktów kupowanych podczas jednej transakcji promocje cenowe.

48 Odkrywanie wzorców sekwencji - zastosowania odkrycie grup produktów kupowanych podczas kolejnych transakcji, przewidywanie sprzedaży.

49 Technologie Big Data Przetwarzanie ogromnych zbiorów danych wymaga nie tylko odpowiednich metod, ale również stosownej infrastruktury. Najczęściej aby można było przeprowadzić takie analizy jak te, opisane wyżej potrzebne są potężne komputery oraz wielkie zasoby pamięci i przestrzeni dyskowej.

50 Technologie Big Data W przetwarzania BIG DATA stosuje się obecnie m.in. takie technologie jak: chmura obliczeniowa (cloud computing), platforma Hadoop, bazy danych następnej generacji - NoSQL, narzędzia do wizualizacji

51 Chmura obliczeniowa Chmura obliczeniowa jest to platforma, która zawiera zarówno sprzęt informatyczny (serwerownie) jak i oprogramowanie udostępniane przez Internet. Moc obliczeniowa chmury może być dowolnie zwiększana, odpowiednio do potrzeb użytkownika.

52 Chmura obliczeniowa

53 Chmura obliczeniowa

54 Platforma Hadoop Platforma Apache Hadoop jest biblioteką programów umożliwiających analizę BIG DATA z dużych rozproszonych zbiorów danych strukturalnych i niestrukturalnych. Oferuje gromadzenie i przetwarzanie danych realizowane przy pomocy nawet do 1000 połączonych serwerów.

55 Platforma Hadoop Elementy składowe Apache Hadoop to: Hadoop Common wspólne narzędzia, które umożliwiają rozwijanie innych modułów Hadoop; Hadoop Distributed File System (HDFS) jego zadaniem jest przechowywanie i zarządzanie plikami na rozproszonych komputerach i zapewnianie wysokiej przepustowości pomiędzy danymi; Hadoop YARN realizuje zarządzanie zasobami i obliczeniami w klastrach oraz tworzy harmonogramy zadań użytkowników;

56 Platforma Hadoop Hadoop MapReduce jest to program pozwalający tworzyć aplikacje do przetwarzania ogromnych ilości danych równolegle na wielu klastrach oraz mechanizm, umożliwiający podział zbioru danych na mniejsze kawałki, które później są analizowane oddzielnie, ale równolegle, a następnie łączący ze sobą otrzymane wyniki.

57 Bazy danych NoSQL Tradycyjne bazy danych w których posługujemy się językiem SQL mają swoje ograniczenia działają na danych ustrukturalizowanych. Przetwarzanie danych różnorodnych wymagało przygotowanie nowych mechanizmów, które właśnie dla odróżnienia od tradycyjnej technologii nazwano NoSQL, co oznacza nie tylko SQL.

58 Bazy danych NoSQL NoSQL skupia się wokół koncepcji rozproszonych baz danych, gdzie dane niestrukturalne mogą być składowane w wielu węzłach przetwarzania. Rozproszona architektura pozwala na skalowanie (powiększanie) poziome bazy danych NoSQL, czyli w sytuacji gwałtownego przyrostu danych można dodać dodatkowe węzły, dzięki czemu przetwarzanie danych nie zostaje spowolnione.

59 DZIĘKUJĘ ZA UWAGĘ

60 Źródła Gołuchowski J. [red.nauk] (2011) Wprowadzenie do inżynierii wiedzy. Podręcznik akademicki, Difin SA, Warszawa. K. Porwit, Cechy gospodarki opartej na wiedzy, [w:] A. Kukliński (red.) (2001) Gospodarka oparta na wiedzy. Wyzwanie dla Polski XXI wieku, Komitet Badań Naukowych, Warszawa. E. Dyson, G. Gilder, G. Keyworth, A. Toffler (1994) Cyberspace and the American Dream: A Magna Carta for the Knowledge Age. In: Future Insight 1.2. The Progress & Freedom Foundation. M. Tabakow, J. Korczak, B. Franczyk, (2014) BIG DATA Definicje, wyzwania i technologie informatyczne, [w:] INFORMATYKA EKONOMICZNA BUSINESS INFORMATICS 1(31),ISSN Controlling-Data-Volume-Velocity-and-Variety.pdf

61