Data economy gospodarka oparta na danych

Transkrypt

1 Data economy gospodarka oparta na danych

2 DATA ECONOMY GOSPODARKA OPARTA NA DANYCH Marcin Nadolny Współpraca merytoryczna: Dominik Batorski Mikołaj Hnatiuk Aleksandra Leyk PROJEKT WSPÓŁFINANSOWANY ZE ŚRODKÓW UNII EUROPEJSKIEJ W RAMACH EUROPEJSKIEGO FUNDUSZU SPOŁECZNEGO

3 Publikacja przygotowana i wydana w ramach projektu badawczego pt. Trendy rozwojowe i zmiany gospodarcze w regionie Projekt realizowany na podstawie umowy Nr UDA-POKL /10-00 o dofinansowanie Projektu Trendy rozwojowe i zmiany gospodarcze w regionie w ramach Programu Operacyjnego Kapitał Ludzki, Priorytetu VIII. Regionalne kadry gospodarki, Działania 8.1. Rozwój pracowników i przedsiębiorstw w regionie, Poddziałania Wsparcie procesów adaptacyjnych i modernizacyjnych w regionie, współfinansowanego ze środków Europejskiego Funduszu Społecznego, zawartej w dniu r. pomiędzy Województwem Mazowieckim, w imieniu którego działa Mazowiecka Jednostka Wdrażania Programów Unijnych, a firmą MGG Conferences Sp. z o.o. Koordynator projektu: Danuta Bluj, MGG Conferences Sp. z o.o. Kierownik merytoryczny zespołu badawczego: Dominik Batorski, Uniwersytet Warszawski ICM Tytuł publikacji: Data economy gospodarka oparta na danych Autor: Marcin Nadolny Współpraca merytoryczna: Dominik Batorski, Mikołaj Hnatiuk, Aleksandra Leyk Redakcja naukowa: Dominik Batorski, Uniwersytet Warszawski ICM Redakcja językowa: Elżbieta Michalak Projekt graficzny, szablon wydawniczy: Marta Gierych Skład i przygotowanie do druku: detep Maria Jakubowska, Copyright by Mazowiecka Jednostka Wdrażania Programów Unijnych ISBN: Uznanie autorstwa-użycie niekomercyjne-bez utworów zależnych 3.0 Polska Wydawca: MGG Conferences Sp. z o.o., ul. Rakowiecka 43a m. 6, Warszawa

4 SŁOWO WSTĘPNE Polska w ostatnich dwóch dekadach doświadczyła głębokich zmian społeczno-gospodarczych. O ich dynamice i kierunku zadecydowało kilka czynników. W latach dziewięćdziesiątych XX wieku kluczową rolę odegrały transformacja ustrojowa i rozwój gospodarki rynkowej. W ostatnim czasie istotne znaczenie zyskał proces integracji europejskiej dołączenie Polski do wspólnego rynku oraz napływ funduszy europejskich. Niebagatelny wpływ na sytuację gospodarczą kraju ma także otwarcie europejskiego rynku pracy dla Polaków, które wywołało silną falę emigracji zarobkowej. Coraz istotniejszym czynnikiem zmian staje się postępujący rozwój i upowszechnienie nowych technologii informacyjno-komunikacyjnych. Odmiennie niż w przypadku akcesji do Unii Europejskiej zmian tych nie wywołuje żadne pojedyncze wydarzenie. Są one związane z wprowadzaniem w życie zaawansowanych rozwiązań technicznych i mają bardzo subtelny charakter. Warto podać kilka przykładów zmian, jakie pociągają za sobą te rozwiązania. I tak nowe technologie przeprofilowują zapotrzebowania na kompetencje na rynku pracy. Cenione jeszcze do niedawna umiejętności tracą na wartości, a w ich miejsce pojawiają się inne, znacznie bardziej pożądane i cenne. Łatwiejszy przepływ informacji, a także obniżenie kosztów komunikacji i transportu na większe odległości przyczyniają się do zwiększenia zasięgu konkurencyjności firmy lokalne coraz częściej rywalizują z firmami z innych krajów, i to zarówno na rynkach regionalnych, jak i wychodząc na rynek globalny. Nowe technologie przyczyniają się do zmian w zakresie organizacji pracy. Wymuszają także tworzenie nowych modeli biznesowych. Zwiększająca się liczba produktów w postaci cyfrowej (m.in. treści, oprogramowanie), w połączeniu z łatwością ich kopiowania, sprawia, że coraz trudniej jest sprzedawać te dobra w formie konfekcjonowanej na nośnikach fizycznych. Tę formę obrotu wypierają modele oparte na sprzedaży usług (np. SaaS oprogramowanie jako usługa). Jako usługa oferowane zaczyna być nie tylko oprogramowanie, widoczne jest to również w przypadku sprzętu (np. leasing). Technologie informacyjno-komunikacyjne doprowadziły do epokowych przemian w komunikowaniu się, dając możliwość upowszechniania informacji bez pośrednictwa tradycyjnych mediów, a także wymiany informacji i komunikacji dwukierunkowej. Dzięki Internetowi firmy mogą tworzyć własne kanały komunikacji, skierowane bezpośrednio do obecnych i przyszłych klientów. Ten potencjał porozumiewania się każdego z każdym prowadzi też do innego zjawiska, a mianowicie malejącej roli pośredników. Doskonale ilustruje to rynek książki, gdzie sprzedaż elektroniczna szybko zyskuje kosztem tradycyjnych księgarni. Rośnie też liczba tytułów publikowanych w modelu self-publishing, bez udziału klasycznych wydawców. Podobnie tracą znaczenie pośrednicy instytucjonalni na przykład pośrednictwo pracy w coraz większym stopniu opiera się na wykorzystaniu Internetu, ograniczając tym samym rolę urzędów pracy. Zasygnalizowane przykłady zmian to tylko niewielki fragment złożonego i zmieniającego się dynamicznie kontekstu funkcjonowania firm, instytucji i organizacji oraz sposobu, w jaki mogą one

5 działać. Zmieniający się świat wymaga od działających w nim podmiotów wysokich zdolności adaptacyjnych. Jednym z najważniejszych narzędzi umożliwiających skuteczną adaptację jest niewątpliwie zrozumienie istoty zachodzących procesów. Do tej pory brakowało usystematyzowanej wiedzy o roli technologii informacyjno-komunikacyjnych w przemianach społeczno-gospodarczych w Polsce. Lukę tę wypełnia seria opracowań powstałych w wyniku projektu Trendy rozwojowe i zmiany gospodarcze w regionie, zrealizowanego w ramach poddziałania Wsparcie procesów adaptacyjnych i modernizacyjnych w regionie Programu Operacyjnego Kapitał Ludzki. Celem projektu było usystematyzowanie wiedzy i wielu rozproszonych badań na temat wpływu rozwoju i upowszechnienia technologii informacyjno-komunikacyjnych na zmiany społeczno-gospodarcze. Tak powstała seria kilkunastu raportów tematycznych. Raporty zawierają zarówno analizy o charakterze diagnostycznym, jak i elementy prognostyczne, wskazujące już teraz na widoczne zjawiska i procesy, które w niedalekiej przyszłości mogą wydatnie zyskać na popularności i znaczeniu. Opracowania zawierają też rekomendacje dla różnego rodzaju podmiotów firm, urzędów i organizacji. Projekt realizowany jest w województwie mazowieckim i koncentruje się na tym regionie. Niemniej jednak autorzy często analizują dane dotyczące całej Polski, a także innych krajów. Jest to uzasadnione, ponieważ analizowane trendy mają bardziej ogólny, ponadregionalny charakter. Niniejsze opracowanie podkreśla znaczenie gromadzenia i przetwarzania danych w działalności firm, a także instytucji publicznych. Nowe technologie przyczyniają się do szybkiego wzrostu ilości wytwarzanych i gromadzonych informacji, jak również do zwiększenia możliwości ich przetwarzania. Coraz częściej dane stają się źródłem wartości ekonomicznej i przewagi konkurencyjnej. Doskonale pokazuje to raport przygotowany przez Marcina Nadolnego. Autor zwraca też uwagę na najważniejsze zagadnienia związane ze zbieraniem i analizowaniem danych oraz z możliwościami ich wykorzystania w różnych obszarach. Dodatkowo opracowanie pokazuje stan zaawansowania analityki danych w Polsce i województwie mazowieckim. Dominik Batorski kierownik merytoryczny projektu

6 SPIS TREŚCI 1. Wprowadzenie: działanie oparte na danych 6 2. Obszary danych gromadzonych przez przedsiębiorstwa Jakość gromadzonych danych: historia, teraźniejszość, przyszłość Wykorzystanie zgromadzonych danych Elementy niezbędne do zbudowania przedsiębiorstwa opartego na wiedzy Dane Systemy Know-how i zasoby Zaawansowanie metodologiczne i technologiczne: wiodące branże Możliwości wykorzystania rozwiązań opartych na zaawansowanej analizie danych przez instytucje publiczne Dane publiczne: otwartość danych i możliwości powtórnego ich wykorzystania Otwarte dane publiczne Użyteczność otwartych danych dla obywateli Użyteczność otwartych danych dla biznesu: rynek oparty na danych Stan zaawansowania Polski w obszarze inteligentnej analizy danych w odniesieniu do sytuacji w innych państwach Przedsiębiorstwa Sprawne państwo Kapitał intelektualny Mazowsze na tle innych województw: koncentracja przedsiębiorstw wykorzystujących wiedzę zgromadzoną w danych Podsumowanie 53 Bibliografia 55 O autorze 57 O projekcie 58

7 We are drowning in information, but starving for knowledge. Toniemy w informacjach, ale jesteśmy głodni wiedzy 1. John Naisbitt ➊ WPROWADZENIE: DZIAŁANIE OPARTE NA DANYCH Analizowanie dostępnych danych nie jest niczym nowym. Ludzie od wieków poszukiwali wzorców w danych myśliwi wzorców migrowania zwierząt, farmerzy wzorców wzrostu plonów, politycy wzorców opinii wyborców (Witten, Frank [1]). Z czasem, kiedy zakres informacji był coraz szerszy, niezbędne stało się ich gromadzenie, początkowo w postaci zapisków na ścianach jaskiń, później na papirusach, kartkach papieru, aż wreszcie w postaci elektronicznej, poprzez ręczne wprowadzanie informacji oraz automatyczne jej rejestrowanie. Pierwsze matematyczne metody identyfikacji wzorców pojawiły się około roku 1700 (twierdzenie Bayesa) i 1800 (analiza regresji; Legendre 1805, Gauss 1809). Postęp technologii umożliwił gromadzenie i składowanie coraz większych wolumenów danych. Dwudziesty wiek przyniósł wiele odkryć w obszarze analizy danych: sieci neuronowe, analiza skupień, algorytmy genetyczne (lata 50.), drzewa decyzyjne (lata 60.), support vector machines (lata 90.) [2]. Pierwsze narzędzia do analiz statystycznych powstały w Stanach Zjednoczonych w latach 60. XX wieku. W roku 1966 na Uniwersytecie North Carolina Anthony Bar i Jim Goodnight stworzyli system do analiz statystycznych SAS (Statistical Analysis Software) [2], który pierwotnie miał być wykorzystywany na potrzeby badań rolniczych. Dwa lata później, w roku 1968, Norman H. Nie, absolwent nauk politycznych Uniwersytetu Stanforda, opracował pakiet statystyczny dla nauk społecznych SPSS (Statistical Package for the Social Sciences) [3]. W miarę przyrostu danych oraz rozwoju technologii komputerowych i metod obliczeniowych w późnych latach 90. XX wieku powstały pierwsze narzędzia data mining. Znaczny postęp w dziedzinie technologii informacyjno-komunikacyjnych i ich upowszechnienie umożliwiły zbieranie i gromadzenie ogromnych ilości danych przez firmy i instytucje obsługujące nas w życiu codziennym. Obecnie każdy nasz ruch pozostawia ślad elektroniczny sieci handlowe zbierają informacje o tym, co kupujemy, każda transakcja kartowa jest rejestrowana w systemach bankowych, a informacje o przemieszczaniu się pomiędzy stacjami bazowymi telefonii komórkowej są gromadzone przez operatorów. Trzeba także wspomnieć o najnowszym trendzie, tj. gromadzeniu danych geolokalizacyjnych, które jest 1 Na podstawie G. Piatetsky-Shapiro, P. Smyth, R. Uthurusamy, Usama M. Fayyad, Advances in Knowledge Discovery and Data Mining, AAAI Press, 1996 [24].

8 konsekwencją upowszechnienia się smartfonów. Do tego dochodzi cała gama śladów, które za sobą zostawiamy w Internecie. Temat zakresu danych zbieranych przez firmy i instytucje zostanie szerzej omówiony w rozdziale 2. Ilość danych gromadzonych na świecie rośnie ekspotencjalnie, na co jednoznacznie wskazują analizy wykonane przez badaczy cytowanych w raporcie McKinsey [4] czy artykuł Martina Hilberta i Priscili López [5] (szczegółowe informacje patrz rys. 1). Obecnie większość danych jest zgromadzona w postaci danych liczbowych lub tekstowych. Odnotowujemy też ciągły wzrost udziału danych do tej pory niestandardowych multimedialnych i społecznościowych. Rysunek 1. Znaczny przyrost możliwości składowania danych oraz zmiana technologii ich przechowywania Udział 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Udział technologii przechowywania danych globalnie 1% 3% 99% 97% 25% 75% % 6% Exabajty danych ogółem Analogowa Cyfrowa Źródło: Raport McKinsey Global Institute Big Data: The next frontier for innovation, competition and productivity [4] za: Hilbert, López [5]. Samo posiadanie dużych ilości danych niewiele znaczy, jeśli nie odkryje się wiedzy w nich ukrytej. Analiza ogromnych baz danych nie byłaby jednak możliwa za pomocą ręcznych metod, takich jak arkusze kalkulacyjne czy proste zapytania do bazy danych. Dopiero niesłychany rozwój mocy obliczeniowej komputerów (rys. 2) oraz dynamiczny rozwój w ostatnich 30 latach sztucznej inteligencji i dziedzin pokrewnych, takich jak uczenie maszynowe (machine learning) czy data mining (powszechnie stosowany anglojęzyczny termin określający inteligentne techniki analizy danych), umożliwiły inteligentną i automatyczną eksplorację dużych wolumenów danych. 7

9 Rysunek 2. Znaczny przyrost mocy obliczeniowej oraz typy wykorzystywanych urządzeń obliczeniowych Globalna moc obliczeniowa w milionów instrukcji na sekundę % 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Kalkulatory Superkomputery Serwery i mainframe'y Urządzenia mobilne Konsole wideo Komputery osobiste Źródło: Raport McKinsey Global Institute Big Data: The next frontier for innovation, competition and productivity [4] za: Hilbert, López [5]. Stopień zaawansowania w analizie danych zależy głównie od wielkości firmy i rodzaju prowadzonej działalności. Firmom, które gromadzą niewielkie ilości danych, często do ich analizy wystarczy arkusz kalkulacyjny lub proste zapytania ad hoc do bazy danych. Jednak instytucje, przez które przepływają duże wolumeny danych, muszą przede wszystkim posiadać odpowiednią infrastrukturę technologiczną, pozwalającą na ich gromadzenie (serwery, hurtownie danych). Samo gromadzenie danych to dopiero początek. W pogoni za uzyskaniem wyników zaawansowanych modeli analitycznych nie można zapominać o tym, jak ważną rolę odgrywa jakość danych, na których budowane są modele. Jest ona kluczowa dla trafności podejmowanych decyzji. Dane złej jakości mogą bowiem prowadzić do błędnych wniosków, a tym samym do złych decyzji. Temat analizy jakości danych omówimy w rozdziale 3. W celu wykrycia wzorców, zależności i reguł ukrytych w danych niezbędne jest także wykorzystanie zaawansowanych metod analizy danych, a do tego z kolei potrzebne są odpowiednie narzędzia, pozwalające na ich właściwą obróbkę i analizę oraz kompetentne zasoby kadrowe, potrafiące wykorzystać potencjał drzemiący w danych i zaawansowanych narzędziach do ich analizy. Tymczasem według raportu firmy McKinsey [4] już wkrótce popyt na pracowników o głębokich umiejętnościach analitycznych (a więc takich, którzy mają mocne podstawy matematyczne) znacznie przewyższy podaż. Sytuacja Polski na tle innych krajów nie wygląda w tym obszarze źle, skoro nasze zasoby analityczne są tylko niecałe trzy razy mniejsze od zasobów USA, a McKinsey zalicza nas do grona krajów, które są obecnie głównym dostawcą talentów analitycznych. Taka sytuacja wynika z tego, że historycznie kształcenie w obszarze nauk matematycznych zawsze stało w Polsce na bardzo wysokim poziomie. Niestety obserwowane od kilku lat tendencje w szkolnym nauczaniu matematyki mogą zmienić tę sytuację. Temat ten zostanie szerzej rozwinięty w rozdziale 9. Firmy analizują dane na różne potrzeby. Przede wszystkim dążą tą drogą do jak najlepszego 8

10 poznania swoich klientów. Zaawansowane metody analizy danych są wykorzystywane przede wszystkim w zarządzaniu relacjami z klientem (tzw. analityczny CRM analytical Customer Relationship Management) oraz do oceny ryzyka związanego z klientem/kontrahentem. W ramach analitycznego CRM między innymi do wyboru klientów do różnego rodzaju akcji marketingu bezpośredniego w celu sprzedaży krzyżowej lub dosprzedaży (cross-/up-sell), albo ich utrzymania (retention). W ramach oceny ryzyka klienta do oceny jego wiarygodności kredytowej przy aplikowaniu o produkt (scoring aplikacyjny) oraz w czasie trwania umowy (scoring behawioralny), jak również do identyfikacji nadużyć czy wspomagania procesu windykacji klientów. Szczegółowo odniesiemy się do tego tematu w rozdziale 4, dotyczącym wykorzystania zgromadzonych danych. O elementach niezbędnych do tego, aby z sukcesem zbudować organizację w pełni wykorzystującą potencjał drzemiący w posiadanych danych, powiemy w rozdziale 5. Gromadzenie danych i ich analizowanie coraz bardziej decyduje o przewadze konkurencyjnej, zwłaszcza w czasach kryzysu przedsiębiorstwa. Także rządy, które odkryją, jak wielką wartość niosą ze sobą zgromadzone dane, i zaczną je wykorzystywać, mogą zyskać nowy impuls do wzrostu produktywności i oszczędności kosztów. W rozdziale 6 dokonamy przeglądu branż pod kątem zaawansowania metodologicznego i technologicznego, a w rozdziale 7 przeanalizujemy możliwości wykorzystania rozwiązań opartych na zaawansowanej analizie danych przez instytucje publiczne. W rozdziale 8 przedstawimy temat otwartości danych publicznych i możliwości powtórnego ich wykorzystania. Polska, jako kraj, który dopiero po roku 1989 rozpoczął funkcjonowanie w ramach światowej gospodarki wolnorynkowej, w obszarze rozwoju i wykorzystania zaawansowanych technologii informacyjnych pozostaje nieco w tyle za Stanami Zjednoczonymi i państwami Europy Zachodniej. Dotyczy to również obszaru analizy danych. Z uwagi na sytuację geopolityczną, w której Polska znajdowała się przez kilkadziesiąt lat po II wojnie światowej, tematy analizy danych, które w USA zaczęły być gorące już w drugiej połowie lat 70. ubiegłego wieku, w naszym kraju były rozważane najczęściej tylko teoretycznie w zaciszach uczelni. Rok 1989 stanowił przełom, który dał początek zaangażowaniu zagranicznych firm w Polsce oraz zalążek konkurencyjności na rynku. Po osiągnięciu zdolności operacyjnej filie zagranicznych koncernów rozpoczynały analizowanie gromadzonych danych, wykorzystując know-how pochodzący z ich spółek matek, co w konsekwencji wpływało na zainteresowanie obszarem zaawansowanej analizy danych także wśród polskich firm, w szczególności tych największych. Choć w ciągu 22 lat od czasu transformacji w wielu obszarach gospodarki opartej na danych nadrobiliśmy stracony czas, to jednak nadal pozostajemy krok za USA i krajami Europy Zachodniej, dotyczy to zwłaszcza instytucji publicznych. W rozdziale 9 dokonamy porównania zaawansowania polskich firm i instytucji w obszarze inteligentnej analizy danych do sytuacji na rynkach europejskim i amerykańskim. Z uwagi na brak opracowań opisujących stan zaawansowania technologicznego województwa mazowieckiego w obszarze gospodarki opartej na danych, jak również opracowań odnoszących zaawansowanie Mazowsza do sytuacji w pozostałych województwach, sytuacja Mazowsza na tle innych województw zostanie przeanalizowana na bazie analizy struktury firm posiadających siedziby na terenie województwa mazowieckiego (rozdział 10). 9

11 ➋ OBSZARY DANYCH GROMADZONYCH PRZEZ PRZEDSIĘBIORSTWA Znaczny postęp w dziedzinie technologii informacyjno-komunikacyjnych i ich upowszechnienie umożliwiły zbieranie i gromadzenie ogromnych ilości danych przez firmy i instytucje obsługujące nas w życiu codziennym. Jak wspomnieliśmy we wstępie, każdy nasz ruch pozostawia obecnie jakiś ślad elektroniczny. Coraz więcej firm, niezależnie od branży, zbiera dane na temat kontaktów z klientami oraz dane dotyczące korzystania przez klientów z internetowego portalu firmowego. W coraz większej liczbie przypadków zbierane są również dane o sposobie korzystania z usług (dotyczy to zwłaszcza usług telekomunikacyjnych i usług świadczonych drogą elektroniczną). Także coraz powszechniejsze karty lojalnościowe czy karty stałego klienta służą zbieraniu informacji. Jest wiele danych, które są charakterystyczne tylko dla danej branży. Banki gromadzą dane o płatnościach kartowych i dokonywanych transakcjach finansowych. Operatorzy telekomunikacyjni gromadzą dane o połączeniach telefonicznych, rejestrują także przemieszczanie się telefonu pomiędzy stacjami bazowymi. Sieci handlowe rejestrują koszyki zakupów, często wzbogacając te informacje o dane o miejscu zamieszkania klienta (prośba o kod pocztowy przy kasie) lub o znacznie szerszy zakres danych geodemograficznych, pozyskanych dzięki wykorzystaniu programów lojalnościowych. Do tego dochodzi cała gama śladów, które zostawiamy w Internecie: informacje o odwiedzanych stronach, pytania zadawane wyszukiwarce, dane z portali społecznościowych, treści, które polubiliśmy i poleciliśmy innym czy informacje, z kim jesteśmy połączeni, wszystko to składa się na ogromne ilości danych, które są zbierane przez firmy. Ciekawym zjawiskiem jest też coraz częstsze wykorzystywanie własnych stron internetowych, jako sposobu na zbieranie informacji o zainteresowaniach klientów dzieje się to na podstawie zadawanych przez nich pytań, informacji, które przeglądają, albo tego, czego szukają, a także problemów, które mają (część serwisowa, wyszukiwane porady, często zadawane pytania). Zdarza się, że strony internetowe są budowane w taki sposób, żeby zebrać jak najwięcej tego typu informacji. Pomagają one później w poprawianiu produktów i ich marketingu, a także serwisu i całej komunikacji na ich temat. Jako źródła danych coraz częściej wykorzystywane są różnego rodzaju czujniki, sensory i kamery. Dane zbierane w taki sposób są wykorzystywane w różnych dziedzinach, m.in. do monitorowania zdrowia pacjentów, bezpieczeństwa na drogach czy analizy sytuacji pogodowej. Obszary danych gromadzonych przez firmy w poszczególnych branżach oraz poziom granulacji tych danych staraliśmy się zebrać w tabeli 1. 10

12 Tabela 1. Obszary danych gromadzonych w różnych branżach oraz granulacja gromadzonych danych BRANŻA RODZAJ GROMADZONYCH DANYCH GRANULACJA DANYCH Bankowość Ubezpieczenia Dane demograficzne Dane o transakcjach na rachunkach Dane o transakcjach kartowych (m.in. wartość transakcji, miejsce płatności) Dane o korzystaniu z pozostałych produktów bankowych Dane o spłacaniu kredytów i windykacji zobowiązań Dane o kontaktach z bankiem (oddział, call-center, IVR, sms, Internet) Dane o zachowaniu klienta na portalu e-bankingowym oraz miejscu wejścia na portal Dane o bezpośrednich kampaniach marketingowych kierowanych do klienta Dane zewnętrzne (Biuro Informacji Kredytowej, systemy zastrzeżonych dokumentów, Główny Urząd Statystyczny) Dane demograficzne Dane o posiadanych produktach ubezpieczeniowych (rodzaje i zakres ubezpieczeń, wysokość składek, wypłacone odszkodowania) Dane o płatnościach klienta Dane o kontaktach z firmą (oddział, call-center, IVR, sms, Internet) Dane o zachowaniu klienta na portalu firmowym oraz miejscu wejścia na portal Dane o bezpośrednich kampaniach marketingowych kierowanych do klienta i reakcjach na nie Dane zewnętrzne (systemy zastrzeżonych dokumentów, Główny Urząd Statystyczny) Na poziomie indywidualnego klienta identyfikacja z wykorzystaniem numeru klienta i/lub numeru PESEL/ REGON/NIP Na poziomie indywidualnego klienta identyfikacja z wykorzystaniem numeru klienta i/lub numeru PESEL/ REGON/NIP 11

13 BRANŻA RODZAJ GROMADZONYCH DANYCH GRANULACJA DANYCH Telekomunikacja Handel tradycyjny Handel internetowy Dane demograficzne Dane o posiadanych przez klienta pakietach usług (w tym o udzielonych promocjach) Dane o numerach telefonów klienta Dane o sprzęcie zakupionym przez klienta u operatora (oraz o udzielonych promocjach) Dane o korzystaniu przez klienta z usług (voice, sms, transmisja danych, roaming, pozostałe usługi) Dane o płatnościach klienta (zaległości, windykacja) Dane o lokalizacji klienta (na podstawie logowania do stacji bazowych) Dane o kontaktach z operatorem (placówka, call- -center, IVR, sms, Internet) Dane o zachowaniu klienta na portalu firmowym oraz miejscu wejścia na portal Dane o bezpośrednich kampaniach marketingowych kierowanych do klienta Dane zewnętrzne (Biuro Informacji Kredytowej, systemy zastrzeżonych dokumentów, Główny Urząd Statystyczny) Dane o koszykach zakupów Dane o sprzedaży produktów Dane o lokalizacji miejsca zamieszkania klienta (kod pocztowy) Dane o sposobach płatności Dane demograficzne o klientach programu lojalnościowego Dane o transakcjach kartowych klientów (w przypadku posiadania własnych kart płatniczych) Dane geolokalizacyjne (miejsca dokonywania zakupów, dane o sposobie poruszania się w ramach sklepu) Dane o historii sprzedaży produktów Dane demograficzne klienta Dane o koszykach zakupów Dane o oglądanych i wyszukiwanych produktach Dane o sposobach płatności klienta Dane o rodzajach dostawy wybieranych przez klienta Dane o sposobie poruszania się po portalu oraz Dane o źródle wejścia na portal (m.in. reklama, wyszukiwarka cenowa, wejście bezpośrednie) Na poziomie indywidualnego klienta (konta abonenckiego) identyfikacja z wykorzystaniem numeru klienta i/lub numeru PESEL/ REGON/NIP Na poziomie numeru telefonu Na poziomie produktu Na poziomie koszyka zakupów W przypadku gromadzenia danych o kodach pocztowych klientów możliwość agregacji danych do tego poziomu W przypadku klientów korzystających z programu lojalnościowego dostępna granulacja na poziomie indywidualnego klienta (identyfikacja po numerze klienta i/lub numerze PESEL/REGON/NIP) Na poziomie produktów / na poziomie miejsca sprzedaży Na poziomie indywidualnego klienta identyfikacja po unikalnym loginie, i/lub numerze PESEL/REGON/NIP 12

14 BRANŻA RODZAJ GROMADZONYCH DANYCH GRANULACJA DANYCH Firmy internetowe (wyszukiwarki, portale społecznościowe itp.) Dane o zapytaniach zadanych przez użytkowników Dane o trafności zadanych zapytań Lokalizacja użytkowników (adres IP, GPS) Bardziej szczegółowe dane o zarejestrowanych użytkownikach Dane umieszczone przez użytkowników w serwisach (informacje tekstowe, dokumenty, zdjęcia, filmy itp.) Dane o powiązaniach społecznościowych Na poziomie komputera (identyfikacja po cookies / po adresie IP) Na poziomie loginu użytkownika Sektor produkcyjny Dane o sprzedaży produktów (wartość sprzedaży, lokalizacje sprzedaży, koszty, marże) Dane demograficzne klientów Dane kontrahentów Dane pomiarowe Dane posprzedażowe Dane o reklamacjach i naprawach Na poziomie egzemplarza produktu Na poziomie produktu Na poziomie kontrahenta Na poziomie klienta (w przypadku gromadzenia danych takich danych) Na poziomie zgłoszenia reklamacyjnego / serwisowego Sektor medyczny Dane demograficzne pacjentów Dane o wizytach lekarskich Dane o wykonanych badaniach, analizach i ich wynikach Dane o postawionych diagnozach Dane o przebytych chorobach Dane o przepisanych lekach Dane o wystawionych receptach Dane z systemów monitorujących funkcje życiowe pacjenta Na poziomie pacjenta (PESEL/ID klienta) Sektor farmaceutyczny Dane o strukturze leków i specyfików Dane o wynikach badań klinicznych leków i specyfików Na poziomie specyfiku Na poziomie badania Trzeba też wspomnieć o najnowszym trendzie, jakim jest gromadzenie danych geolokalizacyjnych. Do niedawna dane takie były nieprecyzyjne, gdyż opierały się głównie na rejestrach logowania się telefonu komórkowego do stacji bazowej oraz na danych o wykorzystaniu kart płatniczych, które identyfikowały pojawienie się klienta w danym sklepie (tradycyjnym albo internetowym) lub skorzystanie przez niego z bankomatu. Dane takie były z reguły dostępne tylko dostawcom tych usług, czyli operatorom telefonii komórkowej, bankom, operatorom punktów obsługi sprzedaży (POS) czy wystawcom kart płatniczych. W sposób pośredni i ograniczony informacje takie mogły być dostępne także podmiotom kooperującym z wymienionymi w ramach wspólnych programów lojalnościowych. Dostępność takich danych dla podmiotów trzecich była limitowana przez przepisy prawne i zgody klienta na wykorzystywanie danych, a tym samym w szczególnym przypadku mogła się ograniczać 13

15 jedynie do możliwości skierowania kampanii marketingowej takiej firmy przez administratora danych do wyselekcjonowanej grupy klientów. Technologią, która pozwala na znacznie dokładniejszą identyfikację lokalizacji, jest GPS (Global Positioning System), jednak dopiero rozpowszechnienie się smartfonów pozwoliło na szersze jej wykorzystanie niż tylko na potrzeby doprowadzenia kierowcy do wybranego celu. Cytując za raportem firmy doradczej McKinsey [4], dane geolokalizacyjne mogą być wykorzystane na trzech poziomach: poprzez aplikacje i serwisy dedykowane dla osób indywidualnych (m.in. systemy nawigacji rozbudowane o dodatkowe informacje pobrane z Internetu), jako indywidualne dane geolokalizacyjne wykorzystywane przez organizacje (m.in. geolokalizowane reklamy, systemy poboru opłat, systemy ratownictwa, wycena ubezpieczeń samochodowych), jako zagregowane dane geolokalizacyjne wykorzystywane przez organizacje na poziomie makro (m.in. na potrzeby planowania urbanistycznego). Nadal jednak systemy oparte na GPS często nie pozwalają na identyfikację lokalizacji wewnątrz budynków, co w konsekwencji prowadzi do rozwoju innych technik (takich m.in. jak analiza danych z transponderów radiowych na wózkach zakupowych czy analiza obrazów z kamer sklepowych), pozwalających na śledzenie przemieszczania się klientów wewnątrz sklepów. Wolumen gromadzonych danych geolokalizacyjnych powiększa się bardzo szybko. Analitycy firmy doradczej McKinsey [4] oszacowali wielkość prywatnych danych geolokalizacyjnych wygenerowanych w roku 2009 na co najmniej 1 petabajt dla całego globu (rys. 3) oraz ich roczny przyrost na około 20%. Rysunek 3. Personalne dane geolokalizacyjne źródła oraz skala globalnego przyrostu rocznego, , <1 <1-5 < <1-2 Terabajty Nawigacja GPS Nawigacja GPS na telefony Lokalizacja osób Wyszukiwanie z wykorzystaniem lokalizacji Różne usługi oparte na lokalizacji Lokalizacja telefonu alarmowego Lokalizacja smartphone'a Reklamy geo-targetowane Śledzenie kupującego Śledzenie transakcji bezgotówkowych Ogółem Źródło: Raport McKinsey Global Institute Big Data: The next frontier for innovation, competition and productivity [4]. 14

16 Potencjalną wartość rynku takich usług w kolejnych latach (do roku 2020), jak również benefitów dla ich klientów przytaczamy za raportem firmy McKinsey [4] na rys. 4. Rysunek 4. Personalne dane lokalizacyjne obszary wykorzystania i korzyści z tego tytułu Total Analityka dla handlu detalicznego Optymalizacja planowania transportu publicznego Opłaty drogowe pobierane dzięki geolokalizacji Reklamy oparte na geolokalizacji Monitorowanie samochodów osobowych Wykorzystanie geolokalizacji w serwisach społecznościowych Nawigacja GPS mld Wartość dla konsumentów Dochody przypadające usługodawcom Źródło: Raport McKinsey Global Institute Big Data: The next frontier for innovation, competition and productivity [4]. ➌ JAKOŚĆ GROMADZONYCH DANYCH: HISTORIA, TERAŹNIEJSZOŚĆ, PRZYSZŁOŚĆ Jak wspomnieliśmy we wstępie, na trafności decyzji podejmowanych na podstawie zgromadzonych danych może zaważyć ich jakość. Dane o złej jakości mogą prowadzić do błędnych wniosków, a tym samym do złych decyzji. Patrząc historycznie, dane w formie elektronicznej gromadzone są całkiem od niedawna; wcześniej, zanim rozpowszechniły się komputery osobiste, w większości urzędów i przedsiębiorstw dane były gromadzone w formie papierowej. Wejście do urzędów i przedsiębiorstw pierwszych systemów IT pozwoliło na ręczne wprowadzanie danych, odbywało się to jednak w większości bez mechanizmów kontroli jakości. W trakcie realizacji projektów wykorzystujących metody data mining do dzisiaj jeszcze można się natknąć na dane z rzadziej wykorzystywanych obszarów, które są dostępne wyłącznie w postaci papierowej w szafie osoby odpowiedzialnej za dany temat (np. protokoły kontroli nielegalnego poboru energii elektrycznej u dostawców energii czy protokoły procesu windykacji należności w bankowości). Powszechne są także sytuacje, w których proces gromadzenia danych nie podlegał żadnym lub prawie żadnym regułom pola tekstowe nie były słownikowane, każdy pracownik wprowadzał 15

17 w nie inny opis, pola numeryczne nie miały żadnych ograniczeń na wprowadzane liczby poza wynikającymi z ograniczeń systemu operacyjnego. Dlatego wykorzystanie danych historycznych, które były składowane w formie papierowej albo pochodzą z systemów, które nie miały wbudowanych mechanizmów kontroli jakości danych, lub mechanizmy te były niepełne, wymaga przeprowadzenia dogłębnej analizy ich jakości, włączając w to: analizę braków danych, analizę zduplikowanych rekordów, statystyczną analizę rozkładów, w tym identyfikację wartości odstających, ekspercką ocenę logicznej poprawności wartości i wreszcie decyzję o wykluczeniu rekordów lub poszczególnych zmiennych z dalszych analiz oraz o automatycznym lub eksperckim uzupełnieniu braków danych dla wybranych zmiennych. Dopiero po przeprowadzeniu tak dogłębnej analizy i podjęciu stosownych decyzji widać sens dalszych analiz, z wykorzystaniem zaawansowanych technik, takich jak data mining. Częstym problemem jest również to, że dane zbierane w różnych miejscach, różnych systemach czy różnych momentach czasu nie są ze sobą zintegrowane. Brak możliwości połączenia danych z różnych źródeł znacząco ogranicza możliwości ich dalszego wykorzystania. Stąd integracja danych często jest jednym z istotniejszych kroków, które muszą poprzedzić proces analizy danych i wyciągania z nich wniosków. Specjalistyczne narzędzia informatyczne do integracji i zarządzania danymi umożliwiają wykonanie szeregu zadań wstępnych, m.in. takich jak: ładowanie danych z różnych źródeł, łączenie danych (w sposób dokładny lub przybliżony), czyszczenie i wzbogacanie danych, uspójnianie rekordów, przekształcenia na danych (wyliczenia, agregacje). W przypadku nowych systemów gromadzących dane w celu zapewnienia ich odpowiedniej jakości konieczna jest implementacja automatycznych mechanizmów weryfikacji (patrz [6]), takich jak: prawidłowe opisy pól, pola obowiązkowe, weryfikacja typu danych, słownikowanie pól, minimalna długość wprowadzanych danych, logiczna walidacja danych, weryfikacja danych na podstawie źródeł referencyjnych, weryfikacja sum kontrolnych. Zaimplementowanie opisanych mechanizmów wstępnej kontroli jakości danych pozwala uniknąć przynajmniej ludzkich błędów lub zaniedbań i skutkuje zdecydowanie wyższą jakością danych, a tym samym ich użytecznością na potrzeby dalszych analiz. 16

18 Oprócz mechanizmów automatycznych, w przypadku danych wprowadzanych ręcznie, często stosowane są także mechanizmy procesowe, takie jak weryfikacja manualna danych wprowadzonych przez klienta, dokonywana przez pracownika firmy, albo weryfikacja na drugą rękę. Poza dbaniem o jakość danych wprowadzanych do systemów w sposób ręczny niezbędny jest stały monitoring danych przetwarzanych w systemach, w tym nie tylko danych wprowadzanych ręcznie, lecz także pozyskiwanych automatycznie za pomocą własnych narzędzi bądź pobieranych od zewnętrznych dostawców. Monitoring taki jest przeprowadzany z reguły na etapie procesów przetwarzania danych przygotowujących dane do analiz. W ramach takiego monitoringu powinny być sprawdzane (patrz [6]): kompletność i niezerowa zawartość danych wejściowych; stabilność wolumenu danych i liczby rekordów, poprawność struktury danych wejściowych, poprawność danych pod względem poprawności wartości i zakresów, pokrycie danych słownikami, identyfikacja zduplikowanych rekordów, weryfikacja poprawności danych z referencyjnymi źródłami (np. danych finansowych z danymi z systemu księgi głównej banku), wypełnienie danych, które będą podlegały dalszej analizie, statystyczna analiza rozkładów dla danych, które będą podlegały dalszej analizie. Kolejnym czynnikiem, który może mieć znaczący wpływ na rezultaty wykonywanych analiz danych, jest kompletność posiadanej informacji. Nie w każdej sytuacji zbierane są dane o wszystkich interesujących przypadkach lub na interesującym nas poziomie. Na przykład tradycyjny sklep/sieć handlowa może zbierać znacznie dokładniejsze dane dotyczące tylko osób posiadających kartę stałego klienta, jednak trudno byłoby wyłącznie na podstawie tych danych wyciągać wnioski dotyczące wszystkich klientów. Inny problem to kwestia tego, kogo lub czego faktycznie dotyczą zbierane dane. Jeżeli z jednej karty stałego klienta korzysta więcej osób (np. członkowie rodziny, znajomi), to siłą rzeczy dane zbierane z jej wykorzystaniem są zaburzone i przy wykonywaniu analiz trzeba mieć to na względzie. Wyciąganie właściwych wniosków ze zgromadzonych danych, a następnie wykorzystanie ich na korzyść instytucji wymaga świadomości zarówno pracowników, jak i kadry zarządzającej firmy co do wagi jakości danych. Jedynie w nielicznych przypadkach wymogi dotyczące kontroli jakości danych są określone odgórnie przez podmioty regulujące dany rynek. Niezależnie od tego każda instytucja powinna narzucić sobie sama działania mające na celu zapewnienie wysokiej jakości danych, gdyż bez poprawnych danych nawet najlepsze modele data mining mogą być podstawą podejmowania niewłaściwych decyzji zarządczych. 17

19 ➍ WYKORZYSTANIE ZGROMADZONYCH DANYCH Dane gromadzone przez przedsiębiorstwa, o których szczegółowo pisaliśmy w rozdziale 2, mogą być wykorzystane w różnych obszarach działalności firm, pozwalając m.in. na zwiększenie przychodów, redukcję kosztów, optymalizację procesów, ulepszanie oferty, minimalizację ryzyka, wykrywanie nieprawidłowości i nadużyć. Do wiodących obszarów, w których wykonywane są analizy zgromadzonych danych oraz budowane zaawansowane modele statystyczne i data mining, należą: obszar zarządzania relacjami z klientem (sprzedaż i marketing), obszar zarządzania ryzykiem i wykrywania nadużyć oraz obszar wyszukiwania informacji w zasobach internetowych lub intranetowych. Zastosowanie narzędzi analitycznych w marketingu ma przede wszystkim pomóc rozpoznać potrzeby klientów i ich zachowania. Dzięki analizie danych firmy mogą zawczasu przewidzieć odejście klienta i temu zapobiec, mogą zidentyfikować oferty, z których klient będzie skłonny skorzystać. Te i inne działania oparte na technikach analitycznych pozwalają na stworzenie oferty bardziej atrakcyjnej od oferty konkurencji, ponieważ dostosowanej do klientów; pozwalają także na zmniejszenie kosztów działań marketingowych oraz zwiększenie przychodów ze sprzedaży produktów. Wspomniane działania koncentrują się na indywidualnym kliencie i są wykorzystywane najczęściej w firmach telekomunikacyjnych, bankach, firmach ubezpieczeniowych. W firmach sektora produkcyjnego najczęściej wykonywanymi działaniami opartymi na danych jest prognozowanie popytu na produkty z wykorzystaniem modeli ekonometrycznych, optymalizacja procesów czy czasu dostaw. W przypadku popytu na produkty prognozy takie często są wykonywane i aktualizowane dla milionów szeregów czasowych, odpowiadających wielkości sprzedaży poszczególnych produktów w różnych punktach sprzedaży z narzuconą hierarchią geograficzną, grupującą poszczególne lokalizacje na różnych poziomach. W obszarze oceny ryzyka analiza danych jest najczęściej wykorzystywana w sektorze bankowym do oceny wiarygodności kredytowej klienta, i to zarówno na etapie aplikacji o produkt (scoring aplikacyjny), jak i w trakcie trwania umowy (scoring behawioralny). W przypadku banków, które chcą lepiej zarządzać swoim ryzykiem kredytowym, istnieje możliwość wdrożenia zaawansowanej metody ratingów wewnętrznych A-IRB (Advanced Internal-Rating-Based approach), które wymagają kalkulacji parametrów PD (Probability of Default) prawdopodobieństwa zaniechania spłaty zobowiązania, LGD (Loss Given Default) poziomu potencjalnych strat związanych z zaprzestaniem spłaty zobowiązania przez klienta i CCF (Credit Conversion Factor) prawdopodobieństwa wykorzystania przez klienta limitów kredytowych. W takim wypadku zarówno systemy scoringowe i ratingowe, jak i procesy kalkulacji wymienionych parametrów muszą spełniać rygorystyczne wymogi, określone przez europejski i krajowy nadzór bankowy (patrz: umowa kapitałowa Basel II [7], oraz regulacje krajowego nadzoru finansowego [8]), ale jednocześnie wiążą się z możliwością dostosowania poziomu kapitału do poziomu ryzyka, co może oznaczać zmniejszenie wymogów kapitałowych, a tym samym więcej pieniędzy na finansowanie działalności banku. 18

20 Ale sam scoring kredytowy (credit scoring) znajduje zastosowanie nie tylko w sektorze bankowym, lecz także w sektorze telekomunikacyjnym; metody scoringowe stosuje się w celu oszacowania wiarygodności kredytowej klientów klientom bardziej wiarygodnym można przyznać większe subsydia na aparaty telefoniczne. Scoring kredytowy może znaleźć zastosowanie w każdej branży, gdzie klient jest w jakiś sposób kredytowany: czy to w formie finansowej, czy w formie rzeczowej. Analiza danych w wielu dziedzinach wspiera także wykrywanie nadużyć. Modele data mining są stosowane do analizy tego, czy klient już w chwili aplikowania nie planuje nadużycia; zaawansowane modele dokonują oceny transakcji kartowych pod kątem potencjalnego nadużycia, a systemy zapobiegające praniu brudnych pieniędzy, czyli AML (Anti-Money-Laundering), analizują transakcje klientów także pod względem ich powiązań społecznych. Oczywistym wykorzystaniem metod analitycznych jest wyszukiwanie informacji w zasobach Internetu. Od czerwca 2000 roku największą i najbardziej innowacyjną wyszukiwarką na świecie jest Google 2, dlatego skoncentrujemy się na jej przykładzie, pisząc o takim obszarze zastosowań analizy danych jak inteligentne wyszukiwanie informacji w Internecie. Obecnie wyszukiwarka Google indeksuje ponad 1 miliard pozycji, które mogą przeszukiwać użytkownicy na całym świecie. Oferuje ona nie tylko możliwość przeszukiwania tekstowej zawartości stron internetowych, lecz także obrazów, filmów, wiadomości, książek zeskanowanych do postaci elektronicznej, map i innych elementów. Co więcej, w przypadku zgody na rejestrację historii poszukiwań rezultaty wyszukiwania mogą być dostosowane do danego użytkownika. Nawet dla niezalogowanych użytkowników Google używa prawie 60 różnych zmiennych do dostosowania wyników wyszukiwania. Jest to lokalizacja, IP, system operacyjny, przeglądarka, rozdzielczość monitora i inne. Google udostępnił również narzędzia pozwalające na efektywne przeszukiwanie zarówno zasobów własnego komputera, jak i zasobów firmowych, takich jak firmowy intranet czy nawet korporacyjne systemy Business Intelligence. Warto także dodać, że Google oferuje wiele aplikacji analitycznych, które firmy mogą wykorzystywać m.in. do optymalizacji swoich serwisów internetowych czy w przypadku targetowanych reklam optymalizacji ścieżki prowadzącej od wyszukiwania do sprzedaży. Ciekawym przykładem wykorzystania analizy treści zapytań zadawanych przez użytkowników wyszukiwarki jest Google Flu Trends (patrz [9]), stworzony w ramach działań prowadzonych przez Google.org (filantropijne skrzydło Google). Na podstawie wpisywanych w wyszukiwarkę przez użytkowników z całego świata haseł związanych z grypą, jej symptomami i lekami oraz danych o rzeczywistych zachorowaniach model analityczny może przewidzieć aktywność wirusa grypy w konkretnych lokalizacjach nawet na dwa tygodnie wcześniej niż tradycyjne systemy wykorzystywane przez stacje epidemiologiczne. Analiza danych może pomóc także w wielu innych obszarach, takich jak optymalizacja procesów (np. produkcyjnych), wspomaganie podejmowania decyzji (np. medycznych), zarządzanie zasobami ludzkimi (np. identyfikacja wartościowych pracowników skłonnych do odejścia). Tabela 2 przedstawia wybrane obszary oraz najpopularniejsze zagadnienia, w których wykorzystywane są zaawansowane analizy danych. Oczywiście w żadnym wypadku nie jest to lista wyczerpująca. Zastosowań technik analitycznych może być co najmniej tyle, ile trafnych pomysłów tkwiących w głowach menedżerów, analityków i konsultantów odpowiadających za analizy danych. 2 Patrz: Omówienie technologii Google, [31]. 19