1. Opis zagadnienia, możliwości zastosowań... 5

Transkrypt

1

2

3

4 Spis treści 1. Opis zagadnienia, możliwości zastosowań Stan zaawansowania badań i kierunki rozwoju w Polsce i na świecie, dobre praktyki, wdrożenia Trendy oraz kierunki rozwoju w metodach eksploracji danych Dobre praktyki Szanse i zagrożenia dla województwa śląskiego związane z rozwojem technologii eksploracji danych Potencjalne zastosowania eksploracji danych na terenie województwa śląskiego, zarówno w kontekście administracji jak i działalności przedsiębiorstw Potencjalne zastosowanie eksploracji danych w kontekście działalności przedsiębiorstw i jednostek badawczo-rozwojowych Potencjalne zastosowanie eksploracji danych w kontekście administracji Bariery wdrożenia systemów eksploracji danych na terenie województwa śląskiego Brak motywacji do przekazywania środków finansowych Ograniczenie liczby projektów na rozwój i innowacje Problemy ze współpracą na linii ekspert specjalista dziedzinowy Problemy z pozyskaniem właściwych danych lub danych o odpowiedniej jakości Brak zaufania społecznego do instytucji publicznych Bibliografia... 33

5 1. Opis zagadnienia, możliwości zastosowań Wraz z rozwojem technologii informacyjnych, które dziś towarzyszą ludziom w każdej praktycznie dziedzinie życia, powstały narzędzia oraz metody, które uprościły i umożliwiły gromadzenie oraz przechowywanie ogromnych ilości danych. Równocześnie spadają koszty tworzenia, gromadzenia, zarządzania oraz przechowania elektronicznej informacji, podczas gdy wzrasta ilość pieniędzy przeznaczona na inwestycje związane ze zbieraniem danych, ich przechowywaniem oraz wyciąganiem korzyści. Zgodnie z raportem [1] w latach ilość cyfrowej informacji podwajać się będzie dwukrotnie co każde dwa lata, podczas gdy wzrost inwestycji wyniesie 40%. Wynikiem tego będzie dziesięciokrotny spadek ceny 1 GB danych (z 2 dolarów w 2012 roku do 20 centów w 2020 roku). Na Rysunku 1 przedstawiono prognozowany wzrost ilości danych w latach , a na Rysunku 2 prognozowany koszt 1 GB informacji oraz wysokość inwestycji w tak zwaną infrastrukturę, na którą składa się sprzęt komputerowy, oprogramowanie oraz serwis na lata

6 Rysunek 1. Prognozowany wzrost cyfrowych zasobów danych w latach Źródło: [1] Rysunek 2. Prognozowana cena 1GB danych w latach oraz wysokości inwestycji w infrastrukturę. Źródło: [1] Przykładowo, w pierwszym kwartale 2012 roku, firma Amazon ogłosiła, że usługa Amazon S3 zawiera 905 bilionów obiektów 1. Zakładając średni rozmiar przechowywanego obiektu na poziomie 1MB, daje to 900 petabajtów danych czyli prawie jeden exabajt danych przechowywanych tylko w jednej bazie danych jednej firmy. 1 Źródło:

7 Wśród tej ogromnej ilości zgromadzonych danych znajduje się wiedza, potencjalnie użyteczna z punktu widzenia licznych przedsiębiorstw bądź instytucji. Jednakże trzeba mieć świadomość, że tylko część z tej zebranej cyfrowej informacji jak na razie może zostać przeanalizowana, zrozumiana oraz wykorzystana. W 2020 roku, jedynie 33% zgromadzonych danych będzie posiadać potencjalne użyteczne informacje, co i tak stanowi znaczący wzrost w porównaniu z 23 % (643 exabajtów) w roku Jednakże dalsze szacunki mówią, że w praktyce jedynie 3% zgromadzonej w Internecie w 2012 roku cyfrowej informacji jest opisana, podczas gdy przeanalizowano jedynie 0.5 procenta. Rozbieżności te przedstawiono na Rysunku 3. W przyszłości, efektywne wykorzystanie zgromadzonych danych możliwe będzie jedynie dzięki wykorzystaniu zaawansowanych metod analizy oraz interpretacji danych, poszukując wzorców, korelacji w danych, łącząc dane medyczne z socjologicznymi itp. Rysunek 3. Rozbieżności między zebranymi danymi potencjalnie przydatnymi z punktu widzenia eksploracji danych, a ich praktycznym wykorzystaniem w roku Źródło: [1] Ogromna ilość zgromadzonych danych, oraz potencjalne możliwości ich nowego wykorzystania doprowadziły do wzrostu zapotrzebowania na narzędzia oraz metody, które potrafią te dane przetwarzać oraz pozyskiwać z nich użyteczne informacje. Pod koniec lat 80 tych powstało pojęcie odkrywania wiedzy (ang. knowledge discovery) rozumiane jako nietrywialny proces polegający na odkrywaniu nowych, potencjalnie użytecznych i ostatecznie zrozumiałych wzorców z danych [2]. Zgodnie z tą definicją, na podstawie informacji zgromadzonych w bazie danych można próbować uzyskać pewne pojęcia, wyrażenia, które będą posiadać zdolność opisu

8 danych, przedstawiać ich strukturę oraz odzwierciedlać zależności występujące w tych danych. Dodatkowo mechanizmy generowania tych wzorców powinny posiadać zdolność odkrywania z danych nowej wiedzy, potencjalnie użytecznej dla eksperta bądź też systemu informatycznego analizującego wyniki, a same wzorce (lub wnioski uzyskane na ich podstawie) powinny być przedstawione końcowemu użytkownikowi w prostej i zrozumiałej formie. Pozyskiwanie wiedzy, to proces złożony i wieloetapowy począwszy do selekcji zebranych danych, wstępnego ich przetwarzania, transformacji i wyboru najlepszego algorytmu do analizy danego problemu, a skończywszy na jej interpretacji i prezentacji użytkownikowi. Wybór właściwego algorytmu oraz jego zastosowanie do rozwiązania konkretnego problemu określane jest często terminem eksploracja danych (ang. data mining). W wielu opracowaniach poświęconych eksploracji danych wymienia się między innymi narzędzia takie jak sztuczne sieci neuronowe, analiza regresji, drzewa decyzyjne, algorytmy genetyczne oraz algorytmy indukcji reguł decyzyjnych. Zależności między procesem eksploracji danych a pozostałymi elementami procesu pozyskiwania wiedzy, przedstawiono na Rysunku 4. Rysunek 4. Etapy procesu pozyskiwania wiedzy. Na podstawie: [3]

9 2. Stan zaawansowania badań i kierunki rozwoju w Polsce i na świecie, dobre praktyki, wdrożenia Eksploracja danych jako dziedzina nauki ma już dość dobrze ugruntowaną pozycję, mimo tego, że jest to dość młoda gałąź nauki. Początki jej rozwoju sięgają lat 60-tych ubiegłego wieku, gdy rozpoczęto gromadzenie danych na elektronicznych nośnikach takich jak taśmy czy dyski komputerowe. Kolejnym ważnym krokiem były lata 80-te, kiedy powstały relacyjne bazy danych oraz strukturalne języki zapytań. Nowe rozwiązania dały użytkownikom dynamiczny dostęp do danych wraz z wiedzą na temat informacji zawartej w tych bazach. Następny element, który przyczynił się do rozwoju dziedziny to zyskujące na popularności w latach 90-tych hurtownie danych i stanowiące ich integralną część narzędzia do analizy danych, poszukiwaniu trendów, zależności czy wzorców. Obecnie coraz większą popularność zdobywa określenie Big data, które oznacza ogromną ilość dostępnych danych (wyrażanych w tera-, peta-, a nawet w exabajtach), prawdopodobne zawierających wartościową informację, którą trudno jest wydobyć bez specjalistycznych narzędzi, oprogramowania czy technik eksploracji danych. Jak już wcześniej wspomniano, sam termin powstał z końcem lat 80-tych ubiegłego wieku, jednak sama dziedzina wiedzy powstała w kliku różnych krokach, w wyniku ewolucji takich dziedzin nauki klasyczna statystyka, sztuczna inteligencja oraz maszynowe uczenie. Statystyka od samego początku była dziedziną mającą największy wkład w analizy biznesowe (ang. bussines intelligence). Mimo tego, iż w dzisiejszych czasach same tylko metody statystyczne nie wystarczą aby analizować ogromne zbiory danych, w dalszym ciągu metody statystyczne stanowią podstawy większości metod poszukujących wzorców oraz zależności w danych. Metody sztucznej inteligencji to, w uogólnieniu, metody które starają się naśladować procesy myślenia ludzi oraz ludzkiej inteligencji w procesie analizy danych. Kolejną dziedziną, która dała podstawy do rozwoju metod eksploracji danych, to maszynowe uczenie, dział nauki który zajmuje się konstrukcją systemów mających zdolności uczenia się na podstawie analizy danych [4]. Sześć podstawowych problemów, w których rozwiązanie zaangażowane są metody eksploracji danych to [2]:

10 Klasyfikacja umiejętność przyporządkowania nowych, nieznanych obiektów do pewnych grup lub klas poprzez generalizowanie posiadanej wcześniej informacji o cechach znanych obiektów i ich przyporządkowaniu do grup. Przykłady najpopularniejszych metod wykorzystywanych w klasyfikacji to naiwny klasyfikator bayesowski, drzewa decyzyjne, sieci neuronowe, reguły decyzyjne, maszyny wektorów wspierających. Regresja poszukiwanie funkcji, która będzie zdolna przewidywać rzeczywiste wartości analizowanych zmiennych minimalizując błąd między wartością rzeczywistą a przewidzianą Grupowanie zadanie poszukania grup (ang. clusters) lub struktur w danych, które charakteryzują się pewnym podobieństwem na podstawie cech opisujących elementy, bez wcześniejszej informacji o istnieniu takiego podobieństwa. Podstawowy podział algorytmów grupowania to: grupowanie hierarchiczne, algorytm oparte o metody k-średnich, metody analizujące rozkład danych, metody gęstości owe oraz metody grupowania rozmytego. Podsumowywanie (ang. Summarization) zbiór metod, które umożliwiają zwięzły i łatwiejszy w interpretacji opis danych, często poprzez wizualizację czy automatyczne generowanie raportów. Poszukiwanie reguł asocjacyjnych (modelowanie zależności) poszukiwanie zależności pomiędzy poszczególnymi cechami opisującymi analizowane obiekty (np. poszukiwanie zależności pomiędzy produktami które zostały zakupione przez klienta w sklepie internetowym). Podstawowe metody indukcji reguł asocjacyjne to algorytm Apriori, Eclat oraz FP-growth. Detekcja zmian, anomalii i odchyleń identyfikacja nietypowych wzorców w danych, które mogą być interesujące lub wskazywać na istnienie błędów wymagających dalszego rozpoznania i analizy. Każdy z powyżej wymienionych elementów, to odrębna dziedzina w ramach której rozwijane są odpowiednio dostosowane metody i algorytmy. Oczywiste jest jednak to, że granice pomiędzy poszczególnymi problematykami są płynne i wiele metod znajduje swoje zastosowania w rozwiązywaniu problemów więcej niż jednej dziedzinie spośród przedstawionych powyżej.

11 W dalszej części raportu przedstawione zostały przykładowe zastosowania metod eksploracji danych w różnych dziedzinach przemysłu oraz nauki. Analiza finansowa, sektor bankowy Większość instytucji bankowych oferuje swoim klientom produkty takie jak konta bankowe, różnego rodzaju kredyty czy możliwości inwestowania w różnego rodzaju instrumenty finansowe. Dane pochodzące z sektora finansowego charakteryzują się zwykle dużą wiarygodnością oraz dobrą jakością. Typowe zastosowania metod eksploracji danych w tym sektorze to ocena ryzyka kredytowego oraz identyfikacja grup klientów pod kątem sprzedaży produktów finansowych. W ostatnim czasie coraz większe zainteresowanie zyskują inteligentne metody przewidywania trendów na rynkach finansowych. Ostatnim przykładem zastosowań to systemy wykorzystywane w detekcji różnego rodzaju przestępstw finansowych poprzez analizowanie operacji bankowych w celu wykrycia anomalii i nietypowych wzorców. Sektor handlowy Sektor handlowy to jedna z głównych gałęzi biznesu, która czerpie korzyści z metod eksploracji danych. Karty lojalnościowe i sprzedaż on-line umożliwiają gromadzenie ogromnych ilości danych pochodzących z informacji o sprzedaży produktów, historii zakupów indywidualnych klientów czy śledzeniu tras przesyłek. Jak ogromne i szybko rosnące mogą to być zasoby informacji świadczy przykład firmy Amazon, która w latach w swojej bazie danych miała zarejestrowanych 130 milinów aktywnych kont klientów (takich, którzy w ciągu ostatnich 12 miesięcy dokonało co najmniej jednego zakupu). Pod koniec roku kwartału 2012, liczba aktywnych kont klientów tej firmy wynosiła ponad 200 milionów [5]. Zebrane dane wykorzystywane są do budowy hurtowni danych, których analiza pozwala określić zachowania konsumentów, wyznaczać grupy docelowe, którym oferowane są konkretne produkty, podnosić jakość usług (a tym samym poziom zadowolenia klienta), zwiększać sprzedaż i redukować koszty obsługi klientów. Przykłady wykorzystania metod eksploracji danych w sektorze sprzedażowym to przede wszystkim tworzenie kompleksowych

12 systemów analizujących historię zakupów indywidualnych klientów, trendy i zmiany w przyzwyczajeniach, co pozwala na indywidualne dobieranie ofert i promocji dla potrzeb klienta i zwiększa prawdopodobieństwo zatrzymania klienta w danej sieci handlowej. Innym przykładem wykorzystania narzędzi eksploracji danych jest analiza asocjacji, czyli określanie jakie jest prawdopodobieństwo że klient kupujący produkt X kupi jeszcze produkt Y. Tego typu analizy wykorzystywane są przez systemy rekomendacji, które analizując historię zakupów konkretnej osoby oraz zachowania innych klientów są w stanie tworzyć sprofilowane rekomendacje, które przedstawiane są później klientowi w postaci indywidualnej oferty i różnego rodzaju dedykowanych kuponów czy zniżek mających na celu przyciągnąć daną osobę do konkretnej sieci handlowej. Zebrane informacje wykorzystywane również mogą być do celów analiz efektywności kampanii reklamowych i ich wpływu na wzrost sprzedaży z uwzględnieniem regionu, rodzaju produktów oraz czasu. Ostatni element, to analiza tras przesyłek oraz opracowywanie najbardziej wydajnych metod dystrybucji towarów. Analiza danych biologicznych, bioinformatyka Dziedziną nauki, która z pewnością nie mogłaby dziś istnieć w obecnej postaci bez zaawansowanych metod eksploracji danych jest biologia molekularna, a w szczególności takie jej takie działy jak genomika, proteomika czy metabolomika. Eksperymentalne techniki wysokoprzepustowe takie jak mikromacierze DNA, metody głębokiego sekwencjonowania RNA-Seq w genomice, czy spektrometrii masowej w proteomice generują ogromne ilości danych, których analiza oraz interpretacja nie byłaby możliwa bez komputerów oraz odpowiednio zaprojektowanych algorytmów eksploracji danych. Przykładowo, rozmiar surowych danych pochodzących z jednego eksperymentu głębokiego sekwencjonowania zrealizowanego za pomocą platformy Illumina HiSeq 2500 może wynosić 600 GB 2. Wybrane zastosowania metod eksploracji danych w analizie danych biologicznych to asemblacja genomów, analiza ekspresji, uliniawianie i porównywanie sekwencji DNA oraz białek w celu znalezienie podobieństwa funkcjonalnego na podstawie podobieństwa sekwencji, analiza oddziaływań między cząsteczkami, projektowanie leków czy wykorzystywanie metod komputerowych do przewidywania struktur białek. Ponieważ zwykle problemy badawcze rozwiązywane w laboratoriach naukowych charakteryzują 2

13 się własną specyfiką, powstaje wiele dedykowanych rozwiązań, często w postaci skryptów czy programów. Istnieją również komercyjne rozwiązania, jednym z przykładów jest zestaw dostępnych przez Internet narzędzi analizy danych genomowych firmy Ingenuity [6]. Systemy eksperckie w diagnostyce medycznej Coraz większym zainteresowaniem cieszy się zastosowanie różnego rodzaju systemów eksperckich do wspomagania diagnostyki chorych. Tego typu systemy próbują postawić diagnozę na podstawie listy objawów, symptomów oraz wprowadzanych wyników badań. Odpowiednio zaprojektowane algorytmy maszynowego uczenia, będącą częścią takiego systemu, analizują przygotowaną przez ekspertów, bazę danych. Wynikiem działania takiego systemu jest lista najbardziej prawdopodobnych chorób wraz z proponowanym sposobem leczenia. Każdy nowy przypadek wprowadzony do systemu wraz z potwierdzoną przez eksperta diagnozą jest kolejnym elementem, który sprawia że system uczy się, stając się coraz bardziej dokładnym i zaawansowanym narzędziem. Systemy takie coraz częściej zintegrowane są z różnego rodzaju czujnikami (np. ciśnienia krwi, temperatury, pulsu) i na monitorują stan pacjenta. Historycznie, jednym z pierwszych tego typu systemów był MYCIN stworzony w latach 70-tych regułowy system ekspercki diagnozujący bakteryjne choroby krwi [7]. Mimo że system ten osiągał wyniki lepsze niż lekarze diagnozujący choroby, nigdy nie był używany w praktyce. Jako przykład obecnie działającego praktycznie tego typu system można podać komercyjny system Clinical Decision Support and Analytics firmy Alere Analytics. Badania przeprowadzone na grupie 77 tysięcy pacjentów i z udziałem 500 lekarzy wykazały dokładność system na poziomie 100%, a jego precyzję na poziomie 55% [8]. Eksploracja danych i Systemy Informacji Geograficznej (GIS) Nowe techniki umożliwiające zbieranie danych przestrzennych (geograficznych) takie jak mapowanie cyfrowe, teledetkcja czy technologia sieci sensorowych spowodowały wzrost zainteresowania oraz popularności Systemów Informacji Geograficznej (ang. Geographic Information Systems). Dane przestrzenne to dane dotyczące obiektów oraz zjawisk występujących na powierzchni Ziemi oraz w jej sąsiedztwie, są zwykle danymi o ogromnej objętości. Opisują one położenie obiektów, ich właściwości geometryczne, relacje

14 przestrzenne (topologia, odległości, kierunki) oraz zjawiska im towarzyszące. Ich cechą charakterystyczną jest to, że atrybuty obiektów wzajemnie ze sobą sąsiadujących mieć wpływ na ich zachowanie i w związku z tym analizując cechy danego obiektu powinniśmy również brać pod uwagę jego otoczenie. Przykłady danych przestrzennych to między innymi: dane satelitarne pochodzące z systemu obserwacji Ziemi NASA EOS 3, mapowanie występowania i częstości przestępstw, dane pochodzące ze spisu ludności, dane dotyczące ruchu samochodowego, dane dotyczące częstości zachorowalności na choroby z uwzględnieniem region czy klimatyczne bazy danych. Przykładowe informacje jakie można uzyskać analizując dane przestrzenne to analiza i przewidywanie zmian środowiska pod wpływem naturalnych oraz ludzkich czynników, prognozowanie oraz analiza geografii przestępczości, ocena działań prewencyjnych oraz programów resocjalizacyjnych, inteligentne systemy analizy natężenia ruchu samochodowego oraz zarządzania ruchem. Innym zastosowaniem metod eksploracji danych przestrzennych jest analiza rozprzestrzeniania się zanieczyszczeń w środowisku lub próba przewidywania zagrożeń oraz katastrof naturalnych, a także ich wpływu na środowisko [9] [10] [11]. Inne zastosowania eksploracji danych w przemyśle Systemy eksperckie wykorzystywane są w wielu dziedzinach przemysłu. Zbierane dane oraz rodzaj przeprowadzanych analiz silnie uzależnione jest od branży w jakiej działa dane przedsiębiorstwo. W dalszej części przedstawiono kilka przykładowych zastosowań metod eksploracji danych oraz systemów eksperckich w różnych gałęziach przemysłu. Poniższa lista absolutnie nie wyczerpuje wszystkich możliwości zastosowań. Jedną z gałęzi przemysłu, gdzie znajdują zastosowanie metody eksploracji danych znajdują jest przemysł wydobywczy, gdzie wdraża się systemy przewidujące zagrożenie wystąpienia wybuchów metanu czy tąpań na podstawie danych pochodzących z systemów monitorowania zagrożeń sejsmicznych [12]. Innym przykładem dziedziny, która wykorzystuje metody eksploracji danych w codziennej działalności jest branża telekomunikacyjna. Zapisy zawierające zapis telefonicznej bądź też internetowej komunikacji pomiędzy osobami są najprawdopodobniej największymi bazami na świecie. Zgodnie z najnowszymi szacunkami, w ciągu jednej minuty wykonywanych jest 370 tysięcy rozmów 3

15 na Skype, wysyłanych jest 198 milionów i i dodawanych jest ponad pół miliona komentarzy na portalu społecznościowym Facebook 4. Dodatkowo, tylko w Stanach Zjednoczonych dziennie wykonywanych jest ponad 2.4 miliardów połączeń i przesyłanych ponad 6.1 miliardów SMS-ów 5. Dane, które zbierane są przez firmy telekomunikacyjne to nie tylko dane dotyczące klientów, ale także listy połączeń, lokalizacja osób dzwoniących, godziny wykonywania połączeń czy czas ich trwania. Zebrane dane mogą służyć do analizy obciążenia sieci, wykrywania nadużyć i oszustw albo do znajdowania grup klientów, którym można sprzedać konkretny produkt. Innym interesującym sposobem wykorzystania informacji z sieci telekomunikacyjnych jest poszukiwanie zachowań odbiegających od normalnych wzorców. Na przykład silny wzrost liczby wykonywanych połączeń w jakiejś lokalizacji może wskazywać na występowanie jakichś nietypowych sytuacji w tych konkretnych lokalizacjach. Kolejną dziedziną, gdzie metody eksploracji danych znajdują swoje zastosowanie są przedsiębiorstwa lotnicze. Metody eksploracji danych wykorzystywane w systemach rezerwacji biletów linii lotniczych próbują zmaksymalizować zyski poprzez przewidywania w jaki sposób zarządzać cenami biletów na konkretne połączenia tak, aby uzyskać najwyższą stopę zwrotu i największe wykorzystanie miejsc w samolotach. Tego typu systemy wykorzystywane są np. przez Lufthanse [13]. Inną dziedziną, gdzie metody eksploracji danych mają również zastosowanie jest przemysł paliwowy. Koncerny paliwowe wykorzystują systemy eksperckie do wykrywania wycieków paliwa z podziemnych zbiorników, rozkalibrowania pistoletów paliwowych czy wykrywania oszustw na stacjach lub na trasach dostaw paliwa. Przykładem takiego systemu jest SIRA (ang. Statistical Inventory Reconciliation Analysis) firmy Warren Rogers [14] Trendy oraz kierunki rozwoju w metodach eksploracji danych Zróżnicowanie zastosowań, rodzaju analizowanych danych, dostępnych metod oraz technologii sprawiają, że eksploracja danych jako dziedzina nauki cały czas dynamicznie się rozwija. W epoce Big data, wciąż istnieje potrzeba tworzenia nowych metod, ulepszania metod istniejących czy też integracji nowych rozwiązań z istniejącymi już systemami 4 Źródło: 5 Źródło:

16 eksperckimi. Poniżej przedstawiono kierunki, w jakich w najbliższych latach rozwijać będzie się dziedzina eksploracji danych w Polsce oraz na świecie [3] [15]. Rozszerzanie dziedzin zastosowań eksploracji danych Początkowo metody eksploracji danych wykorzystywane były jako dodatkowe narzędzia analizy danych oraz generowania zaawansowanych raportów dla hurtowni danych klientów czy transakcji. Jednakże wraz z rozwojem narzędzi oraz technologii służących do gromadzenia danych, coraz więcej firm i przedsiębiorstw zaczęło wykorzystywać metody eksploracji danych w swojej codziennej działalności. Trend ten będzie w przyszłości również postępował, w wyniku czego powstawać będą specjalizowane systemy dedykowane do rozwiązywania specyficznych problemów. Interaktywna eksploracja danych Stopień skomplikowania analizowanych problemów oraz złożoność danych coraz bardziej utrudniają uzyskiwanie wyników na zadowalającym poziomie. Coraz częściej powstają interaktywne systemy, w których użytkownik bierze czynny udział w procesie eksploracji danych, nadzorując go i kierując nim, poprzez wskazywanie, które ze znalezionych wzorców są dla niego najbardziej interesujące. Równocześnie w trakcie interakcji z użytkownikiem system uczy się na bieżąco, tak aby w przyszłości koncentrować się na wzorcach zgodnych z preferencjami użytkownika. Eksploracja danych w sieciach społecznych W ostatnich latach portale społecznościowe zyskują coraz więcej użytkowników, którzy świadomie lub nie, udostępniają za ich pomocą w Internecie ogromną ilość informacji na swój temat. Kolejnym krokiem będzie łączenie informacji uzyskanych z sieci społecznych z informacjami dostępnymi w systemach handlowych, oceny ryzyka kredytowego, czy z systemami wykrywania przestępczości co pozwoli na jeszcze dokładniejsze znajdowanie grup lub jednostek o określonych preferencjach czy zachowaniach. Eksploracja danych strumieniowych

17 Strumienie danych, to rodzaj informacji, która dostarczana jest w sposób ciągły. Przykłady tego typu danych to ruch sieciowy, dane pochodzące z czujników, dane z telefonicznych centrów obsługi klienta, czy dane transakcji bankowych. Oprócz tego, że dane te posiadają ogromną objętość, charakterystyczną ich cechą jest nieskończoność, ciągła zmienność oraz ograniczony opis. Zmianie może ulegać zarówno zbiór cech opisujących obiekty jak i zbiór pojęć, które te obiekty opisują. Specyfika tych danych wymaga modyfikacji istniejących metod, tak aby dostosowywały się do dynamicznie zmieniających się danych. Osobną kategorią danych strumieniowych są dane, które analizowane muszą być w czasie rzeczywistym, na przykład dane pochodzące z systemów giełdowych czy systemów wykrywania zagrożeń. Analiza takich danych wymaga systemów, które będą potrafiły budować oraz modyfikować modele w czasie rzeczywistym [16]. Ochrona prywatności Zaawansowane metody eksploracji danych, które pozwalają łączyć i wydobywać informacje z różnych, często w ogóle niepowiązanych ze sobą baz danych, w połączeniu z ogromną ilością danych osobistych na nasz temat, która dostępna jest w Internecie stanowią zagrożenie dla naszego bezpieczeństwa oraz prywatności. Problem staje się szczególnie istotny biorąc pod uwagę coraz popularniejsze wykorzystywanie metod eksploracji danych w wykrywaniu przestępstw oraz przeciwdziałaniu terroryzmowi. Z jednej strony następować będzie rozwój metod, które będą potrafiły wyszukiwać wzorce z zachowaniem naszej prywatności, z drugiej strony istnieje pilna potrzeba stworzenia odpowiednich regulacji prawnych, tak aby dostęp do informacji uzyskanych za pomocą metod eksploracji danych miały jedynie uprawione instytucje w uzasadnionych przypadkach oraz niemożliwa lub ograniczona była sprzedaż takich informacji. Inne kierunki rozwoju Przyszłe trendy w eksploracji danych obejmują również opracowanie skalowalnych metod dla problemów wielowymiarowych, odkrywanie złożonych wzorców w złożonych typach danych, eksploracja struktur sieciowych w sieciach komputerowych, opracowanie metod rozproszonej eksploracji danych oraz wykorzystanie systemów agentowych do odkrywania wiedzy, dalszy rozwój metody eksploracji danych w dziedzinie analizy danych

18 biomedycznych, eksploracja danych opisujących procesy (np. przepływy pracy), praca z danymi, które są niezrównoważone, dynamiczne i podlegające ewolucji Dobre praktyki CRISP-DM (ang. Cross Industry Standard Process for Data Mining) opisuje model działania, który stosowany jest przez ekspertów w metodach eksploracji danych [17]. Ankiety przeprowadzone w latach 2002, 2004 i 2007 przez portal KDNuggets 6 wskazały CRISP-DM jako wiodącą metodologię. Mimo, że sama metodologia od kilku lat nie jest już aktywnie rozwijana (w 2008 roku została powołana grupa CRISP-DM 2.0 Special Interest Group, niestety wyniki jej prac do dziś nie zostały opublikowane), samo podejście nie straciło na aktualności i dalej stanowi de facto standard dla podjeść wymagających eksploracji danych. Zgodnie z podejściem CRISP-DM, proces eksploracji danych składa się z sześciu podstawowych elementów. Kolejność poszczególnych faz nie jest ściśle ustalona i poruszanie się pomiędzy tymi fazami jest jak najbardziej pożądane. Na Rysunku 5 przedstawiono diagram reprezentujący poszczególne fazy procesu eksploracji danych. Strzałki reprezentują najczęstsze i najważniejsze zależności pomiędzy poszczególnymi fazami. Poszczególne fazy modelu CRISP-DM: - Analiza biznesowa (ang. business understanding) polega na zrozumieniu wymagań oraz celu projektu z perspektywy biznesowej a następnie przełożenie tej wiedzy na zdefiniowany problem eksploracji danych. Jest to również moment, w którym ustalany jest dokładny plan działania. 6

19 Rysunek 5. Proces eksploracji danych zgodnie ze standadrem CRISP-DM. Na podstawie: [17] oraz - Analiza danych (ang. data understaning) faza polegająca na rozpoczęciu procesu zbierania danych, ocenie jakości danych, zidentyfikowaniu problemów jakie mogą pojawić się podczas analizy danych, identyfikacja kluczowych elementów danych, które będą stanowić podstawę analizy - Przygotowanie danych (ang. data preparation) kroki mające na celu utworzenie zbioru danych, który będzie przesłany na wejście wybranej metody eksploracji danych. Podstawowe elementy tej fazy to wybór danych, czyszczenie danych, konstrukcja atrybutów, integracja oraz formatowanie. - Modelowanie (ang. modeling) etap mający na celu zastosowanie oraz sprawdzenie różnych metod eksploracji danych i znalezienie metody, która najlepiej będzie dopasowana do analizowanego problem. Również jest to moment poszukiwania oraz dostrajania właściwych parametrów algorytmów eksploracji danych. - Ocena jakości (ang. evaluation) faza, w której ocenia się jakość zbudowanego modelu. Ocenie podlega zarówno wydajność zbudowanego modelu jak i całego procesu eksploracji danych. Analizuje się również czy udało się osiągnąć cele

20 biznesowe. W tym miejscu również zostaje podjęta decyzja czy uzyskane rezultaty są na tyle wiarygodne aby można było je wykorzystać. - Wdrożenie (ang. deployment) plan wykorzystania uzyskanych wyników, stworzenie raportu końcowego, wdrożenie produkcyjne systemu jeśli był on wynikiem całego projektu, ocena całego procesu eksploracji danych. CRISP-DM nie jest jedynym możliwym podejściem do procesu eksploracji danych. Inne metodologie to SEMMA, KDD Roadmap czy RAMSYS. Porównanie różnych podejść do procesu eksploracji danych wraz ze źródłami można znaleźć w pracy [18]. 3. Szanse i zagrożenia dla województwa śląskiego związane z rozwojem technologii eksploracji danych Województwo Śląskie jest to najbardziej uprzemysłowiony oraz zurbanizowany region Polski. Górnośląski Okręg Przemysłowy (GOP) znajdujący się w centralnej części województwa śląskiego jest najsilniej uprzemysłowionym regionem Polski. Jest to również drugie województwo w Polsce pod względem liczby ludności oraz najgęściej zaludnionym obszarem Polski [19]. Na terenie województwa śląskiego znajduje się około 13% potencjału badawczo-rozwojowego istniejącego w Polsce. Jest to drugi co do wielkości po województwie mazowieckim ośrodek badawczy kraju, składający się z 112 jednostek, w tym: 36 jednostek naukowych i badawczo-rozwojowych, 46 jednostek rozwojowych i 14 szkół wyższych prowadzących badania w tym zakresie. Województwo jest także jednym z największych ośrodków akademickich w kraju [20]. Potencjał zarówno przemysłowy jak i naukowy regionu sprawia, że województwo śląskie jest miejscem, gdzie zarówno można prowadzić badania naukowe dotyczące metod eksploracji danych oraz systemów eksperckich, a także z powodzeniem przekształcać teoretyczne wyniki prac badawczych w praktyczne wdrożenia w licznych przedsiębiorstwach oraz zakładach przemysłowych. Wprowadzenie nowoczesnych systemów eksperckich do procesu produkcji przemysłowej pozwoli na poprawę bezpieczeństwa pracy, a także kontrolę oraz optymalizację produkcji,

21 co przyniesie zakładom przemysłowym niebagatelne oszczędności przy stosunkowo niedużych nakładach finansowych. Zwiększy to konkurencyjność przedsiębiorstw regionu na rynku krajowym oraz zagranicznym i bezpośrednio przełoży się na zwiększenie wzrostu gospodarczego w regionie. Położenie nacisku na badania związane z eksploracją danych w kontekście problemów lokalnych takich jak monitoring zanieczyszczeń czy zapobieganie katastrofom naturalnym umożliwi rozwój jednostek badawczo-rozwojowych w regionie. Pozwoli to na większe pozyskiwanie kapitału z projektów krajowych oraz zagranicznych na badania. Wynikiem wdrożeń zaproponowanych rozwiązań będzie nie tylko poprawa jakości życia mieszkańców, ale również zwiększone inwestycje w różnego rodzaju systemy monitoringu oraz akwizycji danych. Niebagatelne znacznie będzie miało również wykształcenie kadry naukowej wyspecjalizowanej w problemach region. Aglomeracja śląska zajmuje około 18% powierzchni województwa śląskiego. Dodatkowo charakterystyczna jest bardzo gęsta sieć miejska - 55 miast na 10 tys. km2 [21]. W dobie spowolnienia gospodarczego, istotne jest zapewnienie możliwości pracy nie tylko w mieście zamieszkania, ale również w okolicznych miastach. Chęć mieszkańców do przemieszczania się pomiędzy poszczególnymi miastami aglomeracji uzależniona jest w dużej mierze od wydajnego systemu transportu - zarówno samochodowego jak i publicznego. Inteligentne systemy zarządzania ruchem są narzędziem służącym do poprawy płynności i bezpieczeństwa ruchu miejskiego, jak również koordynowania transportu publicznego. Wykorzystanie takich rozwiązań promuje mobilność mieszkańców, co przekłada się na większe możliwości poszukiwania pracy, a tym samym zmniejszenie stopy bezrobocia w regionie. Wprowadzanie systemów eksperckich do działalności przedsiębiorstwa jest procesem ryzykownym, kosztownym i nie zawsze dającym natychmiastowe i wymierne korzyści. Zaproponowanie właściwego rozwiązania jest często wynikiem długiego procesu prób i błędów. Wymagane są nakłady finansowe bez gwarancji zwrotu inwestycji. Przedsiębiorstwa czy instytucje, które chcą wprowadzać tego typu systemy muszą posiadać nadwyżki finansowe i przygotować się na długi okres pracy badawczej zanim zaproponowane rozwiązania zostaną wdrożone. Dyrektorzy przedsiębiorstw i szefowie działów zajmujących się badaniami oraz rozwojem muszą mieć silne przekonanie w sens prowadzonych prac, a często i wiarę w podjęte działania. Zwykle tego typu projekty analizowane są we współpracy z uczelniami lub jednostkami badawczo-rozwojowymi, a finansowanie badań

22 możliwe jest za środki pochodzące z projektów na badania innowacyjne i rozwojowe. Wykorzystanie metod eksploracji danych w administracji publicznej zwykle wiąże się z budową bazy danych obywateli, zawierającej wrażliwe dane osobowe. W tego typu przypadkach zawsze należy brać pod uwagę ryzyko niepowołanego dostępu. Z jednej strony istnieje ryzyko włamania do systemu gdzie takie dane są przechowywane, z drugiej konieczne jest uświadamianie urzędników o konieczności ochrony tego typu danych. Negatywnym przykładem udostępnienia danych osobowych w województwie śląskim jest sytuacja z jesieni 2013 roku, gdy przez przypadek na stronach śląskiego urzędu marszałkowskiego zostały publicznie udostępnione dane osobowe ponad 10 tyś. osób, właścicieli działek wokół lotniska w Pyrzowicach.

23 4. Potencjalne zastosowania eksploracji danych na terenie województwa śląskiego, zarówno w kontekście administracji jak i działalności przedsiębiorstw 4.1. Potencjalne zastosowanie eksploracji danych w kontekście działalności przedsiębiorstw i jednostek badawczo-rozwojowych Zakłady przemysłu ciężkiego jak huty, kopalnie czy elektrownie obecne w regionie, coraz częściej wykorzystują systemy ekspercie zarówno do poprawy bezpieczeństwa pracy jak i kontroli oraz optymalizacji procesu produkcji. Obecnie normą staje się wprowadzanie różnego rodzaju systemów monitoringu oraz kontroli, których podstawą działania są czujniki pracy urządzeń. Dane pochodzące z tych czujników mogą być wykorzystywane nie tylko do bieżącego monitorowania urządzeń, ale również jako źródło danych do analizy całego procesu produkcji. Wykorzystanie systemów eksperckich do kontroli oraz optymalizacji produkcji, może zwiększyć konkurencyjność przedsiębiorstw na rynku poprzez obniżenie kosztów produkcji. Badania przeprowadzone w krajach, gdzie takie systemy wprowadzane są do zakładów przemysłowych wskazują, że analiza danych za pomocą technik eksploracji danych daje możliwość szczegółowej analizy procesu produkcji oraz identyfikacji miejsc, w których ten proces mógłby być ulepszony. Wyniki wprowadzonych ulepszeń bezpośrednio przekładają się na zwiększenie konkurencyjności przedsiębiorstw, poprzez obniżenie kosztów produkcji, oszczędność energii czy poprawę bezpieczeństwa pracy. Przykładowo, analiza danych zebranych w jednej z fabryk w Kirby w Liverpoolu pozwoliła oszacować, że optymalizacja procesu produkcji (przy minimalnych kosztach inwestycji), pozwoliłaby zmniejszyć koszty energii o 13% i poprawić o 30% wyniki produkcji [22]. Inteligentne systemy od lat wykorzystywane są w przemyśle górniczym

24 do wykrywania zagrożeń tąpaniami oraz obwałami, monitorowania zagrożeń infrastruktury kopalni i powierzchni wywołanych eksploatacją górniczą, monitorowania i wizualizacji oraz sterowania procesem pracy kompleksu ścianowego, monitorowania i sterowania w zakresie wybranych procesów przemysłowych. Na Górnym Śląsku prace badawcze prowadzone są na specjalistycznych wydziałach uczelni (Politechnika Śląska, Uniwersytet Śląski) oraz przez jednostki badawczo-rozwojowe takie jak Instytut Technik Innowacyjnych EMAG, Główny Instytut Górnictwa czy KOMAG. W przemyśle hutniczym, metody eksploracji danych stosowane są do kontroli jakości procesu produkcji. Proces wytwarzania stali zależny jest od wielu parametrów, których kontrola jest kluczowa dla uzyskania dobrego produktu. Tymczasem odbiorcy są coraz bardziej wymagający i tylko sprzedaż produktu o najlepszej jakości gwarantuje sukces na rynku. Powody pojawiania się wad stali w procesie produkcji nie są oczywiste, a usuwanie defektów wymaga dalszej obróbki jest więc kosztowne i czasochłonne. Systemy eksperckie wykorzystywanie w hutnictwie analizują skład pierwiastkowy stopu oraz inne parametry produkcji i umożliwiają przewidywanie pojawienia się wad produktu oraz takie sterowanie procesem produkcji, aby prawdopodobieństwo się ich pojawienia było jak najmniejsze [23]. Śląsk jest terenem wysoko uprzemysłowionym, w związku z tym jest również regionem narażonym na wysokie zanieczyszczeniu powietrza. Zgodnie z raportem Europejskiej Agencji Ochrony Środowiska śląskie miasta - Gliwice, Zabrze, Sosnowiec i Katowice należą do pierwszej dziesiątki europejskich miast o najwyższej liczbie dni o przekroczonych normach jakości powietrza [24]. Metody eksploracji danych mogą służyć do modelowania oraz przewidywania wysokości stężenia pyłów w powietrzu, a następnie opracowywania programów poprawy jakości powietrza. Zgodnie z polskim ustawodawstwem, dostosowanym do wymogów Unii Europejskiej, istnieje konieczność informowania społeczeństwa na temat jakości powietrza, a szczególnie ryzyka przekroczenia dopuszczalnych czy alarmowych poziomów substancji w powietrzu. Istotnym elementem takich działań jest prognozowanie stężeń zanieczyszczenia powietrza. Badania koncentrują się również na analizie wpływu zanieczyszczenia powietrza na zdrowie mieszkańców regionu. Na terenie Śląska badaniami takimi zajmują się jednostki uczelni oraz Instytut Podstaw Inżynierii Środowiska PAN w Zabrzu, a także Instytut Ekologii Terenów Uprzemysłowionych w Katowicach. Przykładem tego typu badań jest projekt Air Silesia System informacji o jakości powietrza na obszarze Pogranicza Polsko-Czeskiego w rejonie

25 Śląska i Moraw, który w latach był współfinansowany przez Europejski Fundusz Rozwoju Regionalnego [25]. W podobny sposób metody eksploracji danych mogą być również wykorzystywane w badaniach dotyczących monitoringu jakości wód powierzchniowych i osadów dennych, a także stopnia skażenia terenów. Śląsk jako teren o wysokim zagęszczeniu miast i gęstej sieci drogowej wymaga specjalnych rozwiązań w zakresie monitoringu oraz sterowania ruchem samochodowym. Z roku na rok w regionie wydłuża się czas dojazdu do pracy. Opublikowane w 2012 roku badania wykazały, że w ciągu roku średni czas miesięczny opóźnienia na odcinku 10 km podczas dojazdu do pracy mieszkańca Katowic wzrósł o 21 minut (z 3 godzin i 13 min do 3 godzin i 34 minut). Przyjmując, że czas spędzony w korkach osoby aktywnej zawodowo oznacza potencjalnie utracone korzyści finansowe, roczny koszt jak poniesiony został prze mieszkańców Katowic w 2011 roku wyniósł tyś PLN (analiza nie uwzględnia kosztów paliwa, emisji CO2 kosztów zdrowotnych oraz kosztów ponoszonych przez budżet państwa i firmy z tytułu wypadków drogowych) [26]. W związku z tym, że w ciągu najbliższych lat liczba samochodów na drogach śląskiego województwa będzie rosnąć, systemy eksperckie nadzorujące ruch miejski oraz koordynujące transport publiczny będą w przyszłości niezbędnym elementem sieci transportu miejskiego. Pozytywnym przykładem stosowania tego typu rozwiązań jest zrealizowany w ramach projektu Rozbudowa systemu detekcji na terenie miasta Gliwice wraz z modernizacją wybranych sygnalizacji świetlnych, etap I Inteligenty System Transportowy, którego pierwszy etap z sukcesem został wdrożony jesienią 2013 roku. Projekt w latach współfinansowany był przez Europejski Fundusz Rozwoju Regionalnego. Wdrożenie systemu automatyczno-dynamicznego sterowania ruchem zapewnia zwiększenie płynności ruchu oraz przepustowości kluczowych odcinków dróg miejskich, co przekłada się na skrócenie czasu przejazdu oraz poprawia bezpieczeństwo [27]. Liczne ośrodki medyczne, szpitale oraz kliniki znajdujące się na terenie województwa śląskiego poza pracą kliniczną zajmują się również prowadzeniem badań naukowych. Nowoczesne badania w medycynie wymagają nie tylko doświadczenia oraz zaplecza szpitalno-medycznego, ale również umiejętności oraz doświadczenia w dziedzinie analizy danych. Techniki wysokoprzepustowe takie jak głębokie sekwencjonowanie, mikromacierze DNA czy spektrometria masowa produkują ogromne ilości danych, które muszą zostać

26 później przeanalizowane za pomocą metod komputerowych. Przykładem udanej współpracy między śląskimi ośrodkami medycznymi a ekspertami w dziedzinie stosowania metod eksploracji danych jest Projekt Śląska Biofarma, w ramach którego utworzono konsorcjum składające się z Instytutu Onkologii w Gliwicach, Politechniki Śląskiej, Śląskiego Uniwersytetu Medycznego oraz Uniwersytetu Śląskiego [28]. W ramach projektu udało się nawiązać ścisłą współpracę pomiędzy jednostkami posiadającymi już doświadczenie w dziedzinach takich jak biotechnologia, bioinżynieria oraz bioinformatyka. Między innymi powstały: Laboratorium Biologii Obliczeniowej i Bioinformatyki, Laboratorium Genetyki Molekularnej i Inżynierii Genetycznej, Laboratorium Genomiki Funkcjonalnej czy Laboratorium Spektrometrii Mas. Oprócz nowoczesnej aparatury laboratoryjnej, umożliwiającej prowadzenie eksperymentów biomedycznych i bioinżynieryjnych na światowym poziomie, inwestycje w ramach projektu obejmowały również uruchomienie na terenie Politechniki Śląskiej, w ramach Laboratorium Biologii Obliczeniowej i Bioinformatyki wysokowydajnego klastra obliczeniowego Ziemowit Potencjalne zastosowanie eksploracji danych w kontekście administracji Określenie administracja jest bardzo szerokie i może oznacza działalność organizatorską realizowaną przy pomocy aparatu urzędniczego, obejmująca zakres spraw publicznych regulowanych przez ogólne normy prawne. Określenie publiczna często odnosi się do instytucji rządowych, zarówno na poziomie lokalnym bądź krajowym, a także zawiera w sobie działalność różnego rodzaju inicjatyw obywatelskich czy organizacji samorządowych ukierunkowanych na działalność non-profit. Inne instytucje, które również mogą zostać objęte tym określeniem to państwowa służba zdrowia, szkoły, uczelnie publiczne, organizacje charytatywne, urzędy pocztowe czy biblioteki. Podstawowe zastosowanie metod eksploracji danych w sektorze publicznym dotyczyły poszukiwania anomalii w celu wykrywania oszustw oraz marnotrawstwa środków. Kolejne zastosowanie systemów eksperckich w tym sektorze dotyczy również poprawienia jakości oraz optymalizacji procesów administracyjnych. Rosnące wymagania oraz oczekiwania wobec administracji publicznej z równoczesnymi zmianami zachodzącymi w rzeczywistości społeczno-gospodarczej sprawiają, że konieczna 7

27 staje się optymalizacja oraz zwiększenie wydajności pracy również w urzędach. Coraz większa cyfryzacja administracji sprzyja możliwości zbierania danych na temat procesów zachodzących w urzędach. Podobnie jak w przemyśle, szczegółowa analiza przebiegu tych procesów może być wykorzystana w celu optymalizacji pracy i przepływu dokumentacji, co bezpośrednio przełoży się na zwiększenie wydajności instytucji publicznych [29]. Coraz częściej metody eksploracji danych wykorzystywane są do monitorowania bezpieczeństwa wewnętrznego, a w szczególności wykrywania przestępstw oraz zagrożenia terroryzmem. Dostęp oraz powiązanie ze sobą informacji znajdujących się w bazach danych instytucji finansowych, firm telekomunikacyjnych, portali społecznościowych, analiza rekordów medycznych oraz informacji o kierunkach podróży, daje możliwości zapobiegania przestępstwom oraz aktom terroryzmu. Przykłady tego typu systemów to system Total Information Awarness [30] i jego następcy: ADVISE (Analysis, Dissemination, Visualization, Insight and Semantic Enhancement) [31] oraz PRISM [32]. Na świecie prowadzone są również badania związane z możliwością wykorzystania technik eksploracji danych do usprawnienia pracy urzędów podatkowych. Zorganizowana w 2011 roku w Dublinie konferencja OECD Conference on the Use of Advanced Analytics in Tax Administrations pokazała, że istnieje realne zainteresowanie wykorzystaniem metod eksploracji danych w urzędach podatkowych, a w niektórych krajach rozwiązania takie stosowane są w praktyce. Głównym celem jest tu rozwijanie metod analizujących informacje zawarte w deklaracjach podatkowych w identyfikacji oszustw podatkowych. Elektroniczne sytemu rejestracji, zgłaszania, wypełniania oraz realizacji płatności podatków są znakomitym źródłem danych dla systemów eksperckich. Zidentyfikowane transakcje podwyższonego ryzyka automatycznie przekazywane są do dalszej szczegółowej analizy przez urzędników, podczas gdy reszta transakcji procesowania jest w standardowy sposób [33].

28 5. Bariery wdrożenia systemów eksploracji danych na terenie województwa śląskiego Eksploracja danych jest regularnie wykorzystywaną dziedziną do rozwiązywania wielu problemów w przemyśle oraz nauce i z roku na rok zyskuje coraz więcej popularności oraz akceptacji w środowisku komercyjnych zastosowań. Jednakże w dalszym ciągu wykorzystanie metod eksploracji danych do rozwiązywania skomplikowanych i złożonych problemów w praktyce jest dużym wyzwaniem i wciąż wiele przeszkód musi zostać pokonanych aby wdrożyć produkcyjnie działający system. Podczas realizacji wielu projektów, szczególnie we współpracy praktyków ze środowiskiem naukowym, problemem jest efektywna komunikacja pomiędzy obiema stronami. Naukowcy najczęściej koncertują się na rozwiązywaniu problemów algorytmicznych, często ignorując sam proces produkcji oraz czynnik ludzki. Brak komunikacji pomiędzy obiema tymi grupami, a także częsty brak przekonania wśród kierownictwa czy osób podejmujących decyzje o finansowaniu, o wartości systemów eksperckich znaczenie utrudnia wdrażanie i praktyczne stosowanie rozwiązań opartych o metody eksploracji danych Brak motywacji do przekazywania środków finansowych Projektowanie, implementacja oraz wdrażanie systemów eksperckich jest procesem kosztownym i długoterminowym. Nie zawsze jest pewność, że przeprowadzone badania zakończą się sukcesem. Firmy czy kierownicy działów finansujących badania muszą zdawać sobie sprawę z tego, że często na wyniki trzeba czekać, a efektywność pierwszych wersji systemu bywa bardzo niska. Wiele projektów nie kończy się wdrożeniami gdyż

29 na początkowym etapie zyski nie są na tyle widoczne aby uzasadnione było finansowanie dalszych badań. Im więcej osoba podejmująca decyzje o prowadzeniu i finansowaniu projektu ma doświadczenia i praktyki w prowadzeniu projektów wykorzystujących metody eksploracji danych, tym większe są szanse, że projekt zakończy się sukcesem. Ważne jest również właściwe zdefiniowanie celów krótko i długoterminowych. Finansowanie działów badawczorozwojowych jest kosztowne i bardzo ciężko, szczególnie na początku, wykazać bezpośrednie korzyści uzyskiwane z prowadzenia takich badań. Z uwagi na powyższe, w okresie spowolnienia gospodarczego gospodarczej przedsiębiorstwa nie będą skłonne do ponoszenia tego typu inwestycji Ograniczenie liczby projektów na rozwój i innowacje Rozwiązaniem problemu finansowania jest współpraca między przemysłem oraz jednostkami naukowymi. Ułatwia to pozyskiwanie funduszy na badania z agencji oraz instytucji wspierających innowacyjność oraz rozwój przedsiębiorstw. Obecnie na Śląsku głównym źródłem tego typu inwestycji są projekty finansowane przez Unię Europejską w ramach różnego rodzaju programów rozwoju regionalnego, podnoszących konkurencyjność oraz innowacyjność przedsiębiorstw. Ograniczenie tego rodzaju finansowania w najbliższych latach może wpływać niekorzystnie na liczbę wdrożeń systemów eksperckich w województwie śląskim Problemy ze współpracą na linii ekspert specjalista dziedzinowy Zaprojektowanie wydajnego systemu eksperckiego dla rozwiązania konkretnego problemu wymaga ścisłej współpracy eksperta dziedzinowego oraz specjalisty eksploracji danych. Ogólne założenia metodyki są oczywiście wspólne i niezależne od dziedziny, jednak specyfika problemu, dla którego powstaje rozwiązanie, musi zostać uwzględniona w szczegółach. Zwykle żadne przedsiębiorstwo nie posiada szczegółowej dokumentacji procesu dla którego projektowany jest system, lub jest ona niezrozumiała dla osoby spoza dziedziny. Częsty kontakt i ścisła współpraca z ekspertem dziedzinowym ma szczególnie

30 istotne znaczenie w początkowym procesie analizy problemu oraz na etapie zrozumienia procesu i danych. Często jednak dostęp do ekspertów jest ograniczony lub eksperci niechętnie współpracują ze specjalistą w dziedzinie eksploracji danych. Powody tej niechęci mogą być bardzo różne, zarówno polityczne, organizacyjne jak i finansowe. Pośród nich można wymięć takie jak [34]: - Obawa o bezpieczeństwo pracy - dzielenie się wiedzą sprawia że osoba, która wcześniej była jedynym specjalistą w dziedzinie, nie jest już niezbędna dla działalności firmy. Jest to szczególnie istotny problem w czasach spowolnienia gospodarczego, gdy firmy szukają oszczędności poprzez ograniczenie liczby zatrudnionych pracowników. - Obawa utraty kontroli - posiadanie wiedzy związane jest w możliwością kontrolowania innych osób czy grup. Dzielenie się krytycznymi informacjami sprawdza, że znaczenie oraz możliwość wpływów ekspertów lub organizacji posiadających specjalistyczną wiedzę staje się coraz mniejsze. - Ograniczenia czasowe - dzielenie się wiedzą z osobą spoza dziedziny wymaga czasu poświęconego często na tłumaczenie rzeczy oczywistych z punktu widzenia eksperta. Uznani specjaliści w danej dziedzinie, do których zwykle dostęp jest najbardziej pożądany, są osobami zaangażowanymi w różnego rodzaju inne projekty i zadania, i nie mają czasu na dodatkowe obowiązki. - Ograniczenia finansowe - niektóre projekty nie przewidują finansowania ekspertów dziedzinowych lub przewidziane koszty finansowania są zbyt małe - Lekceważenie możliwości systemów eksperckich - osoby będące specjalistami dziedzinowymi często są przekonane że praca, którą wykonują jest na najwyższym poziomie i żaden system komputerowy nie jest w stanie zapewnić podobnej jakości działania. W związku z tym nie mają motywacji do wspierania takich projektów. Część z wymienionych powyżej powodów niekoniecznie jest racjonalna i zgodna z najlepszym interesem biznesowym przedsiębiorstwa, co jednak nie stoi w sprzeczności bycia zgodnym z interesem jednostki. Dlatego ważne jest aby mieć świadomość ich występowania i stosować rozwiązania, które ograniczą ich negatywny wpływ na wdrażanie metod eksploracji danych w przemyśle czy innych instytucjach.