Konferencja Hurtownia danych podstawą efektywnych decyzji

Transkrypt

1 Konferencja Hurtownia danych podstawą efektywnych decyzji 21 lutego 2008 r., w Warszawie przy ulicy Daimlera 1 odbyła się konferencja poświęcona tematyce Hurtowni Danych. Bardzo dobra organizacja i profesjonalizm obsługi pozwoliły na rozpoczęcie konferencji zgodnie z planem. Przedstawiciele portalu mieli okazję wziąć udział w wydarzeniu, na którym nie zabrakło ciekawych postaci ze świata IT. Fot. 1: Hurtowni danych podstawą efektywnych decyzji. Prowadzącym konferencji był Pan Andrzej Biesiekierski, prezes firmy Fild.NET. Po krótkim wprowadzeniu w tematykę Business Intelligence, kolejni prelegenci przedstawili szeroko pojęty problem Hurtowni danych. Jak przygotować się do wdrożenia hurtowni danych? Łukasz Koperniak (Business Solution Manager, ComArch S.A.) Customer Data Integration integracja i jakość danych w Data Center Krzysztof Majcherczyk (Starszy Konsultant, Ascen) Data Mining jako narzędzie wydobywania wiedzy ukrytej w danych. Grzegorz Migut (Dział Konsultingu, StatSoft Polska) Zastosowanie sztucznej inteligencji w deduplikacji i czyszczeniu danych case study. Maciej Stanusch, General Manager, Stanusch Technologies Wycisnąć 100%. Jak wykorzystać posiadane zasoby, żeby efektywnie stworzyć hurtownię danych. Piotr Pityński (Regionalny Dyrektor Sprzedaży, Fild.NET)

2 Fot. 2: Od Lewej: Andrzej Biesiekierski, prezes Fild.NET oraz Łukasz Koperniak (ComArch) Statystyki mówią, iż tylko około 30% projektów IT jest realizowanych na czas i w ramach założonego budżetu. Niektórzy nawet twierdzą, że takich projektów jest tylko 2%. Nasuwa się pytanie: dlaczego tak jest? Jedną z głównych przyczyn jest złożoność takiego projektu. Nie inaczej sprawa wygląda w przypadku budowy oraz wdrażania hurtowni danych. Pan Łukasz Koperniak, w swoim wykładzie poruszył takie kwestie jak pojęcie projektu i zakres prac przy wdrażaniu hurtowni danych. Następnie zostały przedstawione metodyki wdrażania systemów hurtowni danych (PMI, Prince2, Agile, XP oraz specjalistyczne: Oracle Data Warehouse, Dimensional Modelling ) W dalszej kolejności poznaliśmy typowe zagrożenia projektowe, o których należy pamiętać podczas każdej próby wdrożenia projektu. Pierwsze na liście, to: brak wsparcia zarządu oraz kadry kierowniczej trudności w pozyskaniu danych źródłowych niska jakość wymagań w stosunku do systemu zbyt ambitne cele w stosunku do czasu i budżetu zbyt małe doświadczenie wykonawcy jak i klienta niejednoznaczny zakres kompetencji i odpowiedzialności brak zaufania do systemu hurtowni danych Każda organizacja chcąca wdrożyć hurtownie danych powinna zadać sobie podstawowe pytania podczas etapu przygotowań do wdrożenia systemu: Po co chcemy wdrożyć system hurtowni danych?

3 Jak zebrać wymagania wobec systemu? Czy starczy nam na to pieniędzy? Czy jesteśmy organizacyjnie na to przygotowani? Jak przygotować do przedsięwzięcia pracowników? Jak wybrać dostawcę rozwiązania? Na koniec swojego wystąpienia Pan Łukasz Koperniak przypomniał, iż tani dostawca niekoniecznie oznacza dobrego dostawcę. Kluczowym okazuję się przygotowanie organizacji do wykorzystania hurtowni danych by osiągnąć pełen potencjał jakim to rozwiązanie dysponuje. Fot. 3: Iintegracja i jakość danych w Data Center - Krzysztof Majcherczyk (Starszy Konsultant, Ascen) Kolejnym prelegentem był Pan Krzysztof Majcherczyk, który omówił metody konsolidacji oraz zarządzania informacjami o klientach. Dokonał również przeglądu narzędzi wspomagających integrację danych oraz metody zapewniania stałego dostępu do aktualnych i jednolitych danych o klientach. Drugą część prezentacji Pana Krzysztofa stanowiło zarządzanie jakością danych w projektach Customer Data Integration a także metody zapewniania jakości gromadzonych i przetwarzanych w firmie danych. Przedstawił główne problemy związane z posiadaniem niezintegrowanych danych, takie jak: obniżona satysfakcja oraz jakość obsługi klienta utrata reputacji z powodu niewłaściwej obsługi klienta utracone okazje do zaoferowania usług/produktów wzrost kosztów obsługi klientów

4 Ostatnim tematem poruszonym przez Pana Majcherczyka był temat usprawniania i automatyzacji zarządzania jakością danych analizy jakości danych. Fot. 4: Data Mining jako narzędzie wydobywania wiedzy ukrytej w danych.grzegorz Migut (Dział Konsultingu, StatSoft Polska) Pan Grzegorz Migut (StatSoft Polska) dokonał przeglądu zastosowań analizy danych oraz korzyści jakie one za sobą niosą. Poznaliśmy definicje oraz rolę Data Mining wraz technikami (baz danych, statystyka oraz sztuczna inteligencja). Bardzo obrazowo przedstawiono właściwy cykl Data Mining wraz z praktycznymi przykładami zastosowań takimi jak: zwiększanie sprzedaży, analiza satysfakcji klientów, wykrywanie reguł sprzedażowych, zarządzanie ryzykiem czy prognozowanie. Druga część wykładu Pana Grzegorza dotyczyła systemu STATISTICA Data Miner. Przedstawiono w niej metody dostępu do danych (od płaskich plików.xls,.htm,.txt aż po pliki dbase, Lotusa czy SAS). Poznaliśmy również zestaw narzędzi służących czyszczeniu oraz transformacji danych wraz z narzędziami umożliwiającymi zastosowanie na danych wszystkich metod statystycznych wraz z najnowocześniejszymi metodami Data Mining. Dzięki komponentowi wizualizacji danych w Statistica Data Miner możliwe jest porównywanie wyników przetwarzania danych na wykresach dwu- oraz trójwymiarowych. W końcowej części wystąpienia Pan Grzegorz przedstawił bardzo ciekawą zaletę prezentowanego narzędzia. Okazuję się, iż system Statistica Data Miner integruję się z innymi systemami, co umożliwia na przykład uruchamianie analizy w tle z poziomu innej aplikacji.

5 Fot. 5: Zastosowanie sztucznej inteligencji w deduplikacji i czyszczeniu danych. Maciej Stanusch, General Manager, Stanusch Technologies Po 20 minutowej przerwie na kawę oraz burzliwych dyskusjach w kuluarach, poznaliśmy kolejnego prelegenta, Pana Macieja Stanuscha, General Managera, firmy Stanusch Technologies, który przedstawił zastosowanie sztucznej inteligencji w czyszczeniu oraz deduplikacji danych. Wskazał jak często organizacja posiada kilkadziesiąt rozproszonych baz danych o nieujednoliconej strukturze nie zdając sobie nawet z tego sprawy. W takiej sytuacji duplikacja danych jest nieunikniona i z pomocą przychodzą systemy czyszczenia danych, takich jak na przykład WIPER. Bardzo interesujące, polskie rozwiązanie, które polega na połączeniu analizatora leksykalnego, sztucznej inteligencji wspieranej następującymi bazami danych: baza nazw firm (700 tys.) baza nazw miejsc (39 tys.) oparta na bazie GUS TERYT baza nazw ulic (31 tys.) również GUS-TERYT baza kodów pocztowych (110 tys.) baza nazwisk (400 tys.) baza imion (1.7 tys.) W uproszczeniu algorytm działania WIPER'a polega na podłączeniu się oraz zaimportowaniu danych ze źródła. Zmapowania zaimportowanych danych oraz czyszczenia danych. Następnie usuwane są duplikaty i na zakończenie dane są eksportowane do wskazanej bazy danych. Pan Maciej Stanusch zapoznał nas również z przykładami wdrożeń rozwiązania WIPER. W przypadku niektórych systemów, WIPER umożliwił wzrost efektywności pracowników nawet o 90%!

6 Fot. 6: Wycisnąć 100%. Jak wykorzystać posiadane zasoby, żeby efektywnie stworzyć hurtownię danych. Piotr Pityński (Regionalny Dyrektor Sprzedaży, Fild.NET) Ostatnim prelegentem był Pan Piotr Pityński z Fild.NET, który przedstawił w pierwszej kolejności architekturę Business Intelligence. Następnie poznaliśmy dedykowane narzędzia firmy Microsoft, które mogą posłużyć do stworzenia hurtowni danych, tj. SQL Server 2005 Integration Services (platforma integracji danych) SQL Server 2005 Analisys Services (zaawansowane możliwości OLAP i Data Mining) SQL Server 2005 Reporting Services (wysoko wydajne raportowanie) które w połączeniu z Office SharePoint Server 2007 oraz PerformancePoint Server 2007 stanowią wydajne, skalowalne rozwiązanie zarówno dla dużych jak i średnich przedsiębiorstw. Faktem godnym wspomnienia jest możliwość obsługi miliona wierszy przez nowego Office Excel 2007, co czyni go interesującym rozwiązaniem jeśli chodzi o potencjalne źródło danych na których możemy dokonywać wielu transformacji czy obliczeń już z poziomu samej aplikacji Excel Biorąc pod uwagę możliwość zastosowania formatowania warunkowego, zaawansowanego filtrowania czy sortowania, wspartego tabelami przestawnymi MS Office Excel może się okazać wystarczającym rozwiązaniem w przypadku niektórych firm. W końcowej części wykładu Pana Piotra Pityńskiego poznaliśmy ofertę firmy Filed.NET w zakresie budowy oraz wdrażania hurtowni danych. Wydawałoby się, iż za tak dużym projektem zawsze idą duże koszty, jednak jak przekonywał Pan Piotr, popularność rozwiązań firmy Microsoft na polskim rynku powoduje, iż często firmy posiadają wykupionych wiele różnych licencji i samo

7 wdrożenie hurtowni danych ogranicza się do zakupu jednej czy dwóch licencji Microsoftu, co znacznie redukuje koszty całego przedsięwzięcia jakim jest projekt oraz wdrożenie hurtowni danych. Po krótkiej dyskusji na temat rozwiązań Microsoftu, wszyscy uczestnicy konferencji zostali zaproszeni przez Pana Andrzeja Biesiekierskiego na wyśmienity lunch. - Krzysztof Laszczyk Portal