Hurtownia danych praktyczne zastosowania Dorota Olkowicz dorota.olkowicz@its.waw.pl Centrum Bezpieczeństwa Ruchu Drogowego ITS
Plan prezentacji 1. Hurtownie danych 2. Hurtownia danych POBR 3. Narzędzia do analizy danych 4. Wizualizacja danych 5. Podsumowanie 2
Hurtownie... www.logismarket.pl 3
... danych www.itcity.pl 4
Hurtownie danych Hurtownia danych rodzaj bazy danych, która jest zorganizowana i zoptymalizowana pod kątem pewnego wycinka rzeczywistości. To bazy danych integrujące dane z wielu źródeł, integracja polega na cyklicznym zasilaniu hurtowni danymi. Architektura bazy jest zorientowana na optymalizację szybkości wyszukiwania i najefektywniejszą analizę zawartości. Użytkownicy końcowi korzystają z hurtowni poprzez różne systemy wyszukiwania danych. 5
Hurtownie danych Cele: przetwarzanie analityczne wspomaganie analiz archiwizacja danych analiza efektywności inne uzależnione od specyfiki biznesu... Zalety: agregacja danych możliwość eksploracji danych w myśl zasady "od ogółu do szczegółu" (poziomy agregacji danych) analizy przekrojowe z pełnego zakresu danych jednorodność danych 6
Hurtownie danych - architektura Źródła danych Obszar przejściowy dane pobrane z systemów źródłowych są oczyszczane i dostosowane do wymagań hurtowni danych. Warstwa ta nie jest dostępna dla użytkowników końcowych hurtowni danych; należą do niej narzędzia ETL (ang. Extract, Transform and Load). Warstwa metadanych metadane biznesowe: tabele wymiarów i faktów, agregaty metadane techniczne: mapowania i transformacje danych do systemu docelowego Warstwa prezentacji dostępna dla użytkowników końcowych w postaci raportów i analiz. 7
Hurtownia danych POBR Hurtownia danych POBR baza danych zorganizowana i zoptymalizowana pod kątem bezpieczeństwa ruchu drogowego. Baza POBR integruje dane z wielu źródeł, obecnie są to: SEWiK, CEPiK, GUS, GPR. Integracja polega na cyklicznym zasilaniu hurtowni danymi. Użytkownicy końcowi mogą korzystać z hurtowni m.in. poprzez stronę internetową i udostępnioną mapę interaktywną oraz publikowane raporty. 8
Hurtownia danych POBR SEWiK Raporty CEPiK GPR Procesy ETL Hurtownia danych Mapy Wykresy GUS Tabele 9
Hurtownia danych POBR Czas zdarzenia Typ zdarzenia Rodzaj pojazdu Rodzaj uczestnika Miejsce zdarzenia Warunki atmosferyczne 10
Narzędzia do analizy danych 11
Wizualizacja danych Rok Liczba ofiar śmiertelnych Liczba ciężko rannych Wskaźnik ofiar śmiertelnych na mln mk Wskaźnik ciężko rannych na mln mk 2006 5243 14659 137,52 384,49 2007 5583 16053 146,48 421,17 2008 5437 16042 142,57 420,65 2009 4572 13689 119,79 358,66 2010 3908 11491 102,30 300,81 2011 4189 12585 108,70 326,56 2012 3571 12049 92,67 312,69 180 160 Liczba ofiar śmiertelnych 140 120 100 80 60 40 20 Ofiary śmiertelne Lubuskie 0 2006 2007 2008 2009 2010 2011 2012 2013 Rok 12
Wizualizacja danych 13
Dla kogo? www. franchisetips.com.au 14
Po co? 15
Gdzie? 16
Podsumowanie Hurtownia danych POBR stanowi rozbudowaną bazę danych, przechowującą olbrzymią ilość danych zbieranych na przestrzeni ponad 20 lat. Ze względu na ilość i tematykę danych przeprowadzane analizy mogą polegać na szukaniu trendów, zależności, wzorców, itp. Przeprowadzane na hurtowni wyszukiwania mają najczęściej charakter wielowymiarowy nie ograniczają się do jednej tabeli. Dane w hurtowni są centralnie przechowywane, tematycznie spójne (dotyczą problemu brd) oraz zintegrowane. Dostęp do danych możemy uzyskać poprzez stronę oraz w siedzibie obserwatorium. 17
Dziękuję za uwagę