NARZĘDZIA I PROCESY ETL W HURTOWNIACH DANYCH
|
|
- Adrian Rybak
- 8 lat temu
- Przeglądów:
Transkrypt
1 NARZĘDZIA I PROCESY ETL W HURTOWNIACH DANYCH 1. Narzędzia ETL Narzędzia ETL (ang. extraction-transformation-load, ETL) automatyzują lub ułatwiają następujące rodzaje zadań: ekstrakcja (dostęp do różnorodnych źródeł danych), transformacje (np. pomiędzy różnymi formatami danych, językami), ładowanie (wprowadzanie danych do hurtowni), czyszczenie danych (wykrywanie i rozwiązywanie niespójności danych źródłowych), replikacja (tworzenie kopii danych źródłowych w hurtowni danych), analiza (np. wykrywanie w danych wartości nieprawidłowych lub nieoczekiwanych), szybki transfer danych (ważne w przypadku bardzo dużych hurtowni danych), kontrola jakości danych (np. z punktu widzenia kompletności i poprawności), analiza meta danych (pod kątem wykorzystania ich w projektowaniu hurtowni danych). przeprowadzenie różnego rodzaju skomplikowanych konwersji. Trzy pierwsze zadania są najważniejsze (ekstrakcja, transformacja, ładowanie extract, transform, load, ETL). Stąd też nazwa tych narzędzi ETL. 1
2 Procesy ETL są to procesy wyboru danych ze źródła (systemu źródłowego) następnie przetworzenie oraz załadowanie tych danych do hurtowni. Są one odpowiedzialne za za dostarczenie odpowiednich danych do struktury wielowymiarowej hurtowni danych i zapewnienie ich odpowiedniej jakości. Projektowanie procesów ETL Przed przystąpieniem do projektowania procesów ETL, należy zastanowić się nad sposobem ich implementacji. Czy do stworzenia takiego systemu lepsze będą narzędzia zakupione od odpowiednich producentów, czy stworzone przez własnych programistów od podstaw. Odpowiedź na to pytanie daje Ralph Kimball w swojej książce The Data Warehouse ETL Toolkit, Third Edition, John Wiley and Sons, 2013, a brzmi ona: to zależy. Jeśli projekt hurtowni danych jest odpowiednio duży i skomplikowany, inwestycja w odpowiednie narzędzie szybko się zwróci, ułatwiając pracę zespołowi: projektanci posiadają dużą wiedzą biznesową, mogą efektywnie projektować procesy ETL narzędzia potrafią automatycznie wygenerować metadane dotyczące przekształcania i wymusza na programistach spójną metodologię dotyczącą tych metadanych. posiadają wbudowane połączenia dla większości systemów źródłowych i docelowych. potrafią przeprowadzić większość skomplikowanych konwersji. Utworzenie własnego systemu zależy od dostępnych specjalistów (programistów), ich umiejętności, a także 2
3 środków umożliwiających ich zatrzymanie w firmie. Taki system jest bardziej elastyczny: techniki programowania obiektowego pomagają ujednolicić walidację, aktualizację metadanych i raportowanie błędów. umożliwiają bezpośrednie zarządzanie metadanymi, chociaż wszystkie interfejsy dla metadanych muszą zostać stworzone od podstaw. brak jest ograniczeń przez możliwości narzędzi lub unikalny język skryptowy. Elementem ułatwiającym projektowanie procesów ETL jest Logiczna Mapa Danych. Dokument ten przedstawia tzw. mapowanie pomiędzy danymi źródłowymi, a hurtownią danych. Logiczna mapa danych opisuje także wymagane transformacje konieczne do przeniesienia danych z systemu źródłowego do systemu docelowego. Logiczna Mapa Danych jest dokumentem prostym i przystępnym. Główną zaletą tego dokumentu jest dostarczenie przejrzystego planu procesów ETL projektantom. Dodatkową korzyścią jest możliwość odkrycia wielu ukrytych wymagań. Klasyfikacja narzędzi procesów ETL Narzędzia ETL dzielą się na komercyjne i typu Open-Source. Do najważniejszych narzędzi komercyjnych należą: 3
4 SAP Business Objects Data Integrator (BODI) Data Transformation Services (DTS) firmy Microsoft DMExpress IBM InfoSphere DataStage SQL Warehouse Tool firmy IBM (element IBM InfoSphere Warehouse) Informatica PowerCenter Oracle Data Integrator (ODI) Oracle Warehouse Builder (OWB) Pervasive Data Integrator SAS Data Integration Studio SQL Server Integration Services (SSIS) firmy Microsoft Do najbardziej znanych Open-Source narzędzi procesów ETL należą: Apatar CloverETL Pentaho Data Integration Scriptella ETL Talend Open Studio ETL Solutions IBM db2 Universal Database (?) 4
5 Miejsce narzędzi ETL w hurtowni danych Procesy Ekstrakcji, Przetwarzania i Ładowania (ETL) 5
6 Proces Ekstrakcji Proces ekstrakcji wydaje się trywialny, jednak wcale tak nie jest. Oprócz problemów z dostępem do danych, które trzeba rozwiązać w procesach ekstrakcji, są one również najlepszym miejscem do rozwiązania niektórych problemów ze zgodnością formatów danych źródłowych i docelowych. Procedury ekstrakcji mogą być bardzo proste dla danych łatwo dostępnych. Jeśli dane nie są dostępne bezpośrednio, procedury ekstrakcji mogą być bardzo skomplikowane. O ile źródło nie dostarcza ciągu danych jednego typu, dane te są najpewniej zorganizowane w jakąś strukturę. Procedury danych powinny mieć dostęp do poszczególnych pól struktury i prowadzić ich selekcję, gdyż pobieranie danych zbędnych lub mało istotnych niekorzystnie wpływa na wydajność procesu ETL, jak i wielkość hurtowni danych. W przypadku projektu przetwarzającego setki milionów rekordów jeden zbędny bajt danych wydobytych z systemów źródłowych przekłada się na 10 MB przestrzeni zajętej przez niepotrzebne dane w hurtowni danych. Wydobyte z systemów źródłowych dane są zapisane do plików płaskich lub relacyjnych tabel stanowiąc obszar pośredni. Takie przeniesienie pozwala na wydobycie danych z systemów źródłowych i opuszczenie tych systemów tak szybko, jak to tylko możliwe. Dzięki temu systemy nie są obciążone dłużej, niż powinny. W przypadku wystąpienia błędów w procesie przekształcenia i konieczności jego powtórzenia, przy zastosowaniu obszaru pośredniego, nie 6
7 trzeba odwoływać się do systemu źródłowego. Zamiast tego, dane wystarczy pobrać z obszaru pośredniego. Taki pośredni można wykorzystać na kilka dodatkowych sposobów. Przede wszystkim dane te są idealnie przygotowane do archiwizowania, czy to bezpośrednio na jakieś medium archiwizacyjne, czy też za pomocą programu archiwizacyjnego np. Bacula. Zależnie od założeń projektowych dane przejściowe można usunąć od razu po zakończeniu procesów ETL, lub utrzymywać aż do następnej ekstrakcji, co umożliwi określenie różnic pomiędzy kolejnymi ekstrakcjami. obszar Proces Przekształcania. Proces przekształcania odpowiada za przetworzenie wydobytych danych. W tej części systemu ETL jest sprawdzane, czy dany rekord jest poprawny, możliwy do wyczyszczenia, czy też niezdatny do niczego. Nienaprawialne rekordy są odrzucane, by nie zaśmiecać bazy. Z procedur przekształcających dane najprostsze odpowiadają za konwersje danych numerycznych na znakowe i odwrotnie, jednak niektóre przekształcenia wymagają bardziej złożonych procedur. Dane pochodzące z różnych systemów źródłowych trzeba również poddać ujednoliceniu. Te same metki (ang. labels) i wartości faktów nie zawsze mają to samo znaczenie. Dostępne narzędzia (np. MS SQL Server Integration Services, Oracle Warehouse Builder 11g) oferują biblioteki prostych funkcji przekształcania danych. Umożliwiają również 7
8 konstruowanie bardziej złożonych przekształceń poprzez łączenie ze sobą tych prostych. Jednak ważne jest, by istniała możliwość dołączania nowych funkcji, tworzonych przez zespół. Cały proces przekształcania można podzielić, zgodnie Ralpha Kimballa, na dwa podprocesy: - czyszczenie, - ujednolicanie. Podproces czyszczenie sprawdza format danych pola, to czy jego wartość mieści się w dopuszczalnym zakresie, a także zgodność z innymi polami. Sztandarowym przykładem jest kod pocztowy, który ma określony format, który trzeba zbadać, następnie sprawdzić, czy taki kod pocztowy w ogóle istnieje i czy odpowiada podanemu miastu. Wszelkie wyjątki mogą być raportowane do systemów źródłowych, w celu poprawienia występujących w nich nieścisłości i samego systemu. Drugi podproces, ujednolicanie, polega na wspomnianym już powyżej ujednoliceniu metek i wartości. Proces Ładowania. Proces Ładowania to ostatni i najważniejszy element Systemu, polega na umieszczeniu wydobytych i przekształconych danych w zdefiniowanym schemacie, najlepiej wymiarowym tworzonym. Jeśli coś pójdzie nie tak na tym etapie, może być konieczne wykonanie części pracy wykonanej w poprzednich krokach. Narzędzia wspierające tworzenie procesów ETL 8
9 Poniżej przedstawiono trzy narzędzia wspierające tworzenie systemów ETL trzech różnych producentów Microsoft, Oracle i Pentaho. Oprogramowanie Microsoftu SQL Server 2008 Integration Services i Oracle Oracle Warehouse Builder 11g R2 są najbardziej popularne w działalności biznesowej. Jako rozwiązanie typu Open-Source najbardziej popularnym narzędziem wspierającym tworzenie procesów ETL jest oprogramowanie firmy Pentaho Pentaho Data Integration Microsoft SQL Server Integration Services. SQL Server Integration Services (SSIS) jest dostarczane jako część MS SQL Server Enterprise Edition, w pozostałych edycjach znajduje się jego okrojona wersja. Narzędzie to umożliwia zdefiniowanie pakietów systemów ETL, potoków danych, a także własnych elementów przy użyciu C# lub VisualBasic. Umożliwia ekstrakcję z i ładowanie do plików płaskich, XML, XLS, baz danych obsługiwanych przez ODBC, ADO.NET, OLE DB. Narzędzie posiada kilka wad: można je zainstalować i używać tylko w systemie operacyjnym Windows; Dostępny moduł operujący na plikach płaskich ma problem z plikami w których znajduje się uniksowy znak końca linii (LF). W przypadku braku połączenia ze zdefiniowanym źródłem ODBC, nieustannie próbuje się połączyć, spowalniając interakcję z projektantem. 9
10 MS SQL BI Development Studio - SQL Server Integration Services Przykładowe procedury transformacyjne dostarczanych przez narzędzie MS SQL Server 2008 Integration Services: Aggregate Transformation prosta transformacja wykonująca agregacje na przetwarzanych danych; Sort Transformation prosta transformacja sortująca przetwarzane dane; Character Map Transformation transformacja przeprowadzająca operacje na ciągach znaków; Derived Column Transformation transformacja tworząca nową kolumnę wypełnioną danymi powstałymi na podstawie określonych wyrażeń i funkcji; Fuzzy Grouping Transformation transformacja 10
11 standaryzująca wartości w kolumnie danych za pomocą logiki rozmytej; Fuzzy Lookup Transformation transformacja wyszukująca wartości w tabeli referencyjnej za pomocą logiki rozmytej; Slowly Changing Dimension Transformation transformacja konfigurująca aktualizację wolno zmieniającego się wymiaru. Data Mining Query Transformation transformacja działająca na zapytaniu ekstrakcji danych. Oprócz tego dostarcza również transformacje umożliwiające rozdzielenie przetwarzanych danych na kilka strumieni, połączenie kilku osobnych strumieni w jeden. Umożliwia to między innymi poddanie danych wydobytych z jednego źródła różnym transformacjom, zależnie od spełnienia przez nie określonego warunku. Oracle Warehouse Builder Oracle Warehouse Builder to produkt firmy Oracle służący do projektowania i budowy hurtowni danych dostarczonej wraz Oracle 11g. Oracle charakteryzuje się między innymi stabilnością zarówno działania jak i rozwoju oraz wsparciem standardów. W przeciwieństwie do produktu Microsoftu, Oracle Warehouse Builder może być uruchomiony na systemach Linux/Unix, Solaris a także Windows. Minusem jest skomplikowane podłączenie do źródeł danych innych niż Oracle. Oracle Warehouse Builder umożliwia bezproblemowe podłączenie do kilku systemów zarządzania bazami danych. 11
12 Są to między innymi: IBM DB2, Microsoft SQL Server, Sybase, Informix. OWB obsługuje również źródła ODBC. Oracle Warehouse Builder Oracle dostarcza zdecydowanie mniej gotowych komponentów do budowy niż narzędzie Microsoftu. Umożliwia za to zbudowanie własnych skomplikowanych mapowań w odpowiednim edytorze, jak również napisanie skryptów. Dodatkowo narzędzie oferuje możliwość stworzenia zadań profilowania danych jak i utworzenie zasad danych. Pentaho Data Integration jako narzędzie wspierające tworzenie procesów ETL 12
13 Pentaho Data Integration (Kettle) to narzędzie ETL stworzone przez Pentaho Corporation oferowane w dwóch wersjach, Open Source na licencji Mozilla Public License 1.1 oraz Enterprise Edition, która zawiera dodatkowo pomoc techniczną, usługi oraz dodatkowe usprawnienia. Pentaho Data Integration jest dostępne zarówno jako produkt samodzielny, jak i w pakiecie Pentaho BI Suite. Pentaho Data Integration (wersja 3.2.0) oferuje wbudowane sterowniki do 28 źródeł danych, między innymi SAP, Sybase, MS SQL, MySQL, PostgreSQL, Oracle a nawet AS/400 czy IBM DB2. Edytor graficzny przeznaczony do projektowania procesów ETL oferuje szeroki wybór elementów operujących na danych: sortowanie, usuwanie duplikatów, elementy mapujące i aktualizacja wolno zmieniającego się wymiaru. Każdy z tych elementów posiada dużo opcji konfiguracyjnych, dzięki czemu można je zastosować do swoich potrzeb. 13
14 Pentaho Data Integration Zaletą tego narzędzia jest możliwość pracy z nim na systemach operacyjnych z rodziny Windows, Unix/Linux oraz OSX (Apple). Do wad narzędzia należy także zaliczyć niepełną dokumentację techniczną, oraz drobne błędy w interfejsie kreatorów, które mogą prowadzić do konsternacji. Transformacje i elementy, które można używać w projektowaniu procesów ETL są podzielona na następujące grupy: wejścia, wyjścia, transformacje, narzędzia, przepływ, skryptowanie, wyszukania, złączeń, 14
15 hurtowni danych, walidacji, statystyczne, zadań, mapowania, ładowanie masowe i eksperymentalne. Oto niektóre funkcjonalności zawarte w narzędziu transformacji: Add checksum dodaje sumę kontrolną do wierszy Calculator dodaje nowe pole na podstawie prostych obliczeń; Replace in string zamienia występujące w ciągu znaków słowo na inne; Split fields rozdziela jedno pole na kilka; Unique rows usuwa duplikaty z przetwarzanych danych; Value Mapper mapuje wartość pola na inną; Analytic Query wykonuje zapytanie analityczne na dostarczonych danych Przykład zastosowania narzędzi ETL w środowisku Oracle Podstawowe narzędzie: Oracle Warehouse Builder Programy narzędziowe Export/Import Data Pump SQL*Loader Zaawansowane elementy SZBD mechanizm Change Data Capture (pakiet DBMS_LOGMNR_CDC_PUBLISH i DBMS_LOGMNR_CDC_SUBSCRIBE) przenaszalne przestrzenie tabel (transportable tablespaces) mechanizm strumieni (Oracle Streams) tabele zewnętrzne zaawansowane elementy SQL (wstawianie wielotablicowe, instrukcja MERGE, perspektywy itp. 15
16 Oracle Streams Technologia umożliwiająca replikację, kolejkowanie wiadomości, ładowanie hurtowni danych, informowanie o zdarzeniach. Umożliwia integrację heterogenicznych baz danych Elementy składowe Oracle Streams Capture: dane z plików dziennika powtórzeń zapisywane w postaci rekordów logicznych (Logical Change Records) Staging: rekordy LCR przechowywane w obszarze tymczasowym Consumption: rekordy są przetwarzane i konsumowane Implementacja Oracle Streams możliwa dzięki pakietowi DBMS_STREAMS_ADM Export/Import Programy narzędziowe exp i imp umożliwiające przenoszenie danych między różnymi instancjami bazy danych C:\>EXP.EX 16
17 Oracle Data Pump Programy narzędziowe stanowiące ulepszenie starych narzędzi do eksportu i importu danych. Umożliwiają: restart przerwanego eksportu/importu danych okresowe monitorowanie zadania eksportu/importu eksport/import bezpośrednio między bazami danych, z pominięciem plików systemu operacyjnego większą elastyczność (zmiana nazwy pliku, zmiana docelowej przestrzeni tabel, filtrowanie danych i metadanych) Dostępne w postaci programów expdp oraz impdp i Pakietów DBMS_DATAPUMP i DBMS_METADATA Pliki zrzutów nie są kompatybilne z exp i imp (!)ty) SQL*Loader Podstawowe narzędzie do ładowania bazy danych Posiada mechanizmy wstępnego przetwarzania i weryfikacji danych Ładuje dane do wielu tabel jednocześnie 17
18 Metody ładowania C Ścieżka konwencjonalna wykorzystuje bufor danych zapisuje dane w dzienniku powtórzeń uruchamia wyzwalacze i sprawdza ograniczenia integralnościowe nie ogranicza współbieżności Ścieżka bezpośrednia zapisuje bezpośrednio do plików danych, z pominięciem bufora danych i dziennika powtórzeń (opcjonalnie) sprawdza tylko wybrane ograniczenia (klucz podstawowy, unikalny, atrybut niepusty) i nie uruchamia wyzwalaczy ogranicza współbieżność ONSTRAINTS= Wstawianie do wielu tabel 18
19 Operacja MERGE Równoległy DML (Data Manipulation Language) Możliwość ręcznego zrównoleglania operacji wstawianie do wielu instancji RAC modyfikacja i usuwanie dla różnych zakresów ROWID Automatyczne wykonywanie operacji DML równolegle odświeżanie hurtowni danych tworzenie tymczasowych tabel agregujących uaktualnianie danych historycznych wykonywanie zadań wsadowych Włączanie równoległych operacji DML 19
20 Równoległy DML(2) Ograniczenia przetwarzania transakcyjnego zatwierdzanie dwufazowe transakcji równoległej zmiany wprowadzone przez równoległe polecenie nie mogą być widziane w ramach transakcji (brak możliwości ponownego odczytu lub zapisu tabeli) Wpływ na konsumpcję zasobów (dysk, blokady) Ograniczenia równoległego DML nie może być wykonany na tabeli z aktywnymi wyzwalaczami nie może być wykonany, jeśli na niepartycjonowanej tabeli istnieją założone indeksy bitmapowe nie może być wykonany na tabeli z ograniczeniami (referencyjnym zwrotnym, DELETE CASCADE, integralnościowymi opóźnionymi) nie może być wykonany dla tabel w klastrze nie może być wykonany dla atrybutów obiektowych nie może być wykonany w ramach transakcji rozproszone Przykłady równoległego DML 20
21 Perspektywy materializowane w ETL Mechanizm replikacji z wykorzystaniem perspektyw materializowanych można wykorzystać do asynchronicznego przesyłania danych do hurtowni danych Cechy perspektywy materializowanej sposób odświeżenia: przyrostowe, pełne częstość odświeżania: definiowana przez START WITH i NEXT konieczny dziennik perspektywy materializowanej (oparty na kluczu lub adresie ROWID) Przykład użycia perspektyw materializowanych w ETL 21
22 Oracle Warehouse Builder ETL 22
23 Dodanie pliku zewnętrznego (1) Dodanie pliku zewnętrznego (2) 23
24 Utworzenie mapowania Mapowanie jest obiektem OWB zawierającym wszystkie informacje potrzebne do zdefiniowania procesu ETL (specyfikację źródeł danych i obiektów docelowych) Dodanie źródła mapowania 24
25 Dodanie mapowanej tabeli Mapowanie kolumn 25
26 Dodanie sekwencera Dodanie filtru 26
27 Automatyczna generacja kodu (1) 27
28 Automatyczna generacja kodu (1) Literatura 1. Kimball R.; Caserta J., The Data Warehouse ETL Toolkit, Third Edition, Indianapolis, Wiley Publishing, Inc.,
29 METODY PROJEKTOWANIA HURTOWNI DANYCH 1. Model punktowy hurtowni danych Modelowanie wielowymiarowe danych (gwiazda, płatek śniegu) wykonywane jest w celu dokonywania analiz typu OLAP. Projektując tę część hurtowni danych, warto zastanowić się nad uzasadnieniem biznesowym tworzenia hurtowni tematycznych. Przewidywane efekty, wynikające z zastosowania hurtowni danych, to: Wzrost sprzedaży, zwiększenie udziału w rynku, zmniejszenie odsetka odchodzących klientów. Środek: analiza zachowania klientów, lokalizacja słabych punktów, śledzenie trendów. Narzędzie: analiza gromadzonych w hurtowni (zintegrowanych i oczyszczonych) danych, budowa hurtowni tematycznej. To ostatnie zadanie polega również na maksymalnym ograniczeniu ilości danych w hurtowni tematycznej (ze względu na szybkość wykonywania obliczeń i ograniczenia techniczne i finansowe). Projektując hurtownię tematyczną, dokonujemy najpierw pojęciowego modelowania potrzeb analityków, by następnie wybrać odpowiednią część centralnej hurtowni danych i zaprojektować proces tworzenia i aktualizacji hurtowni tematycznej. W ten sposób tworzymy model pojęciowy, który odzwierciedla związki między pojęciami związanymi z działalnością przedsiębiorstwa, np.: Kto to jest klientem i co o nim wiemy? 29
30 Jak opisywana jest sprzedaż w różnych oddziałach firmy? Co pod pojęciem fakt sprzedaży chciałby rozumieć analityk? Jaki model wielowymiarowy danych może nam pomóc w tworzeniu raportów biznesowych? Przykładowa technika modelowania pojęciowego hurtowni tematycznej to inaczej modelowanie punktowe. Informacje na temat pojęć, do których dostęp ma analityk, przedstawiane są w postaci diagramu, gdzie: Fakty reprezentowane są punktami Wymiary reprezentowane są przez nazwy Podobnie reprezentujemy kolejne poziomy hierarchii Model może obejmować wiele (konstelację) faktów, korzystających częściowo ze wspólnej hierarchii wymiarów W modelu punktowym zapisujemy ponadto obok informacje na temat m.in.: Nazw atrybutów Typów danych Więzów integralności Retrospekcji (zmienności wartości atrybutów w czasie) Częstości odświeżania Pochodzenia danych (źródło, transformacje) Metadanych biznesowych (opis w języku naturalnym lub sformalizowanym) Retrospekcja to pojęcie dotyczące sposobu traktowania zmian w danych. Przypomnijmy, że hurtownia danych z założenia ma charakter nieulotny, tzn. informacja, która do niej trafi, nie powinna być usuwana ani zmieniana. Źródła 30
31 danych jednak są zmienne w czasie i może się zdarzyć, że zachodzi konieczność zmiany informacji (np. o adresie zamieszkania klienta). W zależności od sposobu traktowania takich zmian, retrospekcja może być: prawdziwa zapisujemy wszelkie zmiany wartości wraz z dokładnym czasem ich dokonania, fałszywa nowe wartości rekordów zastępują stare, trwała nie przewidujemy zmiany wartości. Teoretycznie wszystkie dane powinny podlegać retrospekcji prawdziwej. Prowadzi to jednak do znacznych utrudnień technicznych: proste zapytania stają się skomplikowane, gdyż muszą uwzględnić informacje z tabel pomocniczych zapisujących historię zmian. Z drugiej strony, fałszywa retrospekcja może nam zaburzyć wyniki analiz. Jeśli np. analizujemy obroty klientów w zależności od ich adresu zamieszkania, to przeprowadzka danego klienta spowoduje nagłe przypisanie wszystkich jego transakcji do nowego miejsca zamieszkania (co jest nieprawdą). 2. Zastosowanie języka UML w projektowaniu hurtowni danych Zastosowanie sprawdzonej metodyki wspomagającej wytwarzanie oprogramowania, jaką jest język UML (Unified Modeling Language), oraz technik modelowania wizualnego wraz z Common Warehouse Metamodel (CWM) jest bardzo pomocne w procesie wytwarzania hurtowni danych. Jedną z takich metodyk powszechnie stosowanych w inżynierii oprogramowania jest Rational Unified Process (RUP), który 31
32 jest niemalże integralnie związany z językiem modelowania UML składnik CWM Język UML i jego rozszerzenia Język UML jest zdefiniowany w czterowarstwowej architekturze (cztery poziomy abstrakcji). Poszczególne warstwy definiują elementy, pojęcia i związki pomiędzy pojęciami. Kolejne warstwy są bardziej ogólne i prezentują się w następujący sposób: warstwa meta-metamodelu (poziom M3) najbardziej abstrakcyjny poziom; warstwa metamodelu (poziom M2); warstwa modelu (poziom M1); warstwa użytkownika (poziom M0). Język UML można rozszerzyć przy użyciu stereotypów, skorzystać z rozszerzeń, pakować rozszerzenia za pomocą profili oraz rejestrować cechy elementów modelu. Stereotyp definiuje typ elementu modelującego w UML. Najpierw należy zdefiniować typ elementu modelującego za pomocą stereotypu, potem można zastosować definicję. Aby utworzyć definicję stereotypu należy przedstawić klasę reprezentującą stereotyp z zależnością od innej klasy reprezentującej typ elementu modelowania, reprezentowanego przez stereotyp. Słowem kluczowym stereotype oznaczamy klasę reprezentującą nowy typ elementu modelującego oraz zależność. Słowo kluczowe metaclass pozwala zdefiniować klasę reprezentującą typ elementu modelującego, do którego stosuje się stereotyp. Nazwę nowego typu należy ująć w symbole << >> lub podwójne nawiasy ostrokątne przed lub nad nazwą elementu modelu. 32
33 Własność jest właściwością elementu modelu. Używamy jej do zdefiniowania atrybutów i reguł danego typu elementu modelującego. Do zapisania własności używamy listy łańcuchów tekstowych oddzielonych przecinkami oraz ujętej w nawiasy klamrowe pod nazwą modelu lub po niej. Wszystkie własności mogą być przedstawione w języku komputerowym lub naturalnym. Łańcuch tekstowy może być ograniczeniem lub znacznikiem. Znacznik jest atrybutem elementu modelu i jego wartością. Definicję znacznika tworzymy przy definiowaniu stereotypu. Zapis jest następujący: nazwa atrybutu, przecinek, typ atrybutu. Znacznik zdefiniowany dla danego stereotypu stosuje się do wszystkich elementów modelu, do których jest zastosowany stereotyp. Ograniczenie jest regułą, która może np. wskazywać konieczność zakończenia danej czynności przed rozpoczęciem innej. Jest przedstawiane jako łańcuch tekstowy, który można zapisać w języku OCL (ang. Object Constraint Language). Innymi sposobami zapisania ograniczeń są: pseudokod oraz różne języki programowania (m.in. c++, c#, java). Na profil składają się: definicje znaczników i ograniczeń, definicje stereotypów. Elementy te obowiązują w określonej domenie lub w określonym celu. Profil jest przedstawiany jako pakiet oznaczony słowem kluczowym profile. Dzięki konstrukcji pakietu, na diagramie można pokazać zawartość profilu Hurtownie danych Jedną z pierwszych oraz ogólnie akceptowalną definicją hurtowni danych jest ta zaprezentowana przez Billa Inmon w 1991 roku. Według niej hurtownia danych to tematyczna, 33
34 zintegrowana, zmienna w czasie składnica nieulotnych danych, przeznaczona do wspierania procesów podejmowania decyzji. Hurtownia danych jest wydzieloną centralną bazą danych zbierającą informacje służące do zarządzania organizacją. Baza ta jest odizolowana od baz operacyjnych, a jej struktura i użyte do jej budowy narzędzia powinny być zoptymalizowane pod kątem przetwarzania analitycznego. W hurtowni są gromadzone dane pozyskiwane okresowo z systemów obsługujących dane operacyjne. Każda poprawnie skonstruowana hurtownia danych powinna składać się z następujących elementów: narzędzi do ekstrakcji, przekształcania i ładowania danych (ang. Extraction, Transformation, Loading ETL). warstwy przechowywania danych. warstwy obsługującej zapytania użytkowników. narzędzi udostępniających interfejs użytkownika. ETL jest to proces wyboru danych ze źródła (systemu źródłowego) następnie przetworzenie oraz załadowanie tych danych do hurtowni. Przykładem może być DTS (ang. Data Transformation Services) używany w środowisku MS SQL Server, dzięki któremu można zintegrować dane z dowolnych źródeł. W hurtowniach danych przechowuje się dane różnych rodzajów: elementarne kopie aktualnych danych źródłowych pozyskanych z baz operacyjnych i odpowiednio przetworzonych, 34
35 zmaterializowane agregaty czyli wyliczone wartości obliczeń, w różnych przekrojach (np. sumy wartości sprzedaży w jednostkach czasu i w podziale terytorialnym) i na różnych stopniach agregacji (np. sumy dzienne, miesięczne, roczne), historyczne dane elementarne i/lub agregaty dotyczące przeszłości, metadane informacje słownikowe, opisujące strukturę hurtowni danych i źródłowych baz danych, z których pozyskuje się dane do hurtowni, oraz sposób wyliczania danych zagregowanych. Cykl życia danych następująco: w hurtowni wygląda przeważnie ładowanie i scalanie dane są okresowo ładowane z baz operacyjnych. W czasie ładowania dokonywane jest scalenie i ujednolicenie danych, tzn. konwersja typów danych i formatów, przetłumaczenie identyfikatorów, przekształcenie do innego modelu danych, agregacja od razu w czasie ładowania albo zaraz po nim dokonuje się wyliczenia zmaterializowanych agregatów, przeniesienie do danych historycznych zanim załadowana zostanie nowa wersja danych elementarnych, dotychczasowe dane muszą być zapamiętane jako historyczne. Nie są one jednak przenoszone do osobnego archiwum, ale są na ogół przechowywane w tej samej hurtowni danych, by możliwe było sprawne dokonywanie porównań i przekrojów czasowych, usuwanie nie jest operacją typową dla hurtowni, jest przeprowadzane rzadko albo nigdy. Usuwanie może wystąpić, gdy dane historyczne są tak stare, że już nie są 35
36 wykorzystywane lub, gdy przebudowuje się hurtownie i zmienia ona swoje zadania. Właściwości hurtowni danych odróżniające je od innych rozwiązań opartych na bazach danych: wielowymiarowa perspektywa koncepcyjna, ogólna wielowymiarowość, nieograniczone operacje między wymiarami, nieograniczone wymiary i poziomy agregacji, architektura klient-serwer, obsługa jednoczesnego dostępu wielu użytkowników, dynamiczna obsługa rzadkich macierzy, dostępność, intuicyjny interfejs manipulowania danymi, elastyczność generowanych raportów, spójny mechanizm raportowania, przezroczystość Model logiczny hurtowni danych Model logiczny hurtowni danych składa się z elementów: fakt, wymiar, atrybut, miara. Fakty - zmienne analizowane. Wymiary - zmienne pozwalające na grupowanie danych, są analizowane. Atrybut podstawowa jednostka opisu modelu, może wyznaczać inne atrybuty oraz być wyznaczany. Atrybuty posiadają zbiór przyjmowanych wartości, np. atrybut godzina może przyjmować wartość 11. Miara - wartość liczbowa przyporządkowana do jakiegoś faktu (liczba sztuk, wartość sprzedaży). 36
37 Można go przedstawić w 2 podstawowych schematach: gwiazdy oraz płatka śniegu. Schemat gwiazdy wykorzystuje tabelę faktów otoczoną tabelami wymiarów. W tabeli faktów znajdują się mierzalne fakty połączone za pomocą kluczy z tabelami wymiarów. W tabelach wymiarów znajdują się opisy wymiarów. Rys. 1. Przykład logicznego schemat hurtowni danych (opr. własne) Schemat płatka śniegu różni się tym od schematu gwiazdy, że w tabelach wymiarów zapisane są identyfikatory wymiarów nadrzędnego i podrzędnego poziomu. Rozwiązanie to ułatwia operacje selekcji danych związanych z wymiarami oraz pozwala na dokładniejsze uchwycenie hierarchii atrybutów[6]. Architekturę hurtowni danych można podzielić na następujące rodzaje: scentralizowana; warstwowa; 37
38 federacyjna. W scentralizowanej architekturze dane analizowane w przedsiębiorstwie są przechowywane w jednej hurtowni danych. Zaletami tego rozwiązania są: uproszczenie dostępu do danych dzięki ujednoliceniu ich modelu; budowa oraz konserwacja takiej hurtowni jest dużo prostsza od systemu rozproszonego jest najbardziej odpowiednią formą stosowaną w instytucjach, w których działalność operacyjna jest scentralizowana. W architekturze warstwowej hurtownia globalna jest rzeczywistą, fizyczną bazą danych. Hurtownia globalna jest uzupełniana kolejnymi poziomami lokalnych, tematycznych hurtowni danych. Architektura federacyjna zawiera dane logicznie jednorodne, które są przechowywane fizycznie w innych bazach danych znajdujących się w jednym lub paru systemach komputerowych. Każdy dział instytucji zawiera lokalne tematyczne hurtownie. Umożliwia to analizowanie lokalne na różnych poziomach szczegółowości. Istotną rolę w budowie i działaniu hurtowni danych odgrywają metadane. Są one przechowywane w wydzielonej bazie, do której dostęp posiadają wszystkie inne składniki hurtowni. Baza metadanych może zawierać następujące elementy: informacje o poszukiwanych przez użytkowników danych 38
Wprowadzenie do technologii Business Intelligence i hurtowni danych
Wprowadzenie do technologii Business Intelligence i hurtowni danych 1 Plan rozdziału 2 Wprowadzenie do Business Intelligence Hurtownie danych Produkty Oracle dla Business Intelligence Business Intelligence
Bardziej szczegółowoUsługi analityczne budowa kostki analitycznej Część pierwsza.
Usługi analityczne budowa kostki analitycznej Część pierwsza. Wprowadzenie W wielu dziedzinach działalności człowieka analiza zebranych danych jest jednym z najważniejszych mechanizmów podejmowania decyzji.
Bardziej szczegółowoHurtownie danych. Wstęp. Architektura hurtowni danych. http://zajecia.jakubw.pl/hur CO TO JEST HURTOWNIA DANYCH
Wstęp. Architektura hurtowni. Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/hur CO TO JEST HURTOWNIA DANYCH B. Inmon, 1996: Hurtownia to zbiór zintegrowanych, nieulotnych, ukierunkowanych
Bardziej szczegółowoProcesy ETL - wykład V. Struktura. Wprowadzenie. 1. Wprowadzenie. 2. Ekstrakcja 3. Transformacja 4. Ładowanie 5. Studium przypadków.
Procesy ETL - wykład V Paweł Skrobanek, C-3 pok. 321 pawel.skrobanek@pwr.wroc.pl oprac. Wrocław 2012 Struktura 1. Wprowadzenie 2. Ekstrakcja 3. Transformacja 4. Ładowanie 5. Studium przypadków Wprowadzenie
Bardziej szczegółowoHurtownie danych - przegląd technologii
Hurtownie danych - przegląd technologii Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl www.cs.put.poznan.pl/rwrembel Biznesowe słowniki pojęć biznesowych odwzorowania pojęć
Bardziej szczegółowoWykład I. Wprowadzenie do baz danych
Wykład I Wprowadzenie do baz danych Trochę historii Pierwsze znane użycie terminu baza danych miało miejsce w listopadzie w 1963 roku. W latach sześcdziesątych XX wieku został opracowany przez Charles
Bardziej szczegółowoKomputerowe Systemy Przemysłowe: Modelowanie - UML. Arkadiusz Banasik arkadiusz.banasik@polsl.pl
Komputerowe Systemy Przemysłowe: Modelowanie - UML Arkadiusz Banasik arkadiusz.banasik@polsl.pl Plan prezentacji Wprowadzenie UML Diagram przypadków użycia Diagram klas Podsumowanie Wprowadzenie Języki
Bardziej szczegółowoHurtownie danych - przegląd technologii Robert Wrembel Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl
Hurtownie danych - przegląd technologii Robert Wrembel Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl www.cs.put.poznan.pl/rwrembel Plan wykładów Wprowadzenie - integracja
Bardziej szczegółowoHurtownie danych - przegląd technologii
Hurtownie danych - przegląd technologii Robert Wrembel Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl www.cs.put.poznan.pl/rwrembel Plan wykład adów Wprowadzenie - integracja
Bardziej szczegółowoBazy danych 2. Wykład 1
Bazy danych 2 Wykład 1 Sprawy organizacyjne Materiały i listy zadań zamieszczane będą na stronie www.math.uni.opole.pl/~ajasi E-mail: standardowy ajasi@math.uni.opole.pl Sprawy organizacyjne Program wykładu
Bardziej szczegółowoBaza danych to zbiór wzajemnie powiązanych ze sobą i zintegrowanych danych z pewnej dziedziny.
PI-14 01/12 Baza danych to zbiór wzajemnie powiązanych ze sobą i zintegrowanych danych z pewnej dziedziny.! Likwidacja lub znaczne ograniczenie redundancji (powtarzania się) danych! Integracja danych!
Bardziej szczegółowoZagadnienia (1/3) Data-flow diagramy przepływów danych ERD diagramy związków encji Diagramy obiektowe w UML (ang. Unified Modeling Language)
Zagadnienia (1/3) Rola modelu systemu w procesie analizy wymagań (inżynierii wymagań) Prezentacja różnego rodzaju informacji o systemie w zależności od rodzaju modelu. Budowanie pełnego obrazu systemu
Bardziej szczegółowoAnaliza i projektowanie oprogramowania. Analiza i projektowanie oprogramowania 1/32
Analiza i projektowanie oprogramowania Analiza i projektowanie oprogramowania 1/32 Analiza i projektowanie oprogramowania 2/32 Cel analizy Celem fazy określania wymagań jest udzielenie odpowiedzi na pytanie:
Bardziej szczegółowoWprowadzenie do Hurtowni Danych. Mariusz Rafało
Wprowadzenie do Hurtowni Danych Mariusz Rafało mariusz.rafalo@hotmail.com WPROWADZENIE DO HURTOWNI DANYCH Co to jest hurtownia danych? Hurtownia danych jest zbiorem danych zorientowanych tematycznie, zintegrowanych,
Bardziej szczegółowoSystemy baz danych w zarządzaniu przedsiębiorstwem. W poszukiwaniu rozwiązania problemu, najbardziej pomocna jest znajomość odpowiedzi
Systemy baz danych w zarządzaniu przedsiębiorstwem W poszukiwaniu rozwiązania problemu, najbardziej pomocna jest znajomość odpowiedzi Proces zarządzania danymi Zarządzanie danymi obejmuje czynności: gromadzenie
Bardziej szczegółowoHurtownie danych. Projektowanie hurtowni: modele wielowymiarowe. Modelowanie punktowe. Operacje OLAP na kostkach. http://zajecia.jakubw.
Hurtownie danych Projektowanie hurtowni: modele wielowymiarowe. Modelowanie punktowe. Operacje OLAP na kostkach. http://zajecia.jakubw.pl/hur UZASADNIENIE BIZNESOWE Po co nam hurtownia danych? Jakie mogą
Bardziej szczegółowoHurtownie danych - przegląd technologii
Hurtownie danych - przegląd technologii Problematyka zasilania hurtowni danych - Oracle Data Integrator Politechnika Poznańska Instytut Informatyki Robert.Wrembel@cs.put.poznan.pl www.cs.put.poznan.pl/rwrembel
Bardziej szczegółowoHurtownie danych i business intelligence - wykład II. Zagadnienia do omówienia. Miejsce i rola HD w firmie
Hurtownie danych i business intelligence - wykład II Paweł Skrobanek, C-3 pok. 321 pawel.skrobanek@pwr.wroc.pl oprac. Wrocław 2005-2012 Zagadnienia do omówienia 1. Miejsce i rola w firmie 2. Przegląd architektury
Bardziej szczegółowoSzkolenie autoryzowane. MS Wdrażanie hurtowni danych w Microsoft SQL Server 2012
Szkolenie autoryzowane MS 10777 Wdrażanie hurtowni danych w Microsoft SQL Server 2012 Strona szkolenia Terminy szkolenia Rejestracja na szkolenie Promocje Opis szkolenia Szkolenie przeznaczone jest dla
Bardziej szczegółowoHurtownie danych. 31 stycznia 2017
31 stycznia 2017 Definicja hurtowni danych Hurtownia danych wg Williama Inmona zbiór danych wyróżniający się następującymi cechami uporządkowany tematycznie zintegrowany zawierający wymiar czasowy nieulotny
Bardziej szczegółowoHurtownie danych w praktyce
Hurtownie danych w praktyce Fakty i mity Dr inż. Maciej Kiewra Parę słów o mnie... 8 lat pracy zawodowej z hurtowniami danych Projekty realizowane w kraju i zagranicą Certyfikaty Microsoft z Business Intelligence
Bardziej szczegółowoOLAP i hurtownie danych c.d.
OLAP i hurtownie danych c.d. Przypomnienie OLAP -narzędzia analizy danych Hurtownie danych -duże bazy danych zorientowane tematycznie, nieulotne, zmienne w czasie, wspierjące procesy podejmowania decyzji
Bardziej szczegółowoHURTOWNIE DANYCH I BUSINESS INTELLIGENCE
BAZY DANYCH HURTOWNIE DANYCH I BUSINESS INTELLIGENCE Akademia Górniczo-Hutnicza w Krakowie Adrian Horzyk horzyk@agh.edu.pl Google: Horzyk HURTOWNIE DANYCH Hurtownia danych (Data Warehouse) to najczęściej
Bardziej szczegółowoModel logiczny SZBD. Model fizyczny. Systemy klientserwer. Systemy rozproszone BD. No SQL
Podstawy baz danych: Rysunek 1. Tradycyjne systemy danych 1- Obsługa wejścia 2- Przechowywanie danych 3- Funkcje użytkowe 4- Obsługa wyjścia Ewolucja baz danych: Fragment świata rzeczywistego System przetwarzania
Bardziej szczegółowoOracle11g: Wprowadzenie do SQL
Oracle11g: Wprowadzenie do SQL OPIS: Kurs ten oferuje uczestnikom wprowadzenie do technologii bazy Oracle11g, koncepcji bazy relacyjnej i efektywnego języka programowania o nazwie SQL. Kurs dostarczy twórcom
Bardziej szczegółowoZMODYFIKOWANY Szczegółowy opis przedmiotu zamówienia
ZP/ITS/11/2012 Załącznik nr 1a do SIWZ ZMODYFIKOWANY Szczegółowy opis przedmiotu zamówienia Przedmiotem zamówienia jest: Przygotowanie zajęć dydaktycznych w postaci kursów e-learningowych przeznaczonych
Bardziej szczegółowoWykorzystanie standardów serii ISO 19100 oraz OGC dla potrzeb budowy infrastruktury danych przestrzennych
Wykorzystanie standardów serii ISO 19100 oraz OGC dla potrzeb budowy infrastruktury danych przestrzennych dr inż. Adam Iwaniak Infrastruktura Danych Przestrzennych w Polsce i Europie Seminarium, AR Wrocław
Bardziej szczegółowoHurtownie danych. Ładowanie, integracja i aktualizacja danych. http://zajecia.jakubw.pl/hur INTEGRACJA DANYCH ETL
Hurtownie danych Ładowanie, integracja i aktualizacja danych. Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/hur INTEGRACJA DANYCH Źródła danych ETL Centralna hurtownia danych Do hurtowni
Bardziej szczegółowoUML w Visual Studio. Michał Ciećwierz
UML w Visual Studio Michał Ciećwierz UNIFIED MODELING LANGUAGE (Zunifikowany język modelowania) Pozwala tworzyć wiele systemów (np. informatycznych) Pozwala obrazować, specyfikować, tworzyć i dokumentować
Bardziej szczegółowoWprowadzenie do Hurtowni Danych. Mariusz Rafało
Wprowadzenie do Hurtowni Danych Mariusz Rafało mrafalo@sgh.waw.pl WARSTWA PREZENTACJI HURTOWNI DANYCH Wykorzystanie hurtowni danych - aspekty Analityczne zbiory danych (ADS) Zbiór danych tematycznych (Data
Bardziej szczegółowoEwolucja technik modelowania hurtowni danych
Baza wiedzy JPro Ewolucja technik modelowania hurtowni Porównanie technik modelowania hurtowni podsumowanie: Strona 1/6 Nazwa podejścia Corporate Information Factory Kimball Bus Architecture Data Vault
Bardziej szczegółowoSpis treúci. 1. Wprowadzenie... 13
Księgarnia PWN: W. Dąbrowski, A. Stasiak, M. Wolski - Modelowanie systemów informatycznych w języku UML 2.1 Spis treúci 1. Wprowadzenie... 13 2. Modelowanie cele i metody... 15 2.1. Przegląd rozdziału...
Bardziej szczegółowoHurtownie danych. Wprowadzenie do systemów typu Business Intelligence
Hurtownie danych Wprowadzenie do systemów typu Business Intelligence Krzysztof Goczyła Teresa Zawadzka Katedra Inżynierii Oprogramowania Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika
Bardziej szczegółowoPojęcie systemu baz danych
Pojęcie systemu baz danych System baz danych- skomputeryzowany system przechowywania danych/informacji zorganizowanych w pliki. Składa się z zasadniczych elementów: 1) Danych 2) Sprzętu 3) Programów 4)
Bardziej szczegółowoSpis tre±ci. Przedmowa... Cz ± I
Przedmowa.................................................... i Cz ± I 1 Czym s hurtownie danych?............................... 3 1.1 Wst p.................................................. 3 1.2 Denicja
Bardziej szczegółowoBazy danych. Zenon Gniazdowski WWSI, ITE Andrzej Ptasznik WWSI
Bazy danych Zenon Gniazdowski WWSI, ITE Andrzej Ptasznik WWSI Wszechnica Poranna Trzy tematy: 1. Bazy danych - jak je ugryźć? 2. Język SQL podstawy zapytań. 3. Mechanizmy wewnętrzne baz danych czyli co
Bardziej szczegółowoCo to jest Business Intelligence?
Cykl: Cykl: Czwartki z Business Intelligence Sesja: Co Co to jest Business Intelligence? Bartłomiej Graczyk 2010-05-06 1 Prelegenci cyklu... mariusz@ssas.pl lukasz@ssas.pl grzegorz@ssas.pl bartek@ssas.pl
Bardziej szczegółowoInformacje wstępne Autor Zofia Kruczkiewicz Wzorce oprogramowania 4
Utrwalanie danych zastosowanie obiektowego modelu danych warstwy biznesowej do generowania schematu relacyjnej bazy danych Informacje wstępne Autor Zofia Kruczkiewicz Wzorce oprogramowania 4 1. Relacyjne
Bardziej szczegółowoProcesowa specyfikacja systemów IT
Procesowa specyfikacja systemów IT BOC Group BOC Information Technologies Consulting Sp. z o.o. e-mail: boc@boc-pl.com Tel.: (+48 22) 628 00 15, 696 69 26 Fax: (+48 22) 621 66 88 BOC Management Office
Bardziej szczegółowoSpis treści. Część I Wprowadzenie do pakietu oprogramowania Analysis Services
Spis treści Wstęp... ix Odkąd najlepiej rozpocząć lekturę?... ix Informacja dotycząca towarzyszącej ksiąŝce płyty CD-ROM... xi Wymagania systemowe... xi Instalowanie i uŝywanie plików przykładowych...
Bardziej szczegółowoBazy danych. Plan wykładu. Rodzaje baz. Rodzaje baz. Hurtownie danych. Cechy hurtowni danych. Wykład 14: Hurtownie danych
Plan wykładu Bazy Wykład 14: Hurtownie Bazy operacyjne i analityczne Architektura hurtowni Projektowanie hurtowni Małgorzata Krętowska, Agnieszka Oniśko Wydział Informatyki PB Bazy (studia dzienne) 2 Rodzaje
Bardziej szczegółowoHurtownie danych i business intelligence - wykład II. Zagadnienia do omówienia. Miejsce i rola HD w firmie
Hurtownie danych i business intelligence - wykład II Paweł Skrobanek, C-3 pok. 321 pawel.skrobanek@pwr.wroc.pl oprac. Wrocław 2005-2008 Zagadnienia do omówienia 1. 2. Przegląd architektury HD 3. Warsztaty
Bardziej szczegółowoPodstawowe pakiety komputerowe wykorzystywane w zarządzaniu przedsiębiorstwem. dr Jakub Boratyński. pok. A38
Podstawowe pakiety komputerowe wykorzystywane w zarządzaniu przedsiębiorstwem zajęcia 1 dr Jakub Boratyński pok. A38 Program zajęć Bazy danych jako podstawowy element systemów informatycznych wykorzystywanych
Bardziej szczegółowoPlan. Wprowadzenie. Co to jest APEX? Wprowadzenie. Administracja obszarem roboczym
1 Wprowadzenie do środowiska Oracle APEX, obszary robocze, użytkownicy Wprowadzenie Plan Administracja obszarem roboczym 2 Wprowadzenie Co to jest APEX? Co to jest APEX? Architektura Środowisko Oracle
Bardziej szczegółowoInstalacja SQL Server Express. Logowanie na stronie Microsoftu
Instalacja SQL Server Express Logowanie na stronie Microsoftu Wybór wersji do pobrania Pobieranie startuje, przechodzimy do strony z poradami. Wypakowujemy pobrany plik. Otwiera się okno instalacji. Wybieramy
Bardziej szczegółowoKrzysztof Kadowski. PL-E3579, PL-EA0312,
Krzysztof Kadowski PL-E3579, PL-EA0312, kadowski@jkk.edu.pl Bazą danych nazywamy zbiór informacji w postaci tabel oraz narzędzi stosowanych do gromadzenia, przekształcania oraz wyszukiwania danych. Baza
Bardziej szczegółowoPODSTAWY BAZ DANYCH. 19. Perspektywy baz danych. 2009/2010 Notatki do wykładu "Podstawy baz danych"
PODSTAWY BAZ DANYCH 19. Perspektywy baz danych 1 Perspektywy baz danych Temporalna baza danych Temporalna baza danych - baza danych posiadająca informację o czasie wprowadzenia lub czasie ważności zawartych
Bardziej szczegółowoLaboratorium Technologii Informacyjnych. Projektowanie Baz Danych
Laboratorium Technologii Informacyjnych Projektowanie Baz Danych Komputerowe bazy danych są obecne podstawowym narzędziem służącym przechowywaniu, przetwarzaniu i analizie danych. Gromadzone są dane w
Bardziej szczegółowoPierwsze wdrożenie SAP BW w firmie
Pierwsze wdrożenie w firmie Mirosława Żurek, BCC Poznao, maj 2013 Zakres tematyczny wykładu Podstawowe założenia i pojęcia hurtowni danych ; Przykładowe pierwsze wdrożenie w firmie i jego etapy; Przykładowe
Bardziej szczegółowoProces ETL MS SQL Server Integration Services (SSIS)
Proces ETL MS SQL Server Integration Services (SSIS) 3 kwietnia 2014 Opis pliku z zadaniami Wszystkie zadania na zajęciach będą przekazywane w postaci plików PDF sformatowanych jak ten. Będą się na nie
Bardziej szczegółowoSystemy baz danych. mgr inż. Sylwia Glińska
Systemy baz danych Wykład 1 mgr inż. Sylwia Glińska Baza danych Baza danych to uporządkowany zbiór danych z określonej dziedziny tematycznej, zorganizowany w sposób ułatwiający do nich dostęp. System zarządzania
Bardziej szczegółowoBazy Danych. C. J. Date, Wprowadzenie do systemów baz danych, WNT - W-wa, (seria: Klasyka Informatyki), 2000
Bazy Danych LITERATURA C. J. Date, Wprowadzenie do systemów baz danych, WNT - W-wa, (seria: Klasyka Informatyki), 2000 J. D. Ullman, Systemy baz danych, WNT - W-wa, 1998 J. D. Ullman, J. Widom, Podstawowy
Bardziej szczegółowoProblemy optymalizacji, rozbudowy i integracji systemu Edu wspomagającego e-nauczanie i e-uczenie się w PJWSTK
Problemy optymalizacji, rozbudowy i integracji systemu Edu wspomagającego e-nauczanie i e-uczenie się w PJWSTK Paweł Lenkiewicz Polsko Japońska Wyższa Szkoła Technik Komputerowych Plan prezentacji PJWSTK
Bardziej szczegółowoAUREA BPM Oracle. TECNA Sp. z o.o. Strona 1 z 7
AUREA BPM Oracle TECNA Sp. z o.o. Strona 1 z 7 ORACLE DATABASE System zarządzania bazą danych firmy Oracle jest jednym z najlepszych i najpopularniejszych rozwiązań tego typu na rynku. Oracle Database
Bardziej szczegółowoDSL w środowisku Eclipse. Grzegorz Białek Architekt techniczny, Sygnity S.A.
DSL w środowisku Eclipse Grzegorz Białek Architekt techniczny, Sygnity S.A. Agenda Wstęp do tematu (10 min) Sens tworzenia języków biznesowych UML jako język biznesu? Zintegrowane środowisko deweloperskie
Bardziej szczegółowoOferta szkoleniowa Yosi.pl 2012/2013
Oferta szkoleniowa Yosi.pl 2012/2013 "Podróżnik nie posiadający wiedzy, jest jak ptak bez skrzydeł" Sa'Di, Gulistan (1258 rok) Szanowni Państwo, Yosi.pl to dynamicznie rozwijająca się firma z Krakowa.
Bardziej szczegółowoPlan. Formularz i jego typy. Tworzenie formularza. Co to jest formularz? Typy formularzy Tworzenie prostego formularza Budowa prostego formularza
4 Budowa prostych formularzy, stany sesji, tworzenie przycisków Plan Co to jest formularz? Typy formularzy Tworzenie prostego formularza Budowa prostego formularza 2 Formularz i jego typy Tworzenie formularza
Bardziej szczegółowoBłędy procesu tworzenia oprogramowania (Badania firmy Rational Software Corporation)
Błędy procesu tworzenia oprogramowania (Badania firmy Rational Software Corporation) Zarządzanie wymaganiami Ad hoc (najczęściej brak zarządzania nimi) Niejednoznaczna, nieprecyzyjna komunikacja Architektura
Bardziej szczegółowoCzęść I Istota analizy biznesowej a Analysis Services
Spis treści Część I Istota analizy biznesowej a Analysis Services 1 Analiza biznesowa: podstawy analizy danych... 3 Wprowadzenie do analizy biznesowej... 3 Wielowymiarowa analiza danych... 5 Atrybuty w
Bardziej szczegółowoDiagramy związków encji. Laboratorium. Akademia Morska w Gdyni
Akademia Morska w Gdyni Gdynia 2004 1. Podstawowe definicje Baza danych to uporządkowany zbiór danych umożliwiający łatwe przeszukiwanie i aktualizację. System zarządzania bazą danych (DBMS) to oprogramowanie
Bardziej szczegółowoHurtownie danych. Rola hurtowni danych w systemach typu Business Intelligence
Hurtownie danych Rola hurtowni danych w systemach typu Business Intelligence Krzysztof Goczyła Teresa Zawadzka Katedra Inżynierii Oprogramowania Wydział Elektroniki, Telekomunikacji i Informatyki Politechnika
Bardziej szczegółowoPentaho DI część 1. Paweł Boiński Politechnika Poznańska, Instytut Informatyki
Pentaho DI część 1 Paweł Boiński Politechnika Poznańska, Instytut Informatyki Literatura Pentaho Kettle Solutions: Building Open Source ETL Solutions with Pentaho Data Integration Matt Casters, Roland
Bardziej szczegółowoWłodzimierz Dąbrowski, Przemysław Kowalczuk, Konrad Markowski. Bazy danych ITA-101. Wersja 1
Włodzimierz Dąbrowski, Przemysław Kowalczuk, Konrad Markowski Bazy danych ITA-101 Wersja 1 Warszawa, wrzesień 2009 Wprowadzenie Informacje o kursie Opis kursu We współczesnej informatyce coraz większą
Bardziej szczegółowoOfficeObjects e-forms
OfficeObjects e-forms Rodan Development Sp. z o.o. 02-820 Warszawa, ul. Wyczółki 89, tel.: (+48-22) 643 92 08, fax: (+48-22) 643 92 10, http://www.rodan.pl Spis treści Wstęp... 3 Łatwość tworzenia i publikacji
Bardziej szczegółowoTechnologia informacyjna
Technologia informacyjna Bazy danych Dr inż. Andrzej Czerepicki Politechnika Warszawska Wydział Transportu 2016 Plan wykładu Wstęp do baz danych Modele baz danych Relacyjne bazy danych Język SQL Rodzaje
Bardziej szczegółowoLK1: Wprowadzenie do MS Access Zakładanie bazy danych i tworzenie interfejsu użytkownika
LK1: Wprowadzenie do MS Access Zakładanie bazy danych i tworzenie interfejsu użytkownika Prowadzący: Dr inż. Jacek Habel Instytut Technologii Maszyn i Automatyzacji Produkcji Zakład Projektowania Procesów
Bardziej szczegółowoProjekt: Współpraca i Rozwój wzrost potencjału firm klastra INTERIZON
Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego Projekt: Współpraca i Rozwój wzrost potencjału firm klastra INTERIZON Opis szkoleń z obszaru INFORMATYKA planowanych
Bardziej szczegółowoBaza danych. Modele danych
Rola baz danych Systemy informatyczne stosowane w obsłudze działalności gospodarczej pełnią funkcję polegającą na gromadzeniu i przetwarzaniu danych. Typowe operacje wykonywane na danych w systemach ewidencyjno-sprawozdawczych
Bardziej szczegółowoMonitoring procesów z wykorzystaniem systemu ADONIS
Monitoring procesów z wykorzystaniem systemu ADONIS BOC Information Technologies Consulting Sp. z o.o. e-mail: boc@boc-pl.com Tel.: (+48 22) 628 00 15, 696 69 26 Fax: (+48 22) 621 66 88 BOC Management
Bardziej szczegółowoCzęść I Tworzenie baz danych SQL Server na potrzeby przechowywania danych
Spis treści Wprowadzenie... ix Organizacja ksiąŝki... ix Od czego zacząć?... x Konwencje przyjęte w ksiąŝce... x Wymagania systemowe... xi Przykłady kodu... xii Konfiguracja SQL Server 2005 Express Edition...
Bardziej szczegółowoAnaliza i projektowanie aplikacji Java
Analiza i projektowanie aplikacji Java Modele analityczne a projektowe Modele analityczne (konceptualne) pokazują dziedzinę problemu. Modele projektowe (fizyczne) pokazują system informatyczny. Utrzymanie
Bardziej szczegółowoDiagramy ERD. Model struktury danych jest najczęściej tworzony z wykorzystaniem diagramów pojęciowych (konceptualnych). Najpopularniejszym
Diagramy ERD. Model struktury danych jest najczęściej tworzony z wykorzystaniem diagramów pojęciowych (konceptualnych). Najpopularniejszym konceptualnym modelem danych jest tzw. model związków encji (ERM
Bardziej szczegółowoHurtownie danych i business intelligence. Plan na dziś : Wprowadzenie do przedmiotu
i business intelligence Paweł Skrobanek, C-3 pok. 321 pawel.skrobanek@pwr.wroc.pl Wrocław 2005-2007 Plan na dziś : 1. Wprowadzenie do przedmiotu (co będzie omawiane oraz jak będę weryfikował zdobytą wiedzę
Bardziej szczegółowoBusiness Intelligence
Business Intelligence Paweł Mielczarek Microsoft Certified Trainer (MCT) MCP,MCSA, MCTS, MCTS SQL 2005, MCTS SQL 2008, MCTS DYNAMICS, MBSS, MBSP, MCITP DYNAMICS. Geneza Prowadzenie firmy wymaga podejmowania
Bardziej szczegółowoECDL/ICDL Użytkowanie baz danych Moduł S1 Sylabus - wersja 6.0
ECDL/ICDL Użytkowanie baz danych Moduł S1 Sylabus - wersja 6.0 Przeznaczenie Sylabusa Dokument ten zawiera szczegółowy Sylabus dla modułu ECDL/ICDL Użytkowanie baz danych. Sylabus opisuje zakres wiedzy
Bardziej szczegółowoNarzędzia CASE dla.net. Łukasz Popiel
Narzędzia CASE dla.net Autor: Łukasz Popiel 2 Czym jest CASE? - definicja CASE (ang. Computer-Aided Software/Systems Engineering) g) oprogramowanie używane do komputerowego wspomagania projektowania oprogramowania
Bardziej szczegółowoHurtownie danych i business intelligence. Plan na dziś : Wprowadzenie do przedmiotu
i business intelligence Paweł Skrobanek, C-3 pok. 321 pawel.skrobanek@pwr.wroc.pl Wrocław 2005-2012 Plan na dziś : 1. Wprowadzenie do przedmiotu (co będzie omawiane oraz jak będę weryfikował zdobytą wiedzę
Bardziej szczegółowoSpis treści. Przedmowa
Spis treści Przedmowa V 1 SQL - podstawowe konstrukcje 1 Streszczenie 1 1.1 Bazy danych 1 1.2 Relacyjny model danych 2 1.3 Historia języka SQL 5 1.4 Definiowanie danych 7 1.5 Wprowadzanie zmian w tabelach
Bardziej szczegółowoPRZESTRZENNE BAZY DANYCH WYKŁAD 2
PRZESTRZENNE BAZY DANYCH WYKŁAD 2 Baza danych to zbiór plików, które fizycznie przechowują dane oraz system, który nimi zarządza (DBMS, ang. Database Management System). Zadaniem DBMS jest prawidłowe przechowywanie
Bardziej szczegółowoCel wykładu. Literatura. Wyższa Szkoła Menedżerska w Legnicy. Modelowanie wymagań Wykład 2
Wyższa Szkoła Menedżerska w Legnicy Systemy informatyczne w przedsiębiorstwach Zarządzanie, ZIP, sem. 6 (JG) Modelowanie wymagań Wykład 2 Grzegorz Bazydło Cel wykładu Celem wykładu jest przekazanie wiedzy
Bardziej szczegółowoWykład 1 Inżynieria Oprogramowania
Wykład 1 Inżynieria Oprogramowania Wstęp do inżynierii oprogramowania. Cykle rozwoju oprogramowaniaiteracyjno-rozwojowy cykl oprogramowania Autor: Zofia Kruczkiewicz System Informacyjny =Techniczny SI
Bardziej szczegółowoAnaliza i projekt systemu pracy grupowej z zastosowaniem metodyki SCRUM w technologii SharePoint Karolina Konstantynowicz
Analiza i projekt systemu pracy grupowej z zastosowaniem metodyki SCRUM w technologii SharePoint Karolina Konstantynowicz Promotor dr inż. Szymon Supernak Warszawa, 22.05.2014 Plan prezentacji 1. Cel i
Bardziej szczegółowoRamowy plan kursu. Lp. Moduły Wyk. Lab. Przekazywane treści
Ramowy plan kursu Lp. Moduły Wyk. Lab. Przekazywane treści 1 3 4 Technologia MS SQL Server 2008 R2. Podstawy relacyjnego modelu i projektowanie baz. Zaawansowane elementy języka SQL. Programowanie w języku
Bardziej szczegółowoProjektowanie baz danych za pomocą narzędzi CASE
Projektowanie baz danych za pomocą narzędzi CASE Metody tworzenia systemów informatycznych w tym, także rozbudowanych baz danych są komputerowo wspomagane przez narzędzia CASE (ang. Computer Aided Software
Bardziej szczegółowoModuł mapowania danych
Moduł mapowania danych Styczeń 2011 Wszelkie prawa zastrzeżone. Dokument może być reprodukowany lub przechowywany bez ograniczeń tylko w całości. W przeciwnym przypadku, żadna część niniejszego dokumentu,
Bardziej szczegółowoRELACYJNE BAZY DANYCH
RELACYJNE BAZY DANYCH Aleksander Łuczyk Bielsko-Biała, 15 kwiecień 2015 r. Ludzie używają baz danych każdego dnia. Książka telefoniczna, zbiór wizytówek przypiętych nad biurkiem, encyklopedia czy chociażby
Bardziej szczegółowoProgramowanie obiektowe
Programowanie obiektowe Wykład 13 Marcin Młotkowski 27 maja 2015 Plan wykładu Trwałość obiektów 1 Trwałość obiektów 2 Marcin Młotkowski Programowanie obiektowe 2 / 29 Trwałość (persistence) Definicja Cecha
Bardziej szczegółowoPodstawowe pojęcia dotyczące relacyjnych baz danych. mgr inż. Krzysztof Szałajko
Podstawowe pojęcia dotyczące relacyjnych baz danych mgr inż. Krzysztof Szałajko Czym jest baza danych? Co rozumiemy przez dane? Czym jest system zarządzania bazą danych? 2 / 25 Baza danych Baza danych
Bardziej szczegółowoHurtownie danych. Przetwarzanie zapytań. http://zajecia.jakubw.pl/hur ZAPYTANIA NA ZAPLECZU
Hurtownie danych Przetwarzanie zapytań. Jakub Wróblewski jakubw@pjwstk.edu.pl http://zajecia.jakubw.pl/hur ZAPYTANIA NA ZAPLECZU Magazyny danych operacyjnych, źródła Centralna hurtownia danych Hurtownie
Bardziej szczegółowoTechnologia informacyjna
Technologia informacyjna Pracownia nr 9 (studia stacjonarne) - 05.12.2008 - Rok akademicki 2008/2009 2/16 Bazy danych - Plan zajęć Podstawowe pojęcia: baza danych, system zarządzania bazą danych tabela,
Bardziej szczegółowoECDL/ICDL Użytkowanie baz danych Moduł S1 Sylabus - wersja 5.0
ECDL/ICDL Użytkowanie baz danych Moduł S1 Sylabus - wersja 5.0 Przeznaczenie Sylabusa Dokument ten zawiera szczegółowy Sylabus dla modułu ECDL/ICDL Użytkowanie baz danych. Sylabus opisuje zakres wiedzy
Bardziej szczegółowoProcesy ETL. 10maja2009. Paweł Szołtysek
Procesy 10maja2009 Paweł Szołtysek 1/12 w praktyce w praktyce 2/12 Zagadnienie Business Inteligence w praktyce 3/12 Czym jest proces? w praktyce Dane: dowolny zbiór danych ze źródeł zewnętrznych. Szukane:
Bardziej szczegółowoBazy danych - wykład wstępny
Bazy danych - wykład wstępny Wykład: baza danych, modele, hierarchiczny, sieciowy, relacyjny, obiektowy, schemat logiczny, tabela, kwerenda, SQL, rekord, krotka, pole, atrybut, klucz podstawowy, relacja,
Bardziej szczegółowoPREZENTACJA FUNKCJONALNA SYSTEMU PROPHIX
PREZENTACJA FUNKCJONALNA SYSTEMU PROPHIX Architektura i struktura funkcjonalna systemu PROPHIX PROPHIX Corporate Performance Management (Zarządzanie Wydajnością Firmy) System do samodzielnego planowania,
Bardziej szczegółowoHurtownie danych a transakcyjne bazy danych
Hurtownie danych a transakcyjne bazy danych Materiały źródłowe do wykładu: [1] Jerzy Surma, Business Intelligence. Systemy wspomagania decyzji, Wydawnictwo Naukowe PWN, Warszawa 2009 [2] Arkadiusz Januszewski,
Bardziej szczegółowoXQTav - reprezentacja diagramów przepływu prac w formacie SCUFL przy pomocy XQuery
http://xqtav.sourceforge.net XQTav - reprezentacja diagramów przepływu prac w formacie SCUFL przy pomocy XQuery dr hab. Jerzy Tyszkiewicz dr Andrzej Kierzek mgr Jacek Sroka Grzegorz Kaczor praca mgr pod
Bardziej szczegółowoPRZEWODNIK PO PRZEDMIOCIE
Nazwa przedmiotu: Bazy danych Database Kierunek: Rodzaj przedmiotu: obieralny Rodzaj zajęć: wykład, laboratorium Matematyka Poziom kwalifikacji: I stopnia Liczba godzin/tydzień: 2W, 2L Semestr: III Liczba
Bardziej szczegółowoDiagramu Związków Encji - CELE. Diagram Związków Encji - CHARAKTERYSTYKA. Diagram Związków Encji - Podstawowe bloki składowe i reguły konstrukcji
Diagramy związków encji (ERD) 1 Projektowanie bazy danych za pomocą narzędzi CASE Materiał pochodzi ze strony : http://jjakiela.prz.edu.pl/labs.htm Diagramu Związków Encji - CELE Zrozumienie struktury
Bardziej szczegółowoPrzedmiotem zamówienia jest dostawa:
Załącznik nr 2 do SIWZ Przedmiotem zamówienia jest dostawa: OPIS PRZEDMIOTU ZAMÓWIENIA 1. Pakiet oprogramowania biurowego dla komputerów z systemem Windows - 3 licencje. Lp. Parametr Charakterystyka 1
Bardziej szczegółowoOpis spełnienia wymagań (PSBD)
Numer sprawy: DPZ/4/15 Nr arch. DPZ/087/059-16/15 1. Zakres przedmiotu zamówienia: Opis spełnienia wymagań (PSBD) Załącznik nr 1d do formularza ofertowego Wykonanie dzieła polegającego na dostawie, kompleksowym
Bardziej szczegółowo