SAS ETL Studio Wprowadzenie

Transkrypt

1 SAS ETL Studio Wprowadzenie Izabela Szczęch i Krzysztof Dembczyński Instytut Informatyki Zakład Inteligentnych Systemów Wspomagania Decyzji Politechnika Poznańska Technologie Wytwarzania Oprogramowania Semestr letni 2008/09 Studia uzupełniajace magisterskie

2 1 Wprowadzenie do SAS ETL Studio 2 Studium przypadku 3 SAS ETL Studio Metadane 4 SAS ETL Studio Diagram przepływu zadań 5 SAS ETL Studio Uruchamianie zadań

3 1 Wprowadzenie do SAS ETL Studio 2 Studium przypadku 3 SAS ETL Studio Metadane 4 SAS ETL Studio Diagram przepływu zadań 5 SAS ETL Studio Uruchamianie zadań

4 SAS ETL Studio jest aplikacja umożliwiajac a tworzenie i zarzadzanie przepływami procesów ETL (Extraction, Transformation, Loading of data). Dane w procesie ETL sa: pobierane (extraction) z różnych źródeł, transformowane (transformation) czyli okrajane, łaczone, czyszczone etc., ładowane (loading) do tabel docelowych wchodz acych w skład hurtowni danych.

5 W ramach zajęć nauczymy się: definiować metadane dla tabel źródłowych, definiować metadane dla tabel wynikowych (wchodzacych w skład hurtowni danych), tworzyć i wykonywać procesy (jobs) określaj ace sposób ekstrakcji, transformacji danych źródłowych i ładowania ich do tabel wynikowych.

6 Wykorzystywane narzędzia SAS: SAS Management Console (do administrowania całym oprogramow. SAS), SAS ETL Studio (do budowy i zarzadzania procesami ETL), SAS Metadata Server (do odczytywania/zapisywania danych w SAS Metadata Repository), SAS Workspace Server (do dostępu do danych i wykonywania kodów SASowych).

7 Repozytoria metadanych Obiekt metadanych to zbiór atrybutów opisujacych tabele, użytkowników, serwery, dostęp do nich, umiejscowienie etc. Definicje danych źródłowych, docelowych i transformacji jednych w drugie też sa metadanymi. Metadane przechowywane s a w repozytoriach (np. SAS Main to nazwa repozytorium typu Foundation).

8 Repozytoria metadanych

9 SAS ETL Studio

10 SAS ETL Studio

11 1 Wprowadzenie do SAS ETL Studio 2 Studium przypadku 3 SAS ETL Studio Metadane 4 SAS ETL Studio Diagram przepływu zadań 5 SAS ETL Studio Uruchamianie zadań

12 Studium przypadku Firma Orion Star prowadzi detaliczna sprzedaż artykułów sportowych (ubrania, buty, sprzęty). Sprzedaż prowadzona jest w wielu krajach świata, zarówno w sklepach jak i przez Internet i katalogi wysyłkowe. Dysponujemy danymi z lat Hurtownia danych ma umożliwiać następujace analizy: jakie produkty sa sprzedawane jakim klientom, kiedy, jakie produkty sa sprzedawane, jaki jest średni czas realizacji zamówień złożonych przez Intenet lub z katalogu wysyłkowego.

13 Tabela z danymi źródłowymi: CUSTOMER zawiera dane o klientach, którzy złożyli zamówienie, m.in. imię, nazwisko, adres, datę urodzenia, etc. ORDER_ITEM zawiera szczegółowe informacje o towarze zamówionym w sklepie, przez Internet lub katalog, m.in. ilość zakupionego towaru w danym zamówieniu, cenę towaru etc. ORDERS zawiera informacje o poszczególnych transakcjach m.in. datę zakupu, ID sprzedawcy, ID klienta

14 Tabele z danymi wyjściowymi: ORDER_FACT połaczenie CUSTOMER, ORDER_ITEM, ORDERS + dodatkowe pola dla określenia kiedy jakie produkty sa sprzedawane : Order_Year, Order_Quarter, Order_Month) CATALOG_INTERNET (informacje z ORDER_FACT + dodatkowe pole Delivery_Time)

15 Maszyna/serwer: localhost użytkownik: sasadm hasło: sas repozytorium: Foundation Profil metadanych

16 Lokalizacja danych Należy utworzyć katalog z danymi źródłowymi: temp/sources (należy wgrać tam dane źródłowe) Należy utworzyć katalog z danymi docelowymi: temp/targets (tam będa składowane tabele utworzone w procesie ETL) Należy nadać pełne prawa do tych katalogów grupie użytkowników: Sas Server Users (danymi będziemy manipulować jako użytkownicy SASa, musimy więc zapewnić tym użytkownikom dostęp do danych)

17 1 Wprowadzenie do SAS ETL Studio 2 Studium przypadku 3 SAS ETL Studio Metadane 4 SAS ETL Studio Diagram przepływu zadań 5 SAS ETL Studio Uruchamianie zadań

18 Zakładka Inventory: drzewko Foundation Library New Library SAS Base Engine Library name: Source Tables i Target Tables Libref: Sources i Targets Engine: BASE path: temp/sources i temp/targets server: SASMain

19 Definiujemy metadane dla tabel źródłowych (CUSTOMER, ORDERS, ORDER_ITEM), by były one widoczne w ETL Studio: Source Designer: Sources SAS server: SASMain SAS Library: Source Tables Select All Tables Group Location: Foundation Sprawdzenie: CUSTOMER Properties, CUSTOMER View Data

20 Definiujemy metadane dla tabeli wyjściowej ORDER_FACT: Target Designer Targets Target Table name: Order_Fact Available Columns: Table to Select From CUSTOMER ORDER_ITEM ORDERS Columns to Select Customer_ID Street_ID Order_ID Product_ID Quantity Total_Retail_Price CostPrice_Per_Unit Employee_ID Order_Type Order_Date Delivery_Date

21 Dodanie nowych kolumn do tabeli ORDER_FACT Columns New Name Description Length Type Is Nullable Order_Year Year Order was Placed 4 Numeric Yes Order_Month Month Order was Placed 4 Numeric Yes Informacje końcowe: Library: Target Tables

22 Definiujemy metadane dla tabeli wyjściowej CATALOG_INTERNET: Target Designer Targets Target Table name: Catalog_Intenet Available Columns: ORDER_FACT (w całości) Dodanie nowych kolumn do tabeli: Columns New Name Description Length Type Is Nullable Deliver_Time DeliveryTime-OrderTime 4 Numeric Yes Informacje końcowe: Library: Target Tables

23 1 Wprowadzenie do SAS ETL Studio 2 Studium przypadku 3 SAS ETL Studio Metadane 4 SAS ETL Studio Diagram przepływu zadań 5 SAS ETL Studio Uruchamianie zadań

24 Zadanie to obiekt metadanych, który określa procesy tworzace dane wyjściowe Diagram przepływu zadań:

25 Tworzymy diagram przepływu zadań, określajace sposób powstania tabeli wyjściowej ORDER_FACT: Process Designer name: Load Orion Star Tables Select Tables: Order_Fact (tu podajemy nazwę tabeli wynikowej dla całego procesu)

26 Tworzymy diagram przepływu zadań, określajace sposób powstania tabeli wyjściowej ORDER_FACT (c.d): zakładka Process Library Data Transforms SQL Join zakładka Invertory drag&drop CUSTOMER, ORDERS, ORDER_ITEM (z Source Tables Library)

27 Tabela wyjściowa CATALOG_INTERNET ma powstać jak tabela ORDER_FACT (ale z odfiltrowaniem sprzedaży w sklepach): zakładka Process Library Data Transforms SQL Splitter

28 Tabela wyjściowa CATALOG_INTERNET ma powstać jak tabela ORDER_FACT (ale z odfiltrowaniem sprzedaży w sklepach) (c.d): zakładka Inventory drag&drop Catalog_Internet (z Target Tables Library) uwaga: Loader dla tabeli Catalog_Internet jest automatycznie dodawany File ->Save

29 Poł aczenie tabel (SQL Join): SQL Join Properties zakładka Tables prawy przycisk myszy Advanced Joins zakładka Mappings

30 Połaczenie tabel (SQL Join) (c.d): Importujemy metadane o nowo-utworzonych kolumnach: Order_Year, Order_Month, Delivery_Time Import Columns Ungrouped Available Columns Catalog_Internet select: Order_Year, Order_Month, Delivery_Time następnie wyspecyfikujemy jak maja zostać wypełnione powyższe pola

31 Połaczenie tabel (SQL Join) (c.d): Specyfikujemy, że pole Order_Year z tabeli ORDER_FACT ma być wyciagnięte na podstawie pola Order_Date z tabeli ORDERS: dwuklik na Expresions Category: Data and Time Functions: Year (Date) Insert Data Elements:Orders Order_Date Insert OK

32 Połaczenie tabel (SQL Join) (c.d): Specyfikujemy, że pole Order_Month z tabeli ORDER_FACT ma być wyciagnięte na podstawie pola Order_Date z tabeli ORDERS: dwuklik na Expresions Category: Data and Time Functions: MONTH(Date) Insert Data Elements: Orders Order_Date Insert OK

33 Połaczenie tabel (SQL Join) (c.d): Specyfikujemy, że pole Delivery_Time z tabeli ORDER_FACT ma być obliczone na podstawie pól Delivery_Date i Order_Date z tabeli ORDERS: dwuklik na Expresions Data Sources: Orders Deliver_Date- Order_Date Insert OK

34 Połaczenie tabel (SQL Join) (c.d): specyfikujemy, że tabele wyjściowe maja zawierać tylko sprzedaże po roku 2001: zakładka Where Available Columns Result Columns Order_Year 2001 OK File->Save

35 Podział tabel (SQL Splitter) (c.d): Specyfikujemy, że do tabeli wyjściowej Catalog_Internet maja wejść tylko sprzedaże z katalogu lub z Internetu SAS Splitter Properties zakładka Row Selection Target Table: Catalog_Internet Row Selection Type: Row Selection Conditions Selection Condition: OrderType = Catalog OrderType = Internet

36 Podział tabel (SQL Splitter) (c.d): propagowanie odwzorowań (nazw, typów pól, etc) między kolumna źródłowa a wyjściowa SAS Splitter Properties zakładka Mappings prawy przycisk myszy: Quick Propagate Select Target Table: All File Save

37 Ładowanie danych (SAS Loader): definiowanie technik wypełniania tabel wyjściowych danymi z tabel źródłowych SAS Loader Properties zakładka: Load Technique Load Technique: Refresh Before Loading: Drop Table odświeżenie mapowania między tabela źródłowa a wyjściowa SAS Loader Properties zakładka: Mapping prawy przycisk myszy: Quick Map powyższe operacje wykonać dla Loadera dla Order_Fact oraz Catalog_Internet File Save

38 1 Wprowadzenie do SAS ETL Studio 2 Studium przypadku 3 SAS ETL Studio Metadane 4 SAS ETL Studio Diagram przepływu zadań 5 SAS ETL Studio Uruchamianie zadań

39 Uruchamianie zadań: prawy przycisk myszy Submit

40 Dane w tabelach wyjściowych: tabela wyjściowa prawy przycisk myszy View Data

41 Literatura Getting Started with SAS ETL Studio, 2006