Microsoft SQL ServerTM 2005 Integration Services

Transkrypt

1 Microsoft SQL ServerTM 2005 Integration Services Krok po kroku Paul Turley, Joe Kasprzak, Scott Cameron, Satoshi Iizuka oraz Pablo Guzman z Hitachi Consulting

2 Microsoft SQL Server 2005 Integration Services Krok po kroku Edycja polska Microsoft Press Original English language edition 2007 by Hitachi Consulting Tytuł oryginału: Microsoft SQL Server 2005 Integration Services Step by Step Polish edition by APN PROMISE Sp. z o. o. Warszawa 2008 APN PROMISE Sp. z o. o., biuro: Warszawa, ul. Zielna 39 tel. (022) , faks (022) mspress@promise.pl Wszystkie prawa zastrzeżone. Żadna część niniejszej książki nie może być powielana ani rozpowszechniana w jakiejkolwiek formie i w jakikolwiek sposób (elektroniczny, mechaniczny), włącznie z fotokopiowaniem, nagrywaniem na taśmy lub przy użyciu innych systemów bez pisemnej zgody wydawcy. Microsoft, Microsoft Press, MSDN, MSN, SQL Server, Visual Studio oraz Windows są zarejestrowanymi znakami towarowymi Microsoft Corporation. Wszystkie inne nazwy handlowe i towarowe występujące w niniejszej publikacji mogą być znakami towarowymi zastrzeżonymi lub nazwami zastrzeżonymi odpowiednich firm odnośnych właścicieli. Przykłady firm, produktów, osób i wydarzeń opisane w niniejszej książce są fikcyjne i nie odnoszą się do żadnych konkretnych firm, produktów, osób i wydarzeń. Ewentualne podobieństwo do jakiejkolwiek rzeczywistej firmy, organizacji, produktu, nazwy domeny, adresu poczty elektronicznej, logo, osoby, miejsca lub zdarzenia jest przypadkowe i niezamierzone. APN PROMISE Sp. z o. o. dołożyła wszelkich starań, aby zapewnić najwyższą jakość tej publikacji. Jednakże nikomu nie udziela się rękojmi ani gwarancji. APN PROMISE Sp. z o. o. nie jest w żadnym wypadku odpowiedzialna za jakiekolwiek szkody będące następstwem korzystania z informacji zawartych w niniejszej publikacji, nawet jeśli APN PROMISE została powiadomiona o możliwości wystąpienia szkód. ISBN: Przekład: Krzysztof Szkudlarek, Marcin Chościłowicz, Bartłomiej Ożóg, Paweł Pętlicki, Barbara Zając Redakcja: Marek Włodarz Korekta: Anna Wojdanowicz Skład i łamanie: Marek Włodarz

3 Spis treści Od którego miejsca należy rozpocząć lekturę książki? xii Informacje o towarzyszącej książce płycie CD-ROM xiii Wymagania systemowe xiv Instalowanie i korzystanie z plików przykładowych xiv Konwencje i elementy wykorzystane w książce xv Część I Omówienie usług integracji 1 Wprowadzenie do usług integracji SQL Server Integration Services... 3 Typowe zastosowania usług SSIS Obiekty usług SSIS i składniki sterowania przetwarzaniem Sterowanie przetwarzaniem usług SSIS Sterowanie przepływem usług SSIS Przepływ danych usług SSIS Potoki danych usług SSIS Procedura obsługi zdarzeń usług SSIS Składniki usług SSIS Program SSIS Development Studio Usługi SSIS fazy wykonywania Wdrażanie pakietu usług SSIS Migracja od usług DTS serwera SQL Server Krótkie podsumowanie rozdziału Tworzenie pierwszego pakietu Poznajemy środowisko programistyczne Business Intelligence Development Studio.. 13 Solution Explorer Dokowanie okien programów narzędziowych Eksploracja projektu usług SSIS w środowisku BIDS Korzystanie z kreatora importu i eksportu usług SSIS Tworzenie tabel w nowej bazie danych Przeglądanie elementów pakietu Przeglądanie pakietu utworzonego za pomocą kreatora importu i eksportu Testowanie pakietu Uruchamianie pakietu za pomocą narzędzia projektowego Krótkie podsumowanie rozdziału Część II Projektowanie pakietów 3 Wyodrębnianie i ładowanie danych Menedżery połączeń Rodzaje menedżerów połączeń iii

4 iv Microsoft SQL Server 2005 Integration Services krok po kroku Tworzenie nowego projektu usług integracji Dodawanie menedżerów połączeń Tworzenie przepływu danych Dodawanie adapterów danych Uruchamianie pakietu Korzystanie ze źródeł danych oraz z widoków źródeł danych Tworzenie źródła danych Tworzenie widoku źródła danych Tworzenie nowego, nazwanego zapytania Kopiowanie danych z nazwanego zapytania do pliku o płaskiej strukturze Uruchamianie pakietu Krótkie podsumowanie rozdziału Posługiwanie się transformacjami przepływu danych Tworzenie przepływu danych wewnątrz pakietu Źródła przepływu danych Transformacje przepływu danych Miejsca docelowe przepływu danych Połączenia źródeł danych Transformacje usług SSIS Transformacje wierszy Transformacje zbiorów wierszy Transformacje rozdzielające i łączące Transformacje jakości danych Transformacje analizy danych Inne transformacje Transformacje synchroniczne i asynchroniczne Stosowanie wyrażeń w pakietach Zastosowanie wyrażeń w usługach SSIS Elementy wyrażeń Budowanie wyrażeń Korzystanie z transformacji przepływu danych Otwieranie i eksploracja projektu usług SSIS Tworzenie zadania przepływu danych Korzystanie ze źródła typu plik o płaskiej strukturze Dodawanie menedżera połączeń Dodawanie transformacji typu Conditional Split (Podział warunkowy) Dodawanie transformacji typu Derived Column (Kolumna pochodna) Przeglądanie właściwości transformacji typu Derived Column Dodawanie adaptera danych dla docelowego pliku o płaskiej strukturze i uruchamianie pakietu Wysyłanie wyników do innych miejsc docelowych Konfigurowanie wyjścia błędów Rodzaje błędów Opcje błędów Eksploracja pakietu LookupGeography

5 v Tworzenie zadania Tworzenie i nazywanie źródła danych typu plik o płaskiej strukturze Dodawanie transformacji typu Data Conversion (Konwersja danych) Dodawanie transformacji typu Lookup (Wyszukiwanie) Dodawanie docelowego pliku o płaskiej strukturze dla błędów transformacji typu Lookup Dodawanie docelowego pliku o płaskiej strukturze dla poprawnych wyników wyszukiwania Uruchamianie pakietu i sprawdzanie wyników jego działania Krótkie podsumowanie rozdziału Zarządzanie obiektem sterowania przepływem Elementy obiektu sterowania przepływem Składniki obiektu sterowania przepływem Korzystanie z kontenerów Dodawanie transformacji typu Fuzzy Lookup (Wyszukiwanie rozmyte) Dodawanie kontenera pętli typu Foreach Loop Stosowanie ograniczeń pierwszeństwa Krótkie podsumowanie rozdziału Zadania skryptowe Omówienie zadań skryptowych Implementacja zadania skryptowego Tworzenie nowego zadania skryptowego oraz kodu inicjującego Obsługa błędów Przekazywanie komunikatu do zakładki Progress Przekazywanie opisowych informacji do pliku dziennika Używanie zmiennych Modyfikowanie wartości zmiennej w fazie wykonywania Omówienie składnika skryptowego Implementowanie składnika skryptowego Przeglądanie przykładowego projektu Omówienie zadań skryptowych kontrolek ActiveX Implementacja zadania typu ActiveX Script Krótkie podsumowanie rozdziału Debugowanie pakietów Debugowanie obiektu sterowania przepływem Omówienie punktów zatrzymania Przeglądanie okien debugowania Omówienie komunikatów informujących o postępie procesu Częściowe wykonywanie pakietu Debugowanie przepływu danych Przeglądanie danych za pomocą przeglądarek danych Omówienie pozostałych opcji Debugowanie zadań skryptowych

6 vi Microsoft SQL Server 2005 Integration Services krok po kroku Śledzenie działania kodu przy użyciu punktów zatrzymania Przeglądanie stanu skryptu za pomocą funkcji środowiska VSA Krótkie podsumowanie rozdziału Zarządzanie procesem uruchamiania pakietów Omówienie konfiguracji pakietu Korzyści ze stosowania konfiguracji Rodzaje konfiguracji Omówienie pliku konfiguracyjnego w formacie XML Określanie nowej lokalizacji pliku konfiguracyjnego typu XML Tworzenie i edycja pliku konfiguracyjnego typu XML Otwieranie projektu usług SSIS i uruchamianie pakietu Tworzenie pliku konfiguracyjnego typu XML Edycja pliku konfiguracyjnego typu XML Testowanie działania pakietu z nową konfiguracją Pliki z wieloma konfiguracjami Zmienna środowiskowa Wpis rejestru systemu Zmienne pakietu nadrzędnego Tabele serwera SQL Server Konfiguracje bezpośrednie i pośrednie Stosowanie plików konfiguracyjnych Określanie kolejności konfiguracji Sprawdzanie niepowodzeń konfiguracji Stosowanie wielu konfiguracji Tworzenie plików z wieloma konfiguracjami Tworzenie bazy danych oraz menedżera połączeń typu OLE DB Tworzenie zmiennej środowiskowej Tworzenie konfiguracji zapisanej w zmiennej środowiskowej Tworzenie konfiguracji przechowywanej na serwerze SQL Server Testowanie działania pakietu z nową konfiguracją Eksploracja pakietu nadrzędnego Tworzenie konfiguracji opartej na zmiennej pakietu nadrzędnego Poznawanie różnych sposobów uruchamiania pakietu Uruchamianie pakietów za pomocą kreatora SQL Server Import and Export Wizard Uruchamianie pakietów za pomocą programu narzędziowego DTExecUI Uruchamianie pakietów za pomocą programu narzędziowego DTExec Uruchamianie pakietów za pomocą programu SQL Server Management Studio Rozszerzanie możliwości uruchamiania pakietów Korzystanie z usługi agenta serwera SQL Korzystanie z programu narzędziowego do uruchamiania pakietów Omówienie funkcjonalności rejestrującej działanie pakietów Implementacja funkcjonalności rejestrowania Konfigurowanie funkcjonalności rejestrowania zdarzeń pakietu

7 vii Uruchamianie pakietu i przeglądanie jego dzienników Krótkie podsumowanie rozdziału Część III Zarządzanie pakietami 9 Wykrywanie i obsługa błędów przetwarzania Podstawy wykrywania i obsługi błędów Omówienie rodowodu metadanych Omówienie funkcji sprawdzania poprawności Omówienie ograniczeń pierwszeństwa Omówienie transformacji przepływu danych Omówienie procedur obsługi błędów Wykonywanie zadań za pomocą procedur obsługi zdarzeń Wyzwalanie procedury obsługi zdarzeń Korzystanie z procedur obsługi zdarzeń oferowanych przez usługi SSIS Tworzenie procedur obsługi błędów Prezentacja środowiska do projektowania usług SSIS Tworze procedury obsługi zdarzenia OnPreExecute Dodawanie zadania do procedury obsługi zdarzeń Konfigurowanie zadania Odwzorowanie zmiennych pakietu usług SSIS na parametry instrukcji SQL Tworzenie procedury obsługi zdarzeń, rejestrującej zakończenia działania obiektów Tworzenie procedury obsługi zdarzeń służącej do rejestrowania błędów Uruchamianie pakietu Testowanie działania pakietu ze zbiorem niepoprawnych danych Tworzenie procedury obsługi zdarzeń w celu rozwiązania problemu Tworzenie zadania służącego do przenoszenia plików z niepoprawnymi danymi Konfigurowanie ustawień menedżera połączeń Zapobieganie eskalacji zdarzeń do poziomu kontenerów oraz pakietu Zmienianie właściwości licznika błędów Uruchamiane pakietu Zarządzanie spójnością danych za pomocą transakcji Konfigurowanie transakcji Korzystanie z punktów kontrolnych ponownego uruchamiania Omówienie korzyści płynących ze stosowania punktów kontrolnych Konfigurowanie punktów kontrolnych dla pakietu Korzystanie z punktów kontrolnych i transakcji Przygotowania do poprawiania błędów za pomocą punktów kontrolnych i transakcji Omówienie budowy pakietu LoadDimProd Poprawienie błędu Implementacja punktów kontrolnych Krótkie podsumowanie rozdziału

8 viii Microsoft SQL Server 2005 Integration Services krok po kroku 10 Zabezpieczanie oraz wdrażanie pakietów usług SSIS Tworzenie programu narzędziowego do wdrażania pakietów Korzystanie z kreatora instalacji pakietu Zabezpieczanie pakietu Szyfrowanie pakietu Ochrona hasłem Właściwość ProtectionLevel Zabezpieczenia oparte na rolach Stosowanie zabezpieczeń Opcje wdrażania Wdrożenie typu Push (Wypychanie) Wdrożenie typu Pull (Pobieranie) Zarządzanie pakietami na serwerze usług SSIS Tworzenie i stosowanie konfiguracji Dodawanie konfiguracji do projektu Uruchamianie wdrożonego pakietu Monitorowanie działania pakietu oraz dzienniki zdarzeń Stosowanie konfiguracji Krótkie podsumowanie rozdziału Optymalizowanie pakietów usług SSIS Omówienie motoru usług SSIS Motor fazy wykonywania Motor potoku danych Architektura buforowania w pamięci Korzystanie z buforów Drzewa wykonywania Przetwarzanie synchroniczne i asynchroniczne Blokowanie danych Transformacje blokujące Transformacje częściowo blokujące Transformacje wierszowe Transformacje nieblokujące Źródła Ustawienia buforów Zarządzanie procesami przetwarzania równoległego Dostrajanie źródła danych Zarządzanie wydajnością Pętle Źródła typu plik o płaskiej strukturze Filtry i zmienne Zarządzanie miejscami docelowymi Ćwiczenia w dostrajaniu wydajności Praca z właściwościami buforów Praca z serwerem SQL Server jako miejscem docelowym Wskazówki projektowe

9 ix Zarządzanie wydajnością Drzewa wykonywania Plany wykonywania Iteracyjne optymalizowanie architektury pakietu Rejestrowanie planu wykonywania Raporty dzienników usług SSIS Krótkie podsumowanie rozdziału Część IV Usługi SSIS w hurtowniach danych 12 Koncepcje hurtowni danych Zastosowania hurtowni danych Charakterystyka hurtowni danych Dostarczanie danych dla procesów analizy biznesowej Integrowanie danych z heterogenicznych systemów źródłowych Łączenie źródeł danych o zweryfikowanej poprawności Organizowanie danych w nieulotne i powiązane tematycznie grupy Przechowywanie danych w strukturach zoptymalizowanych pod kątem wyodrębniania danych oraz realizacji zapytań Podstawy hurtowni danych Cele rozwiązań logiki biznesowej Łączenie użytecznych danych pochodzących z różnych źródeł Zapewnienie szybkiego i łatwego dostępu do danych Ukierunkowanie na podejmowanie decyzji Poziom szczegółowości danych Wspomaganie procesu podejmowania decyzji biznesowych Częstotliwość aktualizacji i trwałość danych Dane historyczne Zmieniające się wymiary Klucze zastępcze Miary łączne Przeglądanie schematu eksploatacyjnego i schematu bazy danych Tworzenie diagramów bazy danych Składniki systemu hurtowni danych Tabele faktów i tabele wymiarów Charakterystyka tabeli wymiaru Przeglądanie i porównywanie schematu bazy danych hurtowni danych Tworzenie diagramu bazy danych Podsumowanie cech hurtowni danych Krótkie podsumowanie rozdziału Wypełnianie danymi struktur hurtowni danych Cechy hurtowni danych Implementowanie tabel pośrednich Rodzaje schematów pośrednich Pośrednie składowanie danych pochodzących z kilku różnych źródeł

10 x Microsoft SQL Server 2005 Integration Services krok po kroku Wielostopniowe składowanie pośrednie Trwałe składowanie pośrednie Narastające składowanie pośrednie Narastające i pokawałkowane składowanie pośrednie Inne czynniki związane z miejscem docelowym Zarządzanie tabelami wymiaru Część Ładowanie tabel wymiaru przy użyciu lewego połączenia zewnętrznego Zarządzanie tabelami wymiarów Część Ładowanie tabel wymiaru Część Wymiary podlegające powolnym zmianom Zarządzanie powoli zmieniającymi się wymiarami Zarządzanie tabelami faktów Agregowanie danych w tabelach faktów Ładowanie tabel faktów Krótkie podsumowanie rozdziału Ogólne zasady korzystania z usług SSIS Projektowanie pakietów usług SSIS Reguły OVAL projektowania pakietów usług SSIS Stosowanie składników usług SSIS Tworzenie pakietu głównego i pakietów podrzędnych Porządkowanie składników pakietu Zarządzanie procesem wdrażania aplikacji usług SSIS Krótkie podsumowanie rozdziału Indeks

11 Rozdział 1 Wprowadzenie do usług integracji SQL Server Integration Services Po ukończeniu tego rozdziału Czytelnik powinien: Rozumieć przeznaczenie usług SSIS w zastosowaniach związanych z integracją danych. Wiedzieć, jakie obiekty usług SSIS są używane do tworzenia aplikacji usług SSIS. Rozumieć, jaka jest wydajność architektury przetwarzania usług SSIS. Znać i rozumieć składniki usług SSIS służące do tworzenia, administrowania i korzystania z pakietów usług SSIS. Usługi Microsoft SQL Server 2005 Integration Services (SSIS) są zestawem narzędzi ułatwiającym implementowanie procesów integracji danych pomiędzy plikami systemowymi posiadanej aplikacji biznesowej, a istniejącymi bazami danych. Usługi SSIS to coś więcej niż zwykłe procesy typu wyodrębnianie, przekształcanie i ładowanie danych (ETL Extract, Transform and Load). Usługi SSIS umożliwiają administratorom baz danych, a twórcom aplikacji projektowanie, wdrażanie i zarządzanie złożonymi i wysokowydajnymi aplikacjami typu ETL. Korzystając z usług SSIS, można wskazać dane pochodzące z jednego lub z kilku źródeł i poddać je procesom standaryzacji, łączenia (join), dołączania (merge), oczyszczania, powiększania, wyprowadzania danych pochodnych, obliczania lub wykonać na nich niemal każdą inną operację wymaganą przez używane aplikacje integracji danych. Usługi SSIS oferują również procedury służące do automatyzacji wielu funkcji administracyjnych, wykonywanych na bazach danych serwera SQL Server, tabelach i kostkach danych (cubes) systemów transakcyjnego przetwarzania w trybie online (OLAP On-Line Analytical Processing), a także wiele innych funkcji dotyczących innych składników serwera SQL Server Projektowanie fazy ETL w procesach składowania danych w hurtowniach danych oraz logiki biznesowej, procesów migracji danych i integracji aplikacji pochłaniają zwykle od 60, do nawet 80 procent nakładów pracy. Efektywne wdrożenie technologii, takiej jak usługi SQL Server 2005 Integration Services, może znacznie zmniejszyć ilość czasu, nakład pracy oraz koszty związane z przygotowaniem tej fazy. Celem tej książki jest pokazanie sposobu korzystania z różnych funkcji usług SSIS oraz najlepszego sposobu implementowania tych funkcji i możliwości usług SSIS w projektach integracji danych występujących we własnych środowiskach aplikacyjnych. W serii ćwiczeń i szczegółowych demonstracji typu krok po kroku pokazane zostaną typowe i praktyczne przykłady tworzenia aplikacji typu SSIS. Ćwiczenia te demonstrować będą sposób pracy z relacyjnymi oraz nierelacyjnymi źródłami danych, zarządzanie spójnością danych referencyjnych, obsługę sytuacji, w których wymiary kostki danych ulegają powolnym zmianom, a także sposoby rozwiązywania wielu 3

12 4 Microsoft SQL Server 2005 Integration Services krok po kroku problemów napotykanych przy tworzeniu hurtowni danych i logiki biznesowej oraz sposoby implementowania złożonych transformacji danych. Pokażemy również, jak za pomocą funkcji służących do debugowania i obsługi błędów oferowanych przez usługi SSIS można wykrywać, rozwiązywać i naprawiać błędy, mogące pojawiać się w trakcie realizacji procesów integracji danych. Książka ta demonstruje również sposób zarządzania aplikacjami typu SSIS, a także prezentuje porady i wskazówki praktyczne, dotyczące tworzenia i zarządzania aplikacjami typu SSIS w środowiskach posiadanych aplikacji biznesowych. Typowe zastosowania usług SSIS Jednym z typowych zastosowań usług SSIS jest przenoszenie danych z jednego źródła do innego. Powody przenoszenia danych są zbyt liczne, by je wymieniać w tym miejscu. Niektóre z typowych biznesowych przyczyn korzystania z usług SSIS to migracja danych biznesowych z jednej aplikacji do drugiej, wyodrębnianie danych w celu ich dystrybucji do podmiotów zewnętrznych, integracja danych pochodzących od podmiotów zewnętrznych, tworzenie źródeł danych przykładowych na potrzeby środowiska do tworzenia aplikacji oraz wyodrębnianie i ładowanie danych do systemów aplikacyjnych logiki biznesowej. Usługi SSIS działają wyjątkowo dobrze w środowisku serwera SQL Server, ale można ich używać również z wieloma innymi rodzajami plików niebędących plikami baz danych serwera SQL Server, a także z wieloma innymi systemami bazodanowymi istniejącymi w posiadanym środowisku informatycznym. Usługi SSIS dają możliwość odczytywania danych pochodzących z innych produktów firmy Microsoft, takich jak np. arkusze kalkulacyjne programu Microsoft Office Excel, a także z plików tekstowych, plików w formacie XML (Extensible Markup Language) oraz z wielu innych plików o płaskiej strukturze. W kilku ostatnich dekadach, jednym z typowych zadań stojących przed informatyką, była potrzeba dostarczania informacji biznesowych do coraz szerszego grona odbiorców, znajdujących się wewnątrz danej organizacji. Określenie logika biznesowa jest względnie nowym terminem, ale sama koncepcja z pewnością nie jest niczym nowym. Idea ta polega po prostu na wykorzystywaniu informacji, które są już dostępne w danej firmie, do tego by decydenci działający na wszystkich szczeblach hierarchii służbowej mogli łatwiej i szybciej podejmować lepsze decyzje. Systemy logiki biznesowej mogą być systemami opracowanymi na indywidualne zamówienie lub systemami wdrażanymi w oparciu o różnorodne, gotowe narzędzia analityczne i raportujące. Wspólnym składnikiem różnych systemów logiki biznesowej są dane dostarczające potrzebnych informacji i umożliwiające prowadzenie analiz. W sytuacjach, gdy konieczne jest dostarczenie aplikacji logiki biznesowej, które będą wykorzystywane w dużych organizacjach do wielu różnych celów i muszą zapewniać krótki czas odpowiedzi, dane zasilające tego rodzaju systemy najczęściej pochodzą z wielu różnych źródeł. Usługi SSIS oferują możliwość projektowania i wykonywania operacji integracji danych tak prostych, jak przenoszenie danych pomiędzy bazami danych różnych aplikacji lub tak złożonych, jak konsolidacja ogromnych ilości danych pochodzących z wielu różnych źródeł i zapisanych w różnych formatach, przy jednoczesnym stosowaniu reguł służących standaryzacji, modyfikacji i oczyszczaniu tych danych przed ich załadowaniem do hurtowni danych logiki biznesowej, zaprojektowanej z myślą o aplikacjach raportujących i analitycznych. Więcej informacji na temat charakterystyk hurtowni danych oraz roli

13 Rozdział 1: Wprowadzenie do usług integracji SQL Server Integration Services 5 usług SSIS w aplikacjach logiki biznesowej oraz w hurtowaniach danych, podano w dalszej części książki, w rozdziale 12 zatytułowanym Koncepcje hurtowni danych oraz w rozdziale 13 zatytułowanym Wypełnianie danymi struktur hurtowni danych. Nawet osoby, które same nie są odpowiedzialne za tworzenie i utrzymywanie hurtowni danych, operacyjnego magazynu danych raportowania, kostek danych typu OLAP lub innych aplikacji logiki biznesowej z pewnością przyznają, że funkcje oferowane przez usługi SSIS mogą być również przydatne przy realizacji rutynowych zadań związanych z administrowaniem bazą danych, a także wielu innych działań, które wymagają przenoszenia, przekształcania i ładowania danych w różnej postaci. Obiekty usług SSIS i składniki sterowania przetwarzaniem Przed przystąpieniem do omawiania sposobu tworzenia aplikacji usług SSIS należy najpierw zaznajomić się ze składnikami sterowania przetwarzaniem usług SSIS oraz z obiektami służącymi do tworzenia aplikacji tych usług. Pierwszym, wymagającym omówienia obiektem usług SSIS jest pakiet. Pakiet usług SSIS to w aplikacji tych usług, obiekt najwyższego poziomu. Pakiet to dyskretna jednostka działania definiowana dla operacji typu ETL, dla operacji administracyjnych usług SQL Server Services lub dla obydwu tych operacji. Jest to kolekcja składników sterowania przetwarzaniem usług SSIS oraz obiektów tych składników definiujących operacje, zależności przetwarzania oraz sekwencje działań i operacji wymaganych przez aplikacje integrujące dane. Obiekty pakietu zawierają kontenery, zadania, ograniczenia pierwszeństwa, zmienne, źródła danych, miejsca docelowe danych, funkcje administracyjne serwera SQL Server oraz zadania niestandardowe, które można tworzyć stosownie do indywidualnych potrzeb posiadanej aplikacji. Obiekty pakietu są stosowane wobec składników sterowania przetwarzaniem pakietu, zawierających elementy typu sterowanie przepływem, przepływ danych oraz procedura obsługi zdarzenia. Kontrolowanie kolejności działań i operacji wykonywanych wewnątrz pakietu odbywa się poprzez zastosowanie obiektu ograniczeń pierwszeństwa. Ograniczenia pierwszeństwa definiowane są pomiędzy obiektami pakietu i służą do określania kolejności sekwencji operacji przetwarzania oraz do kontrolowania rozgałęzień procesu przetwarzania pomiędzy opcjonalne ścieżki przetwarzania, wartości danych zależnych oraz warunków lub warunków błędów. Kolejnym użytecznym obiektem pakietu jest kontener. Kontener, jest obiektem pakietu służący do grupowania innych obiektów, w tym również innych kontenerów. Typowe zastosowania kontenerów to wykonywanie iteracyjnego przetwarzania, takiego jak np. przebieganie w pętli poprzez zestaw danych lub przetwarzanie zbioru plików z danymi znajdujący się w określonym katalogu. Wprawdzie obiekt kontenera znajduje się wewnątrz pakietu, ale sam pakiet usług SSIS można traktować jak specjalny kontener wysokiego poziomu. Obiekty usług SSIS zawierają również obszerny zbiór zadań transformujących, które są ważne dla zastosowań związanych z integracją danych oraz z logiką biznesową. Zadania te zostały stworzone dla potrzeb łączenia lub agregacji danych oraz konwersji i przekształcania różnych formatów i rodzajów danych. Oferuje się również kilka nowych zadań, przeznaczonych do obsługi specjalizowanych operacji logiki biznesowej, takich jak np zarządzanie

14 6 Microsoft SQL Server 2005 Integration Services krok po kroku danymi o powoli zmieniającym się wymiarze. Możliwe jest również rozszerzanie usług SSIS o własne, niestandardowe zadania i przekształcenia służące do obsługi indywidualnych wymagań stawianych przez posiadane środowisko aplikacji biznesowych. Prawdopodobnie użytkownicy najwyżej docenią jednak fakt, że wszystkie te obiekty usług SSIS umożliwiające tworzenie pakietów pozwalają na tworzenie wysokowydajnych aplikacji typu ETL oraz aplikacji integrujących dane bez konieczności programowania jakiegokolwiek kodu. Projektant usług SSIS automatycznie tworzy całość wykonywalnego kodu pakietu, po prostu przeciągając i upuszczając kontenery, źródła danych, miejsca docelowe danych, przekształcenia oraz inne obiekty. Obiekty pakietów oraz ich składniki zostaną dokładniej przedstawione w kilku kolejnych rozdziałach, w których znajdą się również ćwiczenia pozwalające na praktyczne zapoznanie się z wieloma obiektami dostępnymi podczas projektowania i tworzenia pakietów usług SSIS. Sterowanie przetwarzaniem usług SSIS Istotnym ulepszeniem usług SSIS, jest dostosowanie modelu architektury pakietu SSIS do potrzeb zarządzania sterowaniem przetwarzania pakietu. Jak już wcześniej wspomniano, architektura sterowania przetwarzaniem pakietów usług SSIS składa się z takich składników jak sterowanie przepływem, przepływ danych i procedura obsługi zdarzeń. Każdy z tych składników sterowania przetwarzaniem zawiera zarówno zbiory obiektów wspólnych dla wszystkich składników jak również zbiory obiektów unikalnych dla poszczególnych składników, z których można korzystać podczas projektowania i tworzenia pakietów. Sterowanie przepływem usług SSIS Obiekty pakietu usług SSIS (kontenery, zadania przepływu danych, zadania administracyjne, ograniczenia pierwszeństwa oraz zmienne) są elementami składnika obiektu sterowania przepływem, należącego do architektury sterowania przetwarzaniem. Obiekt sterowania przepływem stanowi najwyższy poziom sterowania przetwarzaniem. Składnik ten umożliwia aranżowanie i zarządzanie aktywnością procesów przepływu danych oraz innych procesów realizowanych w ramach pakietu w fazie wykonywania. W rzeczywistości, możliwe jest zaprojektowanie obiektu sterowania przepływem poprzez wykorzystanie do zarządzania sekwencją przetwarzania dla zbioru pakietów, koncepcji pakietu nadrzędnego (Master Package) oraz zadania typu Execute Package (Uruchom pakiet). Możliwość ta pozwala na łączenie pojedynczych pakietów w jeden, wysoce zarządzalny proces sterowania realizowanymi zadaniami. Ograniczeń pierwszeństwa używać można do ustalania reguł przetwarzania oraz do określania kolejności w ramach obiektu typu sterowanie przepływem. Pakiet usług SSIS składa się z elementu typu sterowanie przepływem oraz z jednego lub z kilku obiektów. Składniki sterowania przetwarzaniem typu przepływ danych i procedura obsługi zdarzeń są opcjonalne.

15 Rozdział 1: Wprowadzenie do usług integracji SQL Server Integration Services 7 Przepływ danych usług SSIS Chcąc przeprowadzić w ramach pakietu operację wyodrębniania, przekształcania lub ładowania danych, należy dodać do składnika sterowania przepływem pakietu, zadanie typu przepływ danych usługi SSIS. Każde zadanie typu przepływ danych tworzy w fazie wykonywania własny składnik sterowania procesem przepływu danych. Każdy przepływ danych jest konfigurowany tak, by za jego pomocą można było zarządzać źródłami danych, miejscami docelowymi danych oraz opcjonalnymi przekształceniami danych dla dowolnych rodzajów manipulacji danymi, jakie mogą być wymagane przez tworzony pakiet. Pakiet może zawierać tyle składników typu przepływ danych, ile potrzeba do obsłużenia wszystkich możliwych rodzajów źródeł i miejsc docelowych danych. Składnik przypływu danych usług SSIS oferuje obszerny zbiór wstępnie zdefiniowanych obiektów typu źródło danych lub miejsce docelowe danych umożliwiający łatwe projektowanie i tworzenie pakietów dla większości rodzajów baz danych i źródeł danych, z jakimi można spotkać się w posiadanym środowisku IT. W razie potrzeby możliwe jest również dodawanie niestandardowych źródeł danych. Obiekty typu docelowe miejsce danych umożliwiają dostarczanie danych pochodzących z procesu przetwarzania przepływu danych w wielu różnych formatach. Pakiet usług SSIS może nawet dostarczać dane wprost do aplikacji, zapisując je w obiekcie docelowym ASP.NET typu DataReader (czytnik danych). Korzystając z tego typu obiektu docelowego, nie ma potrzeby umieszczania danych w trwałym magazynie danych i można projektować integrację aplikacji, umożliwiając dostarczanie danych w czasie niemal rzeczywistym. W ramach przepływu danych usług SSIS oferowany jest zbiór obiektów zadań typu przekształcenie danych. Te zadania transformacji zostały dostosowane do tego, aby spełniać wymagania większości lub nawet wszystkich rodzajów przekształceń, manipulacji, standaryzacji, łączenia, dzielenia i rozmytego dopasowywania danych oraz innych rodzajów transformacji danych bez konieczności pisania skomplikowanego kodu w którymkolwiek z języków programowania. Więcej informacji na temat wielu z tych zadań transformacji oraz obiektów typu źródło danych i miejsce docelowe danych, podano w części II tej książki, zatytułowanej Projektowanie pakietów. Potoki danych usług SSIS Składniki sterowania przetwarzaniem przepływu danych usług SSIS oraz ich zadania są przetwarzane w ramach usług SSIS przez tzw. motor przepływu danych. Kluczową funkcją motoru przepływu danych usług SSIS jest potok danych, pokazany na rysunku 1-1, który do poprawy wydajności przetwarzania wykorzystuje buforowanie w pamięci. Potok danych umożliwia równoległe przetwarzanie danych i podczas wykonywania lub przetwarzania pakietu eliminuje, lub redukuje wielokrotne przebiegi odczytywania i zapisywania danych. Taki poziom efektywności oznacza możliwość przetwarzania w krótszym czasie znacznie większych ilości danych niż wówczas, gdyby działanie procesów typu ETL opierało się po prostu na procedurach składowanych.

16 8 Microsoft SQL Server 2005 Integration Services krok po kroku Równoległe buforowania w pamięci potoków danych Zadanie rozdziału warunkowego Transform1 Transform4 Transform2 Transform5 Transform3 Błąd Opcje docelowe Opcje przetwarzania Dane błędu Dane źródłowe Dane końcowe Rysunek 1-1 Potok danych wewnątrz zadania usług SSIS typu przepływ danych Maksymalna wydajność przetwarzania danych przez pakiety usług SSIS jest wynikiem wykorzystywania przez potoki danych techniki buforowania, która pozwala na manipulowanie danymi w pamięci. Dane źródłowe niezależnie od tego, czy są to dane relacyjne, czy dane strukturalne, takie jak np. dane w formacie XML lub dane zapisane w plikach o płaskiej strukturze, takich jak arkusze kalkulacyjne lub pliki tekstowe z wartościami oddzielamymi przecinkami, są przekształcane w podobne do tabel struktury zawierające kolumny i wiersze, które następnie są ładowane wprost do buforów w pamięci bez potrzeby uprzedniego umieszczania tych danych w tabelach tymczasowych. Transformacje istniejące wewnątrz przepływu danych operują na danych zbuforowanych w pamięci, a także dokonują operacji sortowania, łączenia, modyfikowania i rozszerzania danych przed ich przesłaniem do kolejnej transformacji lub do miejsca docelowego. Dzięki eliminacji narzutów związanych z ponownym odczytywaniem i zapisywaniem danych na dysku procesy potrzebne do przenoszenia i manipulowania danymi mogą działać z optymalną prędkością. Procedura obsługi zdarzeń usług SSIS W przeciwieństwie do elementu sterowania przetwarzaniem typu przepływ danych element sterowania przetwarzaniem typu procedura obsługi zdarzeń nie jest zarządzany przez obiekt sterowania przepływem. Składnika sterowania przetwarzaniem usług SSIS typu procedura obsługi zdarzeń należy używać wówczas, gdy pożądane jest sterowanie procesem przetwarzania w odpowiedzi na wystąpienie konkretnych zdarzeń w trakcie wykonywania pakietu. Procedura obsługi zdarzenia jest uruchamiana w odpowiedzi na określone zdarzenie zgłaszane przez sam pakiet lub przez należące do tego pakietu zadanie albo kontener. Zwykle procedury obsługi zdarzeń tworzone są wewnątrz pakietu w celu specjalnego przetwarzania napotykanych anomalii danych i w zależności od stanu zdarzenia mającego miejsce wewnątrz działającego aktualnie pakietu mogą służyć do uruchomiania innych

17 Rozdział 1: Wprowadzenie do usług integracji SQL Server Integration Services 9 programów lub innych pakietów. Możliwe jest np. utworzenie procedury obsługi zdarzeń służącej do wysyłania pocztą elektroniczną alertów powiadamiających o pomyślnym lub niepomyślnym zakończeniu wykonywania zadania lub pakietu albo po prostu informującą o stanie zakończenia jakiegoś procesu. Więcej informacji na temat architektury pakietu usług SSIS oraz jego obiektów i składników sterowania przetwarzaniem znajduje się w części II tej książki. Składniki usług SSIS Dotychczas przedstawiono obiekty usług SSIS oraz ich architekturę sterowania przetwarzaniem. Teraz omówimy składniki usług SSIS, służące do projektowania, testowania, wdrażania, zarządzania, tworzenia harmonogramów i uruchamiania pakietów usług SSIS. Część ze składników usług SSIS znajduje się na serwerze usług SSIS, podczas gdy pozostałe składniki znajdują się na stacji roboczej użytkownika. Na rysunku 1-2 pokazano scenariusz dla przykładowej konfiguracji. Stacja robocza programisty usług SSIS BIDS Opracowywanie Stacja robocza administratora usług SSIS SSMS Zarządzalne środowisko produkcyjne Testowy serwer SQL Server 2005 Działające usługi SSIS Wdrożone, zarządzalne pakiety Produkcyjny serwer SQL Server 2005 Rysunek 1-2 Przykładowy scenariusz konfiguracji składników usług SSIS Program SSIS Development Studio Program Business Intelligence Development Studio (w skrócie BIDS) to składnik działający na stacji roboczej użytkownika i służący do projektowania, tworzenia i testowania pakietów usług SSIS. Program BIDS oferuje całkowicie graficzne środowisko programowania umożliwiające kopiowanie, utrzymywanie i tworzenie nowych pakietów przy użyciu systemu menu oraz techniki przeciągania i upuszczania. Program BIDS stanowi obszerną platformę do tworzenia oprogramowania, która obsługuje współpracę z programami do zarządzania kodem źródłowym i kontrolowania wersji; oferuje narzędzia debugujące jak pułapki, śledzenie wartości zmiennych i przeglądarki danych oraz zawiera kreator SQL Server Import and Export Wizard (Kreator importu i eksportu danych do i z serwera SQL Server), który umożliwia natychmiastowe przystąpienie do tworzenia nowych pakietów.

18 10 Microsoft SQL Server 2005 Integration Services krok po kroku Kreator SQL Server Import and Export Wizard stanowiący część programu BIDS umożliwia szybkie i łatwe generowanie pakietów usług SSIS służących do kopiowania danych z jednej lokalizacji do drugiej. Kreator SQL Server Import and Export Wizard prowadzi użytkownika poprzez serię stron edytora konfiguracji, które umożliwiają wybór źródła danych, wybór miejsca docelowego oraz określenie odwzorowań pomiędzy elementami danych źródłowych i danych docelowych. Kreator ten może być narzędziem pomocnym w tworzeniu pakietu stanowiącego punkt wyjściowy do dalszej obróbki. Program BIDS umożliwia bowiem dalszą rozbudowę pakietu wygenerowanego za pomocą tego kreatora. Sposób korzystania z programu BIDS zostanie omówiony w rozdziale 2 zatytułowanym Tworzenie pierwszego pakietu. Usługi SSIS fazy wykonywania Usługi SSIS Runtime Services, czyli usługi SSIS fazy wykonywania, zarządzają magazynowaniem pakietów w plikach typu.dtsx (format plików systemowych pakietu usług SSIS) lub w bazie danych MSDB, a także zarządzają i monitorują proces wykonywania tych pakietów. Usługi SSIS fazy wykonywania zapisują układ pakietu stosują wobec niego odpowiednie konfiguracje, wykonują pakiety, zarządzają łańcuchami tekstowymi opisującymi połączenia ze źródłami i miejscami docelowymi danych oraz zabezpieczeniami tych połączeń, a także obsługują funkcje rejestrowania dla potrzeb procesów śledzenia i debugowania. Pliki wykonywalne usług SSIS fazy wykonywania zawierają pakiet oraz wszystkie jego kontenery, zadania, zadania niestandardowe i procedury obsługi zdarzeń. Po zaprojektowaniu i utworzeniu pakietów testowych za pomocą programu BIDS działającego na stacji roboczej programisty można przystąpić do wdrażania tych pakietów na serwerze usług SSIS fazy wykonywania i implementować ich uruchamianie zgodnie z określonym harmonogramem lub na żądanie. W niektórych firmach proces wdrażania gotowych pakietów jest często realizowany przez administratora środowiska produkcyjnego lub przez inną grupę upoważnionych pracowników. Kiedy indziej proces wdrażania pakietów może być prowadzony przez tworzącego je programistę. W obydwu sytuacjach proces konfigurowania i wdrażania pakietu można przeprowadzić albo z poziomu środowiska graficznego, albo za pomocą narzędzi działających z poziomu wiersza polecenia. Wdrażanie pakietu usług SSIS Oprogramowanie SQL Server Management Studio (w skrócie SSMS) to składnik działający na stacji roboczej użytkownika i służący do zarządzania pakietami oraz do wdrażania ich w środowisku produkcyjnym. Oprogramowanie SSMS łączy się bezpośrednio z usługami SSIS fazy wykonywania (SSIS Runtime Services) i zapewnia dostęp do narzędzia o nazwie Execute Package (Uruchom pakiet), które służy do importowania i eksportowania pakietów do i z dostępnych trybów magazynowania (bazy danych MSDB lub magazynu pakietów usługi SSIS), a także umożliwia przeglądanie i monitorowanie aktualnie działających pakietów. Istnieją również dwa inne programy narzędziowe działające z poziomu wiersza polecenia, których można używać do zarządzania, wdrażania i uruchamiania pakietów usług SSIS. Do uruchamiania pakietów z poziomu wiersza polecenia służy program Dtexec.exe.

19 Rozdział 1: Wprowadzenie do usług integracji SQL Server Integration Services 11 Stanowiąc alternatywę dla środowiska SSMS, program Dtexec.exe oferuje funkcjonalność zarządzania pakietami z poziomu wiersza polecenia, umożliwiając kopiowanie, przenoszenie i usuwanie pakietów lub sprawdzanie, czy określony pakiet istnieje. Wyczerpujące informacje na temat wszystkich ról tych usług oraz innych procedur wdrażania aplikacji usług SSIS znajdują się w części III tej książki, zatytułowanej Zarządzanie pakietami. Na zakończenie warto wspomnieć o jeszcze jednej, bardziej zaawansowanej funkcjonalności, tj. o obiektowym modelu usług integracji (Integration Services Object Model). Model ten zawiera interfejs programowania (API) umożliwiający dostosowywanie operacji fazy wykonywania i przepływów danych oraz automatyzację procesów związanych z utrzymywaniem i uruchamianiem pakietów poprzez programowe ładowanie, modyfikowanie i uruchamianie nowych lub istniejących pakietów wprost z poziomu użytkowanej aplikacji biznesowej. Migracja od usług DTS serwera SQL Server 2000 Usługi SSIS stanowią kolejną generację usług znanych poprzednio pod nazwą Microsoft Data Transformation Services (DTS Usługi transformacji danych) i stanowiących część poprzednich wersji oprogramowania serwera bazy danych SQL Server. Usługi SSIS zostały zaprojektowane w oparciu o nową, wysokowydajną i zaawansowaną architekturę. Dobrą wiadomością dla wszystkich, którzy mają już kolekcję pakietów usług SQL Server Data Transformation Services (DTS) jest fakt, że wszystkie te pakiety bez żadnych zmian będą nadal działać w środowisku usług SSIS. Ponadto wraz z oprogramowaniem usług SSIS oferowany jest kreator Package Migration Wizard (Kreator migracji pakietów) umożliwiający konwersję pakietów usług SQL Server 2000 DTS na pakiety usług SSIS. Z powodu pewnych istotnych ulepszeń, takich jak np. sterowanie przepływem usług SSIS czy architektura potoków danych, a także z powodu dodania do usług SSIS wielu nowych lub ulepszonych zadań i transformacji, konwersja pakietu usług DTS nie zawsze musi być kompletna i czasami może wymagać jeszcze pewnych ręcznych uzupełnień. Użytkownik może również zechcieć przeprojektować część posiadanych już pakietów usług DTS po to, by skorzystać z lepszej wydajności lub funkcjonalności dodatkowych zadań oferowanych obecnie przez usługi SSIS. Krótkie podsumowanie rozdziału 1 Termin pakiet usług SSIS kontenery Znaczenie Dyskretna, wykonywalna jednostka działania złożona z kolekcji elementów typu sterowanie przepływem oraz z innych obiektów, takich jak źródła danych, transformacje, sekwencje i reguły przetwarzania, procedury obsługi błędów i zdarzeń oraz docelowe miejsca danych. Obiekty pakietu oferujące strukturę dla pakietów oraz specjalne usługi dla jego zadań. Kontenery są używane do obsługi w pakietach powtarzających się elementów sterowania przepływem oraz do grupowania zadań. Kontenery mogą oprócz zadań zawierać również inne kontenery.

20 12 Microsoft SQL Server 2005 Integration Services krok po kroku Termin zadania ograniczenia pierwszeństwa zmienne sterowanie przepływem przepływ danych procedura obsługi zdarzeń potok danych BIDS SSMS Znaczenie Elementy pakietu definiujące działania i procesy obejmujące między innymi takie elementy jak źródła danych, miejsca docelowe, transformacje i inne. Ograniczenia łączące ze sobą elementy wykonywalne, kontenery i zadania należące do obiektu sterowania przepływem pakietu i określające warunki ustalające kolejność uruchamiania elementów wykonywalnych oraz warunki określające, czy w ogóle należy uruchomić dany element. Magazyn dla wartości, które mogą być wykorzystywane w fazie wykonywania przez pakiet usług SSIS oraz jego kontenery, zadania i procedury obsługi zdarzeń. Ze zmiennych mogą również korzystać skrypty należące do zadań typu Script oraz składniki typu Script. Składnik sterowania przetwarzaniem usług SSIS służący do kontrolowania przepływu elementów: kontenerów oferujących strukturę dla pakietów oraz usługi dla zadań; zadań, oferujących określone funkcjonalności wewnątrz pakietu oraz ograniczeń pierwszeństwa, łączących ze sobą kontenery i zadania. Składnik sterowania przetwarzaniem danych przez usługi SSIS definiowany wewnątrz elementu typu sterowanie przepływem pakietu, który ładuje dane ze źródeł danych, przekształca je, kieruje do kolejnych transformacji i zapisuje w miejscu docelowym. Składnik sterowania przetwarzaniem usług SSIS służący do definiowania działań, które muszą zostać wykonane w chwili wystąpienia określonego zdarzenia dla pakietu lub dla dowolnego z jego zadań lub kontenerów. Działający w pamięci wielowątkowy, buforowany proces przekształcania danych, przepływających w trakcie wykonywania pakietu poprzez zadanie usług SSIS typu przepływ danych. SQL Server Business Intelligence Development Studio. Oprogramowanie tworzące środowisko dla projektów usług integracji, w ramach którego można tworzyć pakiety, ich źródła danych oraz widoki źródeł danych. SQL Server Management Studio. Oprogramowanie oferujące usługi pakietu Integration Services służące do zarządzania pakietami i monitorowania działających pakietów.