Microsoft SQL ServerTM 2005 Integration Services

Microsoft SQL ServerTM 2005 Integration Services Krok po kroku Paul Turley, Joe Kasprzak, Scott Cameron, Satoshi Iizuka oraz Pablo Guzman z Hitachi Consulting

Microsoft SQL Server 2005 Integration Services Krok po kroku Edycja polska Microsoft Press Original English language edition 2007 by Hitachi Consulting Tytuł oryginału: Microsoft SQL Server 2005 Integration Services Step by Step Polish edition by APN PROMISE Sp. z o. o. Warszawa 2008 APN PROMISE Sp. z o. o., biuro: 00-108 Warszawa, ul. Zielna 39 tel. (022) 351 90 00, faks (022) 351 90 99 e-mail: mspress@promise.pl Wszystkie prawa zastrzeżone. Żadna część niniejszej książki nie może być powielana ani rozpowszechniana w jakiejkolwiek formie i w jakikolwiek sposób (elektroniczny, mechaniczny), włącznie z fotokopiowaniem, nagrywaniem na taśmy lub przy użyciu innych systemów bez pisemnej zgody wydawcy. Microsoft, Microsoft Press, MSDN, MSN, SQL Server, Visual Studio oraz Windows są zarejestrowanymi znakami towarowymi Microsoft Corporation. Wszystkie inne nazwy handlowe i towarowe występujące w niniejszej publikacji mogą być znakami towarowymi zastrzeżonymi lub nazwami zastrzeżonymi odpowiednich firm odnośnych właścicieli. Przykłady firm, produktów, osób i wydarzeń opisane w niniejszej książce są fikcyjne i nie odnoszą się do żadnych konkretnych firm, produktów, osób i wydarzeń. Ewentualne podobieństwo do jakiejkolwiek rzeczywistej firmy, organizacji, produktu, nazwy domeny, adresu poczty elektronicznej, logo, osoby, miejsca lub zdarzenia jest przypadkowe i niezamierzone. APN PROMISE Sp. z o. o. dołożyła wszelkich starań, aby zapewnić najwyższą jakość tej publikacji. Jednakże nikomu nie udziela się rękojmi ani gwarancji. APN PROMISE Sp. z o. o. nie jest w żadnym wypadku odpowiedzialna za jakiekolwiek szkody będące następstwem korzystania z informacji zawartych w niniejszej publikacji, nawet jeśli APN PROMISE została powiadomiona o możliwości wystąpienia szkód. ISBN: 978-83-7541-017-4 Przekład: Krzysztof Szkudlarek, Marcin Chościłowicz, Bartłomiej Ożóg, Paweł Pętlicki, Barbara Zając Redakcja: Marek Włodarz Korekta: Anna Wojdanowicz Skład i łamanie: Marek Włodarz

Spis treści Od którego miejsca należy rozpocząć lekturę książki?........................ xii Informacje o towarzyszącej książce płycie CD-ROM.......................... xiii Wymagania systemowe................................................. xiv Instalowanie i korzystanie z plików przykładowych........................... xiv Konwencje i elementy wykorzystane w książce.............................. xv Część I Omówienie usług integracji 1 Wprowadzenie do usług integracji SQL Server Integration Services... 3 Typowe zastosowania usług SSIS........................................... 4 Obiekty usług SSIS i składniki sterowania przetwarzaniem...................... 5 Sterowanie przetwarzaniem usług SSIS..................................... 6 Sterowanie przepływem usług SSIS...................................... 6 Przepływ danych usług SSIS............................................ 7 Potoki danych usług SSIS.............................................. 7 Procedura obsługi zdarzeń usług SSIS.................................... 8 Składniki usług SSIS..................................................... 9 Program SSIS Development Studio...................................... 9 Usługi SSIS fazy wykonywania......................................... 10 Wdrażanie pakietu usług SSIS.......................................... 10 Migracja od usług DTS serwera SQL Server 2000............................ 11 Krótkie podsumowanie rozdziału 1........................................ 11 2 Tworzenie pierwszego pakietu...................................... 13 Poznajemy środowisko programistyczne Business Intelligence Development Studio.. 13 Solution Explorer.................................................... 16 Dokowanie okien programów narzędziowych............................ 17 Eksploracja projektu usług SSIS w środowisku BIDS........................ 18 Korzystanie z kreatora importu i eksportu usług SSIS......................... 28 Tworzenie tabel w nowej bazie danych.................................. 28 Przeglądanie elementów pakietu......................................... 31 Przeglądanie pakietu utworzonego za pomocą kreatora importu i eksportu... 31 Testowanie pakietu..................................................... 32 Uruchamianie pakietu za pomocą narzędzia projektowego................. 32 Krótkie podsumowanie rozdziału 2........................................ 34 Część II Projektowanie pakietów 3 Wyodrębnianie i ładowanie danych................................. 39 Menedżery połączeń................................................... 39 Rodzaje menedżerów połączeń........................................ 39 iii

iv Microsoft SQL Server 2005 Integration Services krok po kroku Tworzenie nowego projektu usług integracji............................. 40 Dodawanie menedżerów połączeń..................................... 43 Tworzenie przepływu danych.......................................... 45 Dodawanie adapterów danych......................................... 47 Uruchamianie pakietu................................................ 52 Korzystanie ze źródeł danych oraz z widoków źródeł danych.................. 53 Tworzenie źródła danych............................................. 54 Tworzenie widoku źródła danych....................................... 56 Tworzenie nowego, nazwanego zapytania............................... 57 Kopiowanie danych z nazwanego zapytania do pliku o płaskiej strukturze..... 60 Uruchamianie pakietu................................................ 66 Krótkie podsumowanie rozdziału 3........................................ 67 4 Posługiwanie się transformacjami przepływu danych................ 71 Tworzenie przepływu danych wewnątrz pakietu............................. 71 Źródła przepływu danych............................................. 72 Transformacje przepływu danych....................................... 72 Miejsca docelowe przepływu danych.................................... 72 Połączenia źródeł danych............................................. 72 Transformacje usług SSIS................................................ 73 Transformacje wierszy................................................ 74 Transformacje zbiorów wierszy......................................... 75 Transformacje rozdzielające i łączące.................................... 75 Transformacje jakości danych.......................................... 76 Transformacje analizy danych.......................................... 76 Inne transformacje................................................... 77 Transformacje synchroniczne i asynchroniczne............................ 77 Stosowanie wyrażeń w pakietach......................................... 78 Zastosowanie wyrażeń w usługach SSIS.................................. 78 Elementy wyrażeń................................................... 79 Budowanie wyrażeń.................................................. 80 Korzystanie z transformacji przepływu danych.............................. 80 Otwieranie i eksploracja projektu usług SSIS.............................. 80 Tworzenie zadania przepływu danych................................... 83 Korzystanie ze źródła typu plik o płaskiej strukturze....................... 85 Dodawanie menedżera połączeń....................................... 87 Dodawanie transformacji typu Conditional Split (Podział warunkowy)......... 90 Dodawanie transformacji typu Derived Column (Kolumna pochodna)......... 93 Przeglądanie właściwości transformacji typu Derived Column............... 96 Dodawanie adaptera danych dla docelowego pliku o płaskiej strukturze i uruchamianie pakietu............................................. 97 Wysyłanie wyników do innych miejsc docelowych........................ 101 Konfigurowanie wyjścia błędów......................................... 107 Rodzaje błędów.................................................... 107 Opcje błędów...................................................... 108 Eksploracja pakietu LookupGeography................................. 108

v Tworzenie zadania.................................................. 110 Tworzenie i nazywanie źródła danych typu plik o płaskiej strukturze......... 110 Dodawanie transformacji typu Data Conversion (Konwersja danych)......... 111 Dodawanie transformacji typu Lookup (Wyszukiwanie).................... 112 Dodawanie docelowego pliku o płaskiej strukturze dla błędów transformacji typu Lookup..................................................... 114 Dodawanie docelowego pliku o płaskiej strukturze dla poprawnych wyników wyszukiwania.................................................... 116 Uruchamianie pakietu i sprawdzanie wyników jego działania............... 117 Krótkie podsumowanie rozdziału 4....................................... 119 5 Zarządzanie obiektem sterowania przepływem..................... 121 Elementy obiektu sterowania przepływem................................. 121 Składniki obiektu sterowania przepływem.............................. 122 Korzystanie z kontenerów............................................ 127 Dodawanie transformacji typu Fuzzy Lookup (Wyszukiwanie rozmyte)....... 133 Dodawanie kontenera pętli typu Foreach Loop.......................... 137 Stosowanie ograniczeń pierwszeństwa................................. 139 Krótkie podsumowanie rozdziału 5....................................... 144 6 Zadania skryptowe................................................. 147 Omówienie zadań skryptowych.......................................... 148 Implementacja zadania skryptowego..................................... 149 Tworzenie nowego zadania skryptowego oraz kodu inicjującego........... 149 Obsługa błędów.................................................... 153 Przekazywanie komunikatu do zakładki Progress......................... 157 Przekazywanie opisowych informacji do pliku dziennika................... 161 Używanie zmiennych................................................ 165 Modyfikowanie wartości zmiennej w fazie wykonywania.................. 168 Omówienie składnika skryptowego...................................... 170 Implementowanie składnika skryptowego................................. 171 Przeglądanie przykładowego projektu................................. 171 Omówienie zadań skryptowych kontrolek ActiveX.......................... 178 Implementacja zadania typu ActiveX Script............................. 179 Krótkie podsumowanie rozdziału 6....................................... 182 7 Debugowanie pakietów............................................ 185 Debugowanie obiektu sterowania przepływem............................. 186 Omówienie punktów zatrzymania..................................... 186 Przeglądanie okien debugowania..................................... 192 Omówienie komunikatów informujących o postępie procesu............... 194 Częściowe wykonywanie pakietu...................................... 196 Debugowanie przepływu danych........................................ 197 Przeglądanie danych za pomocą przeglądarek danych.................... 197 Omówienie pozostałych opcji......................................... 202 Debugowanie zadań skryptowych....................................... 202

vi Microsoft SQL Server 2005 Integration Services krok po kroku Śledzenie działania kodu przy użyciu punktów zatrzymania................ 203 Przeglądanie stanu skryptu za pomocą funkcji środowiska VSA............. 206 Krótkie podsumowanie rozdziału 7....................................... 210 8 Zarządzanie procesem uruchamiania pakietów..................... 213 Omówienie konfiguracji pakietu......................................... 213 Korzyści ze stosowania konfiguracji.................................... 213 Rodzaje konfiguracji................................................ 214 Omówienie pliku konfiguracyjnego w formacie XML...................... 214 Określanie nowej lokalizacji pliku konfiguracyjnego typu XML.............. 215 Tworzenie i edycja pliku konfiguracyjnego typu XML........................ 215 Otwieranie projektu usług SSIS i uruchamianie pakietu.................... 215 Tworzenie pliku konfiguracyjnego typu XML............................ 217 Edycja pliku konfiguracyjnego typu XML............................... 219 Testowanie działania pakietu z nową konfiguracją........................ 220 Pliki z wieloma konfiguracjami.......................................... 221 Zmienna środowiskowa.............................................. 221 Wpis rejestru systemu............................................... 221 Zmienne pakietu nadrzędnego....................................... 221 Tabele serwera SQL Server........................................... 221 Konfiguracje bezpośrednie i pośrednie................................. 222 Stosowanie plików konfiguracyjnych..................................... 222 Określanie kolejności konfiguracji..................................... 222 Sprawdzanie niepowodzeń konfiguracji................................ 222 Stosowanie wielu konfiguracji........................................ 223 Tworzenie plików z wieloma konfiguracjami............................... 223 Tworzenie bazy danych oraz menedżera połączeń typu OLE DB............ 223 Tworzenie zmiennej środowiskowej.................................... 225 Tworzenie konfiguracji zapisanej w zmiennej środowiskowej............... 226 Tworzenie konfiguracji przechowywanej na serwerze SQL Server............ 228 Testowanie działania pakietu z nową konfiguracją........................ 230 Eksploracja pakietu nadrzędnego..................................... 231 Tworzenie konfiguracji opartej na zmiennej pakietu nadrzędnego.......... 232 Poznawanie różnych sposobów uruchamiania pakietu....................... 234 Uruchamianie pakietów za pomocą kreatora SQL Server Import and Export Wizard......................................................... 234 Uruchamianie pakietów za pomocą programu narzędziowego DTExecUI..... 235 Uruchamianie pakietów za pomocą programu narzędziowego DTExec....... 236 Uruchamianie pakietów za pomocą programu SQL Server Management Studio.......................................................... 237 Rozszerzanie możliwości uruchamiania pakietów......................... 238 Korzystanie z usługi agenta serwera SQL............................... 238 Korzystanie z programu narzędziowego do uruchamiania pakietów......... 240 Omówienie funkcjonalności rejestrującej działanie pakietów.................. 244 Implementacja funkcjonalności rejestrowania.............................. 245 Konfigurowanie funkcjonalności rejestrowania zdarzeń pakietu............. 245

vii Uruchamianie pakietu i przeglądanie jego dzienników.................... 247 Krótkie podsumowanie rozdziału 8....................................... 250 Część III Zarządzanie pakietami 9 Wykrywanie i obsługa błędów przetwarzania....................... 255 Podstawy wykrywania i obsługi błędów................................... 256 Omówienie rodowodu metadanych.................................... 256 Omówienie funkcji sprawdzania poprawności........................... 256 Omówienie ograniczeń pierwszeństwa................................. 257 Omówienie transformacji przepływu danych............................ 257 Omówienie procedur obsługi błędów.................................... 258 Wykonywanie zadań za pomocą procedur obsługi zdarzeń................ 258 Wyzwalanie procedury obsługi zdarzeń................................ 259 Korzystanie z procedur obsługi zdarzeń oferowanych przez usługi SSIS...... 259 Tworzenie procedur obsługi błędów...................................... 260 Prezentacja środowiska do projektowania usług SSIS...................... 261 Tworze procedury obsługi zdarzenia OnPreExecute...................... 262 Dodawanie zadania do procedury obsługi zdarzeń....................... 263 Konfigurowanie zadania............................................. 264 Odwzorowanie zmiennych pakietu usług SSIS na parametry instrukcji SQL... 266 Tworzenie procedury obsługi zdarzeń, rejestrującej zakończenia działania obiektów....................................................... 268 Tworzenie procedury obsługi zdarzeń służącej do rejestrowania błędów..... 269 Uruchamianie pakietu............................................... 270 Testowanie działania pakietu ze zbiorem niepoprawnych danych........... 272 Tworzenie procedury obsługi zdarzeń w celu rozwiązania problemu......... 275 Tworzenie zadania służącego do przenoszenia plików z niepoprawnymi danymi......................................................... 276 Konfigurowanie ustawień menedżera połączeń.......................... 278 Zapobieganie eskalacji zdarzeń do poziomu kontenerów oraz pakietu....... 279 Zmienianie właściwości licznika błędów................................ 280 Uruchamiane pakietu............................................... 281 Zarządzanie spójnością danych za pomocą transakcji........................ 284 Konfigurowanie transakcji............................................ 284 Korzystanie z punktów kontrolnych ponownego uruchamiania............... 284 Omówienie korzyści płynących ze stosowania punktów kontrolnych......... 285 Konfigurowanie punktów kontrolnych dla pakietu........................ 285 Korzystanie z punktów kontrolnych i transakcji............................. 285 Przygotowania do poprawiania błędów za pomocą punktów kontrolnych i transakcji...................................................... 286 Omówienie budowy pakietu LoadDimProd............................. 289 Poprawienie błędu.................................................. 300 Implementacja punktów kontrolnych.................................. 303 Krótkie podsumowanie rozdziału 9....................................... 307

viii Microsoft SQL Server 2005 Integration Services krok po kroku 10 Zabezpieczanie oraz wdrażanie pakietów usług SSIS................ 309 Tworzenie programu narzędziowego do wdrażania pakietów................. 310 Korzystanie z kreatora instalacji pakietu................................ 310 Zabezpieczanie pakietu................................................ 313 Szyfrowanie pakietu................................................. 313 Ochrona hasłem.................................................... 313 Właściwość ProtectionLevel.......................................... 314 Zabezpieczenia oparte na rolach........................................ 314 Stosowanie zabezpieczeń............................................ 315 Opcje wdrażania...................................................... 317 Wdrożenie typu Push (Wypychanie)................................... 317 Wdrożenie typu Pull (Pobieranie)...................................... 318 Zarządzanie pakietami na serwerze usług SSIS........................... 318 Tworzenie i stosowanie konfiguracji...................................... 320 Dodawanie konfiguracji do projektu................................... 321 Uruchamianie wdrożonego pakietu...................................... 321 Monitorowanie działania pakietu oraz dzienniki zdarzeń..................... 323 Stosowanie konfiguracji............................................. 325 Krótkie podsumowanie rozdziału 10...................................... 330 11 Optymalizowanie pakietów usług SSIS.............................. 331 Omówienie motoru usług SSIS.......................................... 332 Motor fazy wykonywania............................................ 332 Motor potoku danych............................................... 332 Architektura buforowania w pamięci..................................... 333 Korzystanie z buforów............................................... 333 Drzewa wykonywania.................................................. 334 Przetwarzanie synchroniczne i asynchroniczne............................. 334 Blokowanie danych.................................................... 335 Transformacje blokujące............................................. 335 Transformacje częściowo blokujące.................................... 336 Transformacje wierszowe............................................. 336 Transformacje nieblokujące............................................. 337 Źródła.............................................................. 337 Ustawienia buforów................................................. 337 Zarządzanie procesami przetwarzania równoległego........................ 338 Dostrajanie źródła danych.............................................. 339 Zarządzanie wydajnością............................................... 339 Pętle............................................................. 341 Źródła typu plik o płaskiej strukturze................................... 342 Filtry i zmienne..................................................... 343 Zarządzanie miejscami docelowymi.................................... 344 Ćwiczenia w dostrajaniu wydajności................................... 346 Praca z właściwościami buforów....................................... 347 Praca z serwerem SQL Server jako miejscem docelowym.................. 348 Wskazówki projektowe.............................................. 350

ix Zarządzanie wydajnością............................................... 353 Drzewa wykonywania............................................... 354 Plany wykonywania................................................. 354 Iteracyjne optymalizowanie architektury pakietu........................... 357 Rejestrowanie planu wykonywania..................................... 358 Raporty dzienników usług SSIS.......................................... 361 Krótkie podsumowanie rozdziału 11...................................... 361 Część IV Usługi SSIS w hurtowniach danych 12 Koncepcje hurtowni danych........................................ 365 Zastosowania hurtowni danych.......................................... 365 Charakterystyka hurtowni danych........................................ 367 Dostarczanie danych dla procesów analizy biznesowej.................... 368 Integrowanie danych z heterogenicznych systemów źródłowych............ 368 Łączenie źródeł danych o zweryfikowanej poprawności................... 369 Organizowanie danych w nieulotne i powiązane tematycznie grupy......... 369 Przechowywanie danych w strukturach zoptymalizowanych pod kątem wyodrębniania danych oraz realizacji zapytań......................... 370 Podstawy hurtowni danych............................................. 371 Cele rozwiązań logiki biznesowej........................................ 371 Łączenie użytecznych danych pochodzących z różnych źródeł.............. 372 Zapewnienie szybkiego i łatwego dostępu do danych..................... 372 Ukierunkowanie na podejmowanie decyzji................................ 373 Poziom szczegółowości danych.......................................... 374 Wspomaganie procesu podejmowania decyzji biznesowych................ 376 Częstotliwość aktualizacji i trwałość danych................................ 376 Dane historyczne................................................... 377 Zmieniające się wymiary............................................... 378 Klucze zastępcze...................................................... 378 Miary łączne......................................................... 379 Przeglądanie schematu eksploatacyjnego i schematu bazy danych............ 381 Tworzenie diagramów bazy danych.................................... 381 Składniki systemu hurtowni danych...................................... 386 Tabele faktów i tabele wymiarów...................................... 386 Charakterystyka tabeli wymiaru....................................... 387 Przeglądanie i porównywanie schematu bazy danych hurtowni danych........ 390 Tworzenie diagramu bazy danych..................................... 390 Podsumowanie cech hurtowni danych.................................... 393 Krótkie podsumowanie rozdziału 12...................................... 394 13 Wypełnianie danymi struktur hurtowni danych..................... 395 Cechy hurtowni danych................................................ 396 Implementowanie tabel pośrednich...................................... 397 Rodzaje schematów pośrednich......................................... 398 Pośrednie składowanie danych pochodzących z kilku różnych źródeł........ 398

x Microsoft SQL Server 2005 Integration Services krok po kroku Wielostopniowe składowanie pośrednie................................ 399 Trwałe składowanie pośrednie........................................ 400 Narastające składowanie pośrednie.................................... 400 Narastające i pokawałkowane składowanie pośrednie..................... 401 Inne czynniki związane z miejscem docelowym.......................... 402 Zarządzanie tabelami wymiaru Część 1.................................. 403 Ładowanie tabel wymiaru przy użyciu lewego połączenia zewnętrznego..... 404 Zarządzanie tabelami wymiarów Część 2................................ 409 Ładowanie tabel wymiaru Część 2.................................... 410 Wymiary podlegające powolnym zmianom................................ 413 Zarządzanie powoli zmieniającymi się wymiarami........................ 415 Zarządzanie tabelami faktów............................................ 427 Agregowanie danych w tabelach faktów................................ 427 Ładowanie tabel faktów............................................. 427 Krótkie podsumowanie rozdziału 13...................................... 442 14 Ogólne zasady korzystania z usług SSIS............................. 443 Projektowanie pakietów usług SSIS....................................... 444 Reguły OVAL projektowania pakietów usług SSIS......................... 444 Stosowanie składników usług SSIS..................................... 448 Tworzenie pakietu głównego i pakietów podrzędnych.................... 455 Porządkowanie składników pakietu.................................... 461 Zarządzanie procesem wdrażania aplikacji usług SSIS..................... 466 Krótkie podsumowanie rozdziału 14...................................... 468 Indeks............................................................. 469

Rozdział 1 Wprowadzenie do usług integracji SQL Server Integration Services Po ukończeniu tego rozdziału Czytelnik powinien: Rozumieć przeznaczenie usług SSIS w zastosowaniach związanych z integracją danych. Wiedzieć, jakie obiekty usług SSIS są używane do tworzenia aplikacji usług SSIS. Rozumieć, jaka jest wydajność architektury przetwarzania usług SSIS. Znać i rozumieć składniki usług SSIS służące do tworzenia, administrowania i korzystania z pakietów usług SSIS. Usługi Microsoft SQL Server 2005 Integration Services (SSIS) są zestawem narzędzi ułatwiającym implementowanie procesów integracji danych pomiędzy plikami systemowymi posiadanej aplikacji biznesowej, a istniejącymi bazami danych. Usługi SSIS to coś więcej niż zwykłe procesy typu wyodrębnianie, przekształcanie i ładowanie danych (ETL Extract, Transform and Load). Usługi SSIS umożliwiają administratorom baz danych, a twórcom aplikacji projektowanie, wdrażanie i zarządzanie złożonymi i wysokowydajnymi aplikacjami typu ETL. Korzystając z usług SSIS, można wskazać dane pochodzące z jednego lub z kilku źródeł i poddać je procesom standaryzacji, łączenia (join), dołączania (merge), oczyszczania, powiększania, wyprowadzania danych pochodnych, obliczania lub wykonać na nich niemal każdą inną operację wymaganą przez używane aplikacje integracji danych. Usługi SSIS oferują również procedury służące do automatyzacji wielu funkcji administracyjnych, wykonywanych na bazach danych serwera SQL Server, tabelach i kostkach danych (cubes) systemów transakcyjnego przetwarzania w trybie online (OLAP On-Line Analytical Processing), a także wiele innych funkcji dotyczących innych składników serwera SQL Server 2005. Projektowanie fazy ETL w procesach składowania danych w hurtowniach danych oraz logiki biznesowej, procesów migracji danych i integracji aplikacji pochłaniają zwykle od 60, do nawet 80 procent nakładów pracy. Efektywne wdrożenie technologii, takiej jak usługi SQL Server 2005 Integration Services, może znacznie zmniejszyć ilość czasu, nakład pracy oraz koszty związane z przygotowaniem tej fazy. Celem tej książki jest pokazanie sposobu korzystania z różnych funkcji usług SSIS oraz najlepszego sposobu implementowania tych funkcji i możliwości usług SSIS w projektach integracji danych występujących we własnych środowiskach aplikacyjnych. W serii ćwiczeń i szczegółowych demonstracji typu krok po kroku pokazane zostaną typowe i praktyczne przykłady tworzenia aplikacji typu SSIS. Ćwiczenia te demonstrować będą sposób pracy z relacyjnymi oraz nierelacyjnymi źródłami danych, zarządzanie spójnością danych referencyjnych, obsługę sytuacji, w których wymiary kostki danych ulegają powolnym zmianom, a także sposoby rozwiązywania wielu 3

4 Microsoft SQL Server 2005 Integration Services krok po kroku problemów napotykanych przy tworzeniu hurtowni danych i logiki biznesowej oraz sposoby implementowania złożonych transformacji danych. Pokażemy również, jak za pomocą funkcji służących do debugowania i obsługi błędów oferowanych przez usługi SSIS można wykrywać, rozwiązywać i naprawiać błędy, mogące pojawiać się w trakcie realizacji procesów integracji danych. Książka ta demonstruje również sposób zarządzania aplikacjami typu SSIS, a także prezentuje porady i wskazówki praktyczne, dotyczące tworzenia i zarządzania aplikacjami typu SSIS w środowiskach posiadanych aplikacji biznesowych. Typowe zastosowania usług SSIS Jednym z typowych zastosowań usług SSIS jest przenoszenie danych z jednego źródła do innego. Powody przenoszenia danych są zbyt liczne, by je wymieniać w tym miejscu. Niektóre z typowych biznesowych przyczyn korzystania z usług SSIS to migracja danych biznesowych z jednej aplikacji do drugiej, wyodrębnianie danych w celu ich dystrybucji do podmiotów zewnętrznych, integracja danych pochodzących od podmiotów zewnętrznych, tworzenie źródeł danych przykładowych na potrzeby środowiska do tworzenia aplikacji oraz wyodrębnianie i ładowanie danych do systemów aplikacyjnych logiki biznesowej. Usługi SSIS działają wyjątkowo dobrze w środowisku serwera SQL Server, ale można ich używać również z wieloma innymi rodzajami plików niebędących plikami baz danych serwera SQL Server, a także z wieloma innymi systemami bazodanowymi istniejącymi w posiadanym środowisku informatycznym. Usługi SSIS dają możliwość odczytywania danych pochodzących z innych produktów firmy Microsoft, takich jak np. arkusze kalkulacyjne programu Microsoft Office Excel, a także z plików tekstowych, plików w formacie XML (Extensible Markup Language) oraz z wielu innych plików o płaskiej strukturze. W kilku ostatnich dekadach, jednym z typowych zadań stojących przed informatyką, była potrzeba dostarczania informacji biznesowych do coraz szerszego grona odbiorców, znajdujących się wewnątrz danej organizacji. Określenie logika biznesowa jest względnie nowym terminem, ale sama koncepcja z pewnością nie jest niczym nowym. Idea ta polega po prostu na wykorzystywaniu informacji, które są już dostępne w danej firmie, do tego by decydenci działający na wszystkich szczeblach hierarchii służbowej mogli łatwiej i szybciej podejmować lepsze decyzje. Systemy logiki biznesowej mogą być systemami opracowanymi na indywidualne zamówienie lub systemami wdrażanymi w oparciu o różnorodne, gotowe narzędzia analityczne i raportujące. Wspólnym składnikiem różnych systemów logiki biznesowej są dane dostarczające potrzebnych informacji i umożliwiające prowadzenie analiz. W sytuacjach, gdy konieczne jest dostarczenie aplikacji logiki biznesowej, które będą wykorzystywane w dużych organizacjach do wielu różnych celów i muszą zapewniać krótki czas odpowiedzi, dane zasilające tego rodzaju systemy najczęściej pochodzą z wielu różnych źródeł. Usługi SSIS oferują możliwość projektowania i wykonywania operacji integracji danych tak prostych, jak przenoszenie danych pomiędzy bazami danych różnych aplikacji lub tak złożonych, jak konsolidacja ogromnych ilości danych pochodzących z wielu różnych źródeł i zapisanych w różnych formatach, przy jednoczesnym stosowaniu reguł służących standaryzacji, modyfikacji i oczyszczaniu tych danych przed ich załadowaniem do hurtowni danych logiki biznesowej, zaprojektowanej z myślą o aplikacjach raportujących i analitycznych. Więcej informacji na temat charakterystyk hurtowni danych oraz roli

Rozdział 1: Wprowadzenie do usług integracji SQL Server Integration Services 5 usług SSIS w aplikacjach logiki biznesowej oraz w hurtowaniach danych, podano w dalszej części książki, w rozdziale 12 zatytułowanym Koncepcje hurtowni danych oraz w rozdziale 13 zatytułowanym Wypełnianie danymi struktur hurtowni danych. Nawet osoby, które same nie są odpowiedzialne za tworzenie i utrzymywanie hurtowni danych, operacyjnego magazynu danych raportowania, kostek danych typu OLAP lub innych aplikacji logiki biznesowej z pewnością przyznają, że funkcje oferowane przez usługi SSIS mogą być również przydatne przy realizacji rutynowych zadań związanych z administrowaniem bazą danych, a także wielu innych działań, które wymagają przenoszenia, przekształcania i ładowania danych w różnej postaci. Obiekty usług SSIS i składniki sterowania przetwarzaniem Przed przystąpieniem do omawiania sposobu tworzenia aplikacji usług SSIS należy najpierw zaznajomić się ze składnikami sterowania przetwarzaniem usług SSIS oraz z obiektami służącymi do tworzenia aplikacji tych usług. Pierwszym, wymagającym omówienia obiektem usług SSIS jest pakiet. Pakiet usług SSIS to w aplikacji tych usług, obiekt najwyższego poziomu. Pakiet to dyskretna jednostka działania definiowana dla operacji typu ETL, dla operacji administracyjnych usług SQL Server Services lub dla obydwu tych operacji. Jest to kolekcja składników sterowania przetwarzaniem usług SSIS oraz obiektów tych składników definiujących operacje, zależności przetwarzania oraz sekwencje działań i operacji wymaganych przez aplikacje integrujące dane. Obiekty pakietu zawierają kontenery, zadania, ograniczenia pierwszeństwa, zmienne, źródła danych, miejsca docelowe danych, funkcje administracyjne serwera SQL Server oraz zadania niestandardowe, które można tworzyć stosownie do indywidualnych potrzeb posiadanej aplikacji. Obiekty pakietu są stosowane wobec składników sterowania przetwarzaniem pakietu, zawierających elementy typu sterowanie przepływem, przepływ danych oraz procedura obsługi zdarzenia. Kontrolowanie kolejności działań i operacji wykonywanych wewnątrz pakietu odbywa się poprzez zastosowanie obiektu ograniczeń pierwszeństwa. Ograniczenia pierwszeństwa definiowane są pomiędzy obiektami pakietu i służą do określania kolejności sekwencji operacji przetwarzania oraz do kontrolowania rozgałęzień procesu przetwarzania pomiędzy opcjonalne ścieżki przetwarzania, wartości danych zależnych oraz warunków lub warunków błędów. Kolejnym użytecznym obiektem pakietu jest kontener. Kontener, jest obiektem pakietu służący do grupowania innych obiektów, w tym również innych kontenerów. Typowe zastosowania kontenerów to wykonywanie iteracyjnego przetwarzania, takiego jak np. przebieganie w pętli poprzez zestaw danych lub przetwarzanie zbioru plików z danymi znajdujący się w określonym katalogu. Wprawdzie obiekt kontenera znajduje się wewnątrz pakietu, ale sam pakiet usług SSIS można traktować jak specjalny kontener wysokiego poziomu. Obiekty usług SSIS zawierają również obszerny zbiór zadań transformujących, które są ważne dla zastosowań związanych z integracją danych oraz z logiką biznesową. Zadania te zostały stworzone dla potrzeb łączenia lub agregacji danych oraz konwersji i przekształcania różnych formatów i rodzajów danych. Oferuje się również kilka nowych zadań, przeznaczonych do obsługi specjalizowanych operacji logiki biznesowej, takich jak np zarządzanie

6 Microsoft SQL Server 2005 Integration Services krok po kroku danymi o powoli zmieniającym się wymiarze. Możliwe jest również rozszerzanie usług SSIS o własne, niestandardowe zadania i przekształcenia służące do obsługi indywidualnych wymagań stawianych przez posiadane środowisko aplikacji biznesowych. Prawdopodobnie użytkownicy najwyżej docenią jednak fakt, że wszystkie te obiekty usług SSIS umożliwiające tworzenie pakietów pozwalają na tworzenie wysokowydajnych aplikacji typu ETL oraz aplikacji integrujących dane bez konieczności programowania jakiegokolwiek kodu. Projektant usług SSIS automatycznie tworzy całość wykonywalnego kodu pakietu, po prostu przeciągając i upuszczając kontenery, źródła danych, miejsca docelowe danych, przekształcenia oraz inne obiekty. Obiekty pakietów oraz ich składniki zostaną dokładniej przedstawione w kilku kolejnych rozdziałach, w których znajdą się również ćwiczenia pozwalające na praktyczne zapoznanie się z wieloma obiektami dostępnymi podczas projektowania i tworzenia pakietów usług SSIS. Sterowanie przetwarzaniem usług SSIS Istotnym ulepszeniem usług SSIS, jest dostosowanie modelu architektury pakietu SSIS do potrzeb zarządzania sterowaniem przetwarzania pakietu. Jak już wcześniej wspomniano, architektura sterowania przetwarzaniem pakietów usług SSIS składa się z takich składników jak sterowanie przepływem, przepływ danych i procedura obsługi zdarzeń. Każdy z tych składników sterowania przetwarzaniem zawiera zarówno zbiory obiektów wspólnych dla wszystkich składników jak również zbiory obiektów unikalnych dla poszczególnych składników, z których można korzystać podczas projektowania i tworzenia pakietów. Sterowanie przepływem usług SSIS Obiekty pakietu usług SSIS (kontenery, zadania przepływu danych, zadania administracyjne, ograniczenia pierwszeństwa oraz zmienne) są elementami składnika obiektu sterowania przepływem, należącego do architektury sterowania przetwarzaniem. Obiekt sterowania przepływem stanowi najwyższy poziom sterowania przetwarzaniem. Składnik ten umożliwia aranżowanie i zarządzanie aktywnością procesów przepływu danych oraz innych procesów realizowanych w ramach pakietu w fazie wykonywania. W rzeczywistości, możliwe jest zaprojektowanie obiektu sterowania przepływem poprzez wykorzystanie do zarządzania sekwencją przetwarzania dla zbioru pakietów, koncepcji pakietu nadrzędnego (Master Package) oraz zadania typu Execute Package (Uruchom pakiet). Możliwość ta pozwala na łączenie pojedynczych pakietów w jeden, wysoce zarządzalny proces sterowania realizowanymi zadaniami. Ograniczeń pierwszeństwa używać można do ustalania reguł przetwarzania oraz do określania kolejności w ramach obiektu typu sterowanie przepływem. Pakiet usług SSIS składa się z elementu typu sterowanie przepływem oraz z jednego lub z kilku obiektów. Składniki sterowania przetwarzaniem typu przepływ danych i procedura obsługi zdarzeń są opcjonalne.

Rozdział 1: Wprowadzenie do usług integracji SQL Server Integration Services 7 Przepływ danych usług SSIS Chcąc przeprowadzić w ramach pakietu operację wyodrębniania, przekształcania lub ładowania danych, należy dodać do składnika sterowania przepływem pakietu, zadanie typu przepływ danych usługi SSIS. Każde zadanie typu przepływ danych tworzy w fazie wykonywania własny składnik sterowania procesem przepływu danych. Każdy przepływ danych jest konfigurowany tak, by za jego pomocą można było zarządzać źródłami danych, miejscami docelowymi danych oraz opcjonalnymi przekształceniami danych dla dowolnych rodzajów manipulacji danymi, jakie mogą być wymagane przez tworzony pakiet. Pakiet może zawierać tyle składników typu przepływ danych, ile potrzeba do obsłużenia wszystkich możliwych rodzajów źródeł i miejsc docelowych danych. Składnik przypływu danych usług SSIS oferuje obszerny zbiór wstępnie zdefiniowanych obiektów typu źródło danych lub miejsce docelowe danych umożliwiający łatwe projektowanie i tworzenie pakietów dla większości rodzajów baz danych i źródeł danych, z jakimi można spotkać się w posiadanym środowisku IT. W razie potrzeby możliwe jest również dodawanie niestandardowych źródeł danych. Obiekty typu docelowe miejsce danych umożliwiają dostarczanie danych pochodzących z procesu przetwarzania przepływu danych w wielu różnych formatach. Pakiet usług SSIS może nawet dostarczać dane wprost do aplikacji, zapisując je w obiekcie docelowym ASP.NET typu DataReader (czytnik danych). Korzystając z tego typu obiektu docelowego, nie ma potrzeby umieszczania danych w trwałym magazynie danych i można projektować integrację aplikacji, umożliwiając dostarczanie danych w czasie niemal rzeczywistym. W ramach przepływu danych usług SSIS oferowany jest zbiór obiektów zadań typu przekształcenie danych. Te zadania transformacji zostały dostosowane do tego, aby spełniać wymagania większości lub nawet wszystkich rodzajów przekształceń, manipulacji, standaryzacji, łączenia, dzielenia i rozmytego dopasowywania danych oraz innych rodzajów transformacji danych bez konieczności pisania skomplikowanego kodu w którymkolwiek z języków programowania. Więcej informacji na temat wielu z tych zadań transformacji oraz obiektów typu źródło danych i miejsce docelowe danych, podano w części II tej książki, zatytułowanej Projektowanie pakietów. Potoki danych usług SSIS Składniki sterowania przetwarzaniem przepływu danych usług SSIS oraz ich zadania są przetwarzane w ramach usług SSIS przez tzw. motor przepływu danych. Kluczową funkcją motoru przepływu danych usług SSIS jest potok danych, pokazany na rysunku 1-1, który do poprawy wydajności przetwarzania wykorzystuje buforowanie w pamięci. Potok danych umożliwia równoległe przetwarzanie danych i podczas wykonywania lub przetwarzania pakietu eliminuje, lub redukuje wielokrotne przebiegi odczytywania i zapisywania danych. Taki poziom efektywności oznacza możliwość przetwarzania w krótszym czasie znacznie większych ilości danych niż wówczas, gdyby działanie procesów typu ETL opierało się po prostu na procedurach składowanych.

8 Microsoft SQL Server 2005 Integration Services krok po kroku Równoległe buforowania w pamięci potoków danych Zadanie rozdziału warunkowego Transform1 Transform4 Transform2 Transform5 Transform3 Błąd Opcje docelowe Opcje przetwarzania Dane błędu Dane źródłowe Dane końcowe Rysunek 1-1 Potok danych wewnątrz zadania usług SSIS typu przepływ danych Maksymalna wydajność przetwarzania danych przez pakiety usług SSIS jest wynikiem wykorzystywania przez potoki danych techniki buforowania, która pozwala na manipulowanie danymi w pamięci. Dane źródłowe niezależnie od tego, czy są to dane relacyjne, czy dane strukturalne, takie jak np. dane w formacie XML lub dane zapisane w plikach o płaskiej strukturze, takich jak arkusze kalkulacyjne lub pliki tekstowe z wartościami oddzielamymi przecinkami, są przekształcane w podobne do tabel struktury zawierające kolumny i wiersze, które następnie są ładowane wprost do buforów w pamięci bez potrzeby uprzedniego umieszczania tych danych w tabelach tymczasowych. Transformacje istniejące wewnątrz przepływu danych operują na danych zbuforowanych w pamięci, a także dokonują operacji sortowania, łączenia, modyfikowania i rozszerzania danych przed ich przesłaniem do kolejnej transformacji lub do miejsca docelowego. Dzięki eliminacji narzutów związanych z ponownym odczytywaniem i zapisywaniem danych na dysku procesy potrzebne do przenoszenia i manipulowania danymi mogą działać z optymalną prędkością. Procedura obsługi zdarzeń usług SSIS W przeciwieństwie do elementu sterowania przetwarzaniem typu przepływ danych element sterowania przetwarzaniem typu procedura obsługi zdarzeń nie jest zarządzany przez obiekt sterowania przepływem. Składnika sterowania przetwarzaniem usług SSIS typu procedura obsługi zdarzeń należy używać wówczas, gdy pożądane jest sterowanie procesem przetwarzania w odpowiedzi na wystąpienie konkretnych zdarzeń w trakcie wykonywania pakietu. Procedura obsługi zdarzenia jest uruchamiana w odpowiedzi na określone zdarzenie zgłaszane przez sam pakiet lub przez należące do tego pakietu zadanie albo kontener. Zwykle procedury obsługi zdarzeń tworzone są wewnątrz pakietu w celu specjalnego przetwarzania napotykanych anomalii danych i w zależności od stanu zdarzenia mającego miejsce wewnątrz działającego aktualnie pakietu mogą służyć do uruchomiania innych

Rozdział 1: Wprowadzenie do usług integracji SQL Server Integration Services 9 programów lub innych pakietów. Możliwe jest np. utworzenie procedury obsługi zdarzeń służącej do wysyłania pocztą elektroniczną alertów powiadamiających o pomyślnym lub niepomyślnym zakończeniu wykonywania zadania lub pakietu albo po prostu informującą o stanie zakończenia jakiegoś procesu. Więcej informacji na temat architektury pakietu usług SSIS oraz jego obiektów i składników sterowania przetwarzaniem znajduje się w części II tej książki. Składniki usług SSIS Dotychczas przedstawiono obiekty usług SSIS oraz ich architekturę sterowania przetwarzaniem. Teraz omówimy składniki usług SSIS, służące do projektowania, testowania, wdrażania, zarządzania, tworzenia harmonogramów i uruchamiania pakietów usług SSIS. Część ze składników usług SSIS znajduje się na serwerze usług SSIS, podczas gdy pozostałe składniki znajdują się na stacji roboczej użytkownika. Na rysunku 1-2 pokazano scenariusz dla przykładowej konfiguracji. Stacja robocza programisty usług SSIS BIDS Opracowywanie Stacja robocza administratora usług SSIS SSMS Zarządzalne środowisko produkcyjne Testowy serwer SQL Server 2005 Działające usługi SSIS Wdrożone, zarządzalne pakiety Produkcyjny serwer SQL Server 2005 Rysunek 1-2 Przykładowy scenariusz konfiguracji składników usług SSIS Program SSIS Development Studio Program Business Intelligence Development Studio (w skrócie BIDS) to składnik działający na stacji roboczej użytkownika i służący do projektowania, tworzenia i testowania pakietów usług SSIS. Program BIDS oferuje całkowicie graficzne środowisko programowania umożliwiające kopiowanie, utrzymywanie i tworzenie nowych pakietów przy użyciu systemu menu oraz techniki przeciągania i upuszczania. Program BIDS stanowi obszerną platformę do tworzenia oprogramowania, która obsługuje współpracę z programami do zarządzania kodem źródłowym i kontrolowania wersji; oferuje narzędzia debugujące jak pułapki, śledzenie wartości zmiennych i przeglądarki danych oraz zawiera kreator SQL Server Import and Export Wizard (Kreator importu i eksportu danych do i z serwera SQL Server), który umożliwia natychmiastowe przystąpienie do tworzenia nowych pakietów.

10 Microsoft SQL Server 2005 Integration Services krok po kroku Kreator SQL Server Import and Export Wizard stanowiący część programu BIDS umożliwia szybkie i łatwe generowanie pakietów usług SSIS służących do kopiowania danych z jednej lokalizacji do drugiej. Kreator SQL Server Import and Export Wizard prowadzi użytkownika poprzez serię stron edytora konfiguracji, które umożliwiają wybór źródła danych, wybór miejsca docelowego oraz określenie odwzorowań pomiędzy elementami danych źródłowych i danych docelowych. Kreator ten może być narzędziem pomocnym w tworzeniu pakietu stanowiącego punkt wyjściowy do dalszej obróbki. Program BIDS umożliwia bowiem dalszą rozbudowę pakietu wygenerowanego za pomocą tego kreatora. Sposób korzystania z programu BIDS zostanie omówiony w rozdziale 2 zatytułowanym Tworzenie pierwszego pakietu. Usługi SSIS fazy wykonywania Usługi SSIS Runtime Services, czyli usługi SSIS fazy wykonywania, zarządzają magazynowaniem pakietów w plikach typu.dtsx (format plików systemowych pakietu usług SSIS) lub w bazie danych MSDB, a także zarządzają i monitorują proces wykonywania tych pakietów. Usługi SSIS fazy wykonywania zapisują układ pakietu stosują wobec niego odpowiednie konfiguracje, wykonują pakiety, zarządzają łańcuchami tekstowymi opisującymi połączenia ze źródłami i miejscami docelowymi danych oraz zabezpieczeniami tych połączeń, a także obsługują funkcje rejestrowania dla potrzeb procesów śledzenia i debugowania. Pliki wykonywalne usług SSIS fazy wykonywania zawierają pakiet oraz wszystkie jego kontenery, zadania, zadania niestandardowe i procedury obsługi zdarzeń. Po zaprojektowaniu i utworzeniu pakietów testowych za pomocą programu BIDS działającego na stacji roboczej programisty można przystąpić do wdrażania tych pakietów na serwerze usług SSIS fazy wykonywania i implementować ich uruchamianie zgodnie z określonym harmonogramem lub na żądanie. W niektórych firmach proces wdrażania gotowych pakietów jest często realizowany przez administratora środowiska produkcyjnego lub przez inną grupę upoważnionych pracowników. Kiedy indziej proces wdrażania pakietów może być prowadzony przez tworzącego je programistę. W obydwu sytuacjach proces konfigurowania i wdrażania pakietu można przeprowadzić albo z poziomu środowiska graficznego, albo za pomocą narzędzi działających z poziomu wiersza polecenia. Wdrażanie pakietu usług SSIS Oprogramowanie SQL Server Management Studio (w skrócie SSMS) to składnik działający na stacji roboczej użytkownika i służący do zarządzania pakietami oraz do wdrażania ich w środowisku produkcyjnym. Oprogramowanie SSMS łączy się bezpośrednio z usługami SSIS fazy wykonywania (SSIS Runtime Services) i zapewnia dostęp do narzędzia o nazwie Execute Package (Uruchom pakiet), które służy do importowania i eksportowania pakietów do i z dostępnych trybów magazynowania (bazy danych MSDB lub magazynu pakietów usługi SSIS), a także umożliwia przeglądanie i monitorowanie aktualnie działających pakietów. Istnieją również dwa inne programy narzędziowe działające z poziomu wiersza polecenia, których można używać do zarządzania, wdrażania i uruchamiania pakietów usług SSIS. Do uruchamiania pakietów z poziomu wiersza polecenia służy program Dtexec.exe.

Rozdział 1: Wprowadzenie do usług integracji SQL Server Integration Services 11 Stanowiąc alternatywę dla środowiska SSMS, program Dtexec.exe oferuje funkcjonalność zarządzania pakietami z poziomu wiersza polecenia, umożliwiając kopiowanie, przenoszenie i usuwanie pakietów lub sprawdzanie, czy określony pakiet istnieje. Wyczerpujące informacje na temat wszystkich ról tych usług oraz innych procedur wdrażania aplikacji usług SSIS znajdują się w części III tej książki, zatytułowanej Zarządzanie pakietami. Na zakończenie warto wspomnieć o jeszcze jednej, bardziej zaawansowanej funkcjonalności, tj. o obiektowym modelu usług integracji (Integration Services Object Model). Model ten zawiera interfejs programowania (API) umożliwiający dostosowywanie operacji fazy wykonywania i przepływów danych oraz automatyzację procesów związanych z utrzymywaniem i uruchamianiem pakietów poprzez programowe ładowanie, modyfikowanie i uruchamianie nowych lub istniejących pakietów wprost z poziomu użytkowanej aplikacji biznesowej. Migracja od usług DTS serwera SQL Server 2000 Usługi SSIS stanowią kolejną generację usług znanych poprzednio pod nazwą Microsoft Data Transformation Services (DTS Usługi transformacji danych) i stanowiących część poprzednich wersji oprogramowania serwera bazy danych SQL Server. Usługi SSIS zostały zaprojektowane w oparciu o nową, wysokowydajną i zaawansowaną architekturę. Dobrą wiadomością dla wszystkich, którzy mają już kolekcję pakietów usług SQL Server Data Transformation Services (DTS) jest fakt, że wszystkie te pakiety bez żadnych zmian będą nadal działać w środowisku usług SSIS. Ponadto wraz z oprogramowaniem usług SSIS oferowany jest kreator Package Migration Wizard (Kreator migracji pakietów) umożliwiający konwersję pakietów usług SQL Server 2000 DTS na pakiety usług SSIS. Z powodu pewnych istotnych ulepszeń, takich jak np. sterowanie przepływem usług SSIS czy architektura potoków danych, a także z powodu dodania do usług SSIS wielu nowych lub ulepszonych zadań i transformacji, konwersja pakietu usług DTS nie zawsze musi być kompletna i czasami może wymagać jeszcze pewnych ręcznych uzupełnień. Użytkownik może również zechcieć przeprojektować część posiadanych już pakietów usług DTS po to, by skorzystać z lepszej wydajności lub funkcjonalności dodatkowych zadań oferowanych obecnie przez usługi SSIS. Krótkie podsumowanie rozdziału 1 Termin pakiet usług SSIS kontenery Znaczenie Dyskretna, wykonywalna jednostka działania złożona z kolekcji elementów typu sterowanie przepływem oraz z innych obiektów, takich jak źródła danych, transformacje, sekwencje i reguły przetwarzania, procedury obsługi błędów i zdarzeń oraz docelowe miejsca danych. Obiekty pakietu oferujące strukturę dla pakietów oraz specjalne usługi dla jego zadań. Kontenery są używane do obsługi w pakietach powtarzających się elementów sterowania przepływem oraz do grupowania zadań. Kontenery mogą oprócz zadań zawierać również inne kontenery.

12 Microsoft SQL Server 2005 Integration Services krok po kroku Termin zadania ograniczenia pierwszeństwa zmienne sterowanie przepływem przepływ danych procedura obsługi zdarzeń potok danych BIDS SSMS Znaczenie Elementy pakietu definiujące działania i procesy obejmujące między innymi takie elementy jak źródła danych, miejsca docelowe, transformacje i inne. Ograniczenia łączące ze sobą elementy wykonywalne, kontenery i zadania należące do obiektu sterowania przepływem pakietu i określające warunki ustalające kolejność uruchamiania elementów wykonywalnych oraz warunki określające, czy w ogóle należy uruchomić dany element. Magazyn dla wartości, które mogą być wykorzystywane w fazie wykonywania przez pakiet usług SSIS oraz jego kontenery, zadania i procedury obsługi zdarzeń. Ze zmiennych mogą również korzystać skrypty należące do zadań typu Script oraz składniki typu Script. Składnik sterowania przetwarzaniem usług SSIS służący do kontrolowania przepływu elementów: kontenerów oferujących strukturę dla pakietów oraz usługi dla zadań; zadań, oferujących określone funkcjonalności wewnątrz pakietu oraz ograniczeń pierwszeństwa, łączących ze sobą kontenery i zadania. Składnik sterowania przetwarzaniem danych przez usługi SSIS definiowany wewnątrz elementu typu sterowanie przepływem pakietu, który ładuje dane ze źródeł danych, przekształca je, kieruje do kolejnych transformacji i zapisuje w miejscu docelowym. Składnik sterowania przetwarzaniem usług SSIS służący do definiowania działań, które muszą zostać wykonane w chwili wystąpienia określonego zdarzenia dla pakietu lub dla dowolnego z jego zadań lub kontenerów. Działający w pamięci wielowątkowy, buforowany proces przekształcania danych, przepływających w trakcie wykonywania pakietu poprzez zadanie usług SSIS typu przepływ danych. SQL Server Business Intelligence Development Studio. Oprogramowanie tworzące środowisko dla projektów usług integracji, w ramach którego można tworzyć pakiety, ich źródła danych oraz widoki źródeł danych. SQL Server Management Studio. Oprogramowanie oferujące usługi pakietu Integration Services służące do zarządzania pakietami i monitorowania działających pakietów.