Microsoft SQL Server Integration Services

Transkrypt

1 Wee-Hyong Tok Rakesh Parida Matt Masson Xiaoning Ding Kaarthik Sivashanmugam Microsoft SQL Server Integration Services 2012 Przekład: Marek Włodarz APN Promise, Warszawa 2012

2 Spis treści Przedmowa....xiii Wprowadzenie.... xv O autorach.... xx Część I: Przegląd 1 Ogólna charakterystyka SSIS....3 Typowe scenariusze wykorzystania SSIS... 4 Konsolidowanie danych z heterogenicznych źródeł... 4 Przenoszenie danych pomiędzy systemami Ładowanie danych do hurtowni Czyszczenie, formatowanie lub standaryzowanie danych Identyfikowanie, przechwytywanie i przetwarzanie zmian danych Koordynowanie konserwowania, przetwarzania lub analizowania danych Ewolucja SSIS Instalowanie SSIS Funkcje SQL Server wymagane dla integrowania danych Wydania SQL Server a funkcje Integration Services Podsumowanie Koncepcja SSIS Przepływ sterowania Zadania Ograniczenia pierwszeństwa Zmienne i wyrażenia Kontenery Menedżery połączeń Pakiety i projekty Parametry Dostawcy dzienników Obsługa zdarzeń Przepływ danych Adaptery źródłowe Adaptery docelowe Transformacje Katalog SSIS iii

3 iv Spis treści Wprowadzenie Katalog Foldery Środowiska Odsyłacze Podsumowanie Wykonywanie aktualizacji do wersji SSIS Co nowego w SSIS 2012? Uwarunkowania i planowanie aktualizacji Zmiany funkcjonalności SSIS Uwarunkowania i narzędzia Wymagania dotyczące aktualizacji Scenariusze aktualizacji Nieobsługiwane scenariusze aktualizacji Weryfikacja aktualizacji Aktualizacja Integration Services Upgrade Advisor Wykonywanie uaktualnienia Rozwiązywanie problemów z aktualizacją i ręczne aktualizowanie pakietów Konwersja na projekty po aktualizacji Podsumowanie Część II: Projektowanie 4 Nowe funkcje narzędzi projektowania SSIS Środowisko projektowania Integration Services Visual Studio Cofanie i powtarzanie zmian Okno Getting Started (Zaczynamy) Przybornik Okno Variables Kontrolka powiększania (Zoom) Automatyczny zapis i przywracanie Ikony statusu Adnotacje Konfiguracja i wdrażanie Zmiany w narzędziu Solution Explorer Zakładka Parameter Konfiguracje Visual Studio Kompilacja projektu Deployment Wizard Project Conversion Wizard

4 Spis treści v Import Project Wizard Nowe zadania i komponenty przepływu danych Change Data Capture Zadanie Expression Transformacja DQS Cleansing Źródła i miejsca docelowe ODBC Przepływ sterowania Uwidacznianie wyrażeń Menedżery połączeń Zadanie Execute SQL Przepływ danych Asystenci połączeń Ulepszone mapowanie kolumn Edytowanie komponentów, które znajdują się w stanie błędu Grupowanie Uproszczone podglądy danych Interfejsy użytkownika transformacji Row Count oraz Pivot Zmiany w źródłach plikowych (Flat File) Skryptowanie Visual Studio Tools for Applications Debugowanie komponentów skryptowych Wsparcie dla.net 4 Framework Wyrażenia Usunięcie limitu liczby znaków Nowe funkcje wyrażeń Podsumowanie Projektowanie zespołowe Ulepszenia wprowadzone w SQL Server Zmiany formatu pakietów Konfiguracje Visual Studio Korzystanie z zarządzania kodem źródłowym w SSIS Łączenie się z Team Foundation Server Dodawanie projektu SSIS do Team Foundation Server Zarządzanie zmianami Zmiany w pliku projektu Visual Studio dla SSIS Najlepsze praktyki Korzystanie z małych, prostych pakietów Jeden pakiet jeden projektant Spójna konwencja nazewnicza Podsumowanie

5 vi Spis treści 6 Tworzenie rozwiązania SSIS Porównanie modeli wdrażania SSIS Model wdrażania pakietów Model wdrażania projektu Budowanie projektu Integration Services Tworzenie projektu SSIS Projektowanie przepływu danych Integration Services Korzystanie z parametrów i kontenera ForEach Korzystanie z zadania Execute Package Kompilowanie i wdrażanie projektu Integration Services Podsumowanie Połączenia SSIS Opcje połączeń we wcześniejszych wersjach SSIS Dostawcy technik połączeniowych OLE DB, ADO.NET oraz ODBC Nowe opcje połączeń w SSIS Wprowadzenie do ODBC Komponenty ODBC w SSIS ODBC Source ODBC Destination Uwarunkowania połączeniowe SSIS Systemy 64-bitowe i SSIS Narzędzia SSIS dla architektury 64-bitowej Łączenie się z innymi źródłami i miejscami docelowymi Połączenia z Microsoft Excel oraz Access Połączenia do baz danych Oracle Tworzenie niestandardowych komponentów Korzystanie z komponentów skryptowych Podsumowanie Korzystanie z Change Data Capture w SSIS CDC w SQL Server Stosowanie CDC w SQL Server Scenariusze wykorzystania CDC w procesach ETL Fazy CDC Komponenty CDC w SSIS Stan CDC Zadanie CDC Control Komponent przepływu danych CDC Source Komponent CDC Splitter CDC dla Oracle

6 Spis treści vii Wprowadzenie Komponenty obsługujące CDC dla Oracle CDC Service Configuration Oracle CDC Designer Baza danych MSXDBCDC Plik wykonywalny Oracle CDC Service (xdbcdcsvc.exe) Obsługa typów plików Komponenty CDC w SSIS Podsumowanie Czyszczenie i profilowanie danych przy użyciu SSIS Zadanie Data Profiling Transformacja Fuzzy Lookup Transformacja Fuzzy Grouping Transformacja Data Quality Services Cleansing Podsumowanie Część III: Konfiguracje, zarządzanie i monitorowanie 10 Konfiguracje w SSIS Podstawy konfiguracji Jak konfiguracje są stosowane Co konfigurować? Konfiguracje w SSIS Parametry Tworzenie parametrów pakietu Tworzenie parametrów projektu Programowe tworzenie parametrów Korzystanie z parametrów Konfigurowanie parametrów w katalogu SSIS Konfigurowanie, weryfikowanie i wykonywanie pakietów i projektów Konfigurowanie wykonania przy użyciu SSMS Konfiguracje w SQL Server Agent, DTexec i T-SQL Środowiska SSIS Kolejność aplikowania parametrów Model wdrażania pakietów i kompatybilność wsteczna Model wdrażania pakietów Najlepsze zalecenia dotyczące konfigurowania SSIS Najlepsze zalecenia dla modelu wdrażania pakietów Najlepsze zalecenia dla modelu wdrażania projektów Podsumowanie

7 viii Spis treści 11 Wykonywanie pakietów SSIS Uruchamianie pakietów SSIS przy użyciu narzędzia DTexec Lokalizacja pakietów Konfigurowanie wykonywania pakietów Zrzuty pamięci Opcje rejestrowania Uruchamianie pakietów z katalogu SSIS Przygotowywanie wykonania Rozpoczynanie wykonywania pakietu SSIS Przeglądanie przebiegu wykonywania Wykonywanie pakietu za pośrednictwem T-SQL Uruchamianie pakietów za pośrednictwem SQL Server Agent Tworzenie kroku zadania SSIS Wykonanie pakietu wdrożonego w katalogu SSIS Uruchamianie pakietów za pośrednictwem PowerShell Programowe tworzenie i wykonywanie pakietów SSIS Podsumowanie Magia T-SQL w SSIS Przegląd procedur składowanych i widoków SSIS Katalog Integration Services Właściwości katalogu SSIS Odpytywanie właściwości katalogu SSIS Ustawianie właściwości katalogu SSIS Projekty i pakiety SSIS Wdrażanie projektu SSIS w katalogu SSIS Uzyskiwanie informacji o projektach wdrożonych w katalogu SSIS Konfigurowanie projektów SSIS Zarządzanie projektami w katalogu SSIS Uruchamianie pakietów wdrożonych w katalogu SSIS Środowiska SSIS Tworzenie środowisk SSIS Tworzenie zmiennych środowiskowych SSIS Konfigurowanie projektów SSIS przy użyciu środowisk Konfigurowanie projektów SSIS przy użyciu wartości odsyłaczy Wykonywanie pakietów z wykorzystaniem środowisk SSIS Zarządzanie środowiskami SSIS i zmiennymi środowiskowymi Podsumowanie Magia PowerShell w SSIS Czym jest PowerShell PowerShell i SQL Server

8 Spis treści ix Zarządzanie SSIS przy użyciu PowerShell Model zarządzania obiektowego SSIS PowerShell i model SSIS Management Object Wykorzystanie T-SQL do zarządzania SSIS z poziomu PowerShell Zalety wykorzystania PowerShell do zarządzania SSIS Podsumowanie Raporty SSIS Wprowadzenie do raportów SSIS Przygotowywanie danych Monitorowanie wykonywania pakietów SSIS Integration Services Dashboard Raport All Executions Raporty All Validations i All Operations Wykorzystanie raportów SSIS do rozwiązywania problemów z wykonaniami pakietów SSIS Korzystanie z raportu Execution Performance do identyfikowania trendów wydajności Podsumowanie Część IV: Pogłębione informacje 15 Motor SSIS Motor przepływu sterowania Przegląd Ładowanie Aplikacja parametrów Weryfikacja Wykonanie Motor przepływu danych Przegląd Sterowanie wykonaniem Backpressure Dostrajanie motoru przepływu danych Podsumowanie Katalog SSIS Pogłębione informacje na temat katalogu SSIS Tworzenie katalogu SSIS Jednostki wdrożenia w katalogu SSIS Co znajdziemy wewnątrz bazy danych SSISDB? Rozruch instancji SQL Server Katalog SSIS i poziomy rejestrowania

9 x Spis treści Cykl życiowy wykonywania pakietu SSIS Zatrzymywanie wykonania pakietu SSIS Korzystanie z dziennika zdarzeń Application systemu Windows Konserwacja katalogu SSIS i zadania SQL Server Agent Wykonywanie kopii zapasowej i przywracanie katalogu SSIS Tworzenie kopii zapasowej SSISDB Przywracanie bazy danych SSISDB Podsumowanie Zabezpieczenia SSIS Ochrona pakietu Kontrola dostępu do pakietu Szyfrowanie pakietów Wrażliwe zmienne i parametry Podpisywanie pakietów Zabezpieczenia katalogu SSIS Przegląd funkcji zabezpieczeń Zarządzanie uprawnieniami Wyzwalacz DDL Wykorzystanie SQL Server Agent Wymagania Tworzenie poświadczeń Tworzenie kont proxy Tworzenie zadania SQL Server Agent Podsumowanie Dzienniki SSIS Konfigurowanie opcji rejestrowania Wybieranie kontenerów Wybieranie zdarzeń Dodawanie dostawców dziennika Dostawcy dziennika Pliki tekstowe SQL Server SQL Server Profiler Dzienniki zdarzeń Windows Pliki XML Rejestrowanie w katalogu SSIS Poziomy rejestrowania Dzienniki zdarzeń Informacje kontekstu zdarzenia Zaawansowane zagadnienia rejestrowania Dostosowywanie pól wpisów dziennika

10 Spis treści xi Rejestrowanie przy korzystaniu z narzędzia DTexec Projektowanie niestandardowego dostawcy dziennika Podsumowanie Automatyzacja SSIS Wprowadzenie do automatyzacji SSIS Programowe generowanie pakietów SSIS Wykonywanie pakietów sterowane metadanymi Dynamiczne generowanie pakietów Obsługa zdarzeń czasu projektowania Przykłady Wykonanie oparte na metadanych Niestandardowy program uruchamiający pakiet Wykorzystanie PowerShell Korzystanie z PowerShell wraz z SQL Server Agent Alternatywne rozwiązania i przykłady Przykłady w witrynie Codeplex Rozwiązania innych firm Podsumowanie Część V: Rozwiązywanie problemów 20 Rozwiązywanie problemów z awariami pakietów SSIS Wprowadzenie do rozwiązywania problemów Przygotowanie danych Nowe funkcje rozwiązywania problemów z wykonywaniem pakietów Trzy kluczowe kroki podczas rozwiązywania problemów z wykonywaniem pakietów SSIS Ścieżka wykonania Znajdowanie początkowego źródła problemu Rozwiązywanie problemów związanych z wykonaniami pakietów podrzędnych. 538 Zdarzenia DiagnosticEx Zadanie Execute Package i ścieżki wykonania Rozwiązywanie problemów z wykonywaniem pakietów za pośrednictwem SQL Server Agent Identyfikowanie wykonań pakietów SSIS realizowanych przez SQL Server Agent Korzystanie z tabel historii SQL Server Agent do identyfikowania kroków zadań SSIS zakończonych niepowodzeniem Podsumowanie Najlepsze rozwiązania dotyczące wydajności SSIS Tworzenie strategii poprawy wydajności

11 xii Spis treści Technika OWAL Mierzenie sprawności przetwarzania SSIS Mierzenie wydajności systemu Mierzenie wydajności zadań przepływu danych Projektowanie z myślą o wydajności Paralelizowanie projektu Korzystanie z technik optymalizacyjnych SQL Server Masowe ładowanie danych Utrzymywanie operacji SSIS w pamięci Optymalizacja pamięci podręcznej wyszukiwania Optymalizowanie infrastruktury SSIS Podsumowanie Rozwiązywanie problemów dotyczących wydajności Profilowanie wydajności Monitorowanie wydajności Przygotowanie danych Poznawanie wydajności pakietu SSIS Czas trwania wykonania pakietu SSIS Czas spędzony w każdym zadaniu wchodzącym w skład pakietu Czasy trwania poszczególnych faz komponentu Data Flow Upływający czas dla faz komponentu Data Flow (czas aktywny kontra czas całkowity) Monitorowanie wydajności wykonywania pakietów SSIS Liczniki wydajności dotyczące wykonania Interaktywna analiza danych wydajności Podsumowanie Rozwiązywanie problemów dotyczących danych Rozwiązywanie problemów w środowisku projektowym Zliczanie wierszy Podgląd danych Dane w wyjściu błędów Pułapki i okna debugowania Rozwiązywanie problemów w środowisku produkcyjnym Dane statystyczne wykonania Rozgałęźniki danych Zrzuty błędów Podsumowanie