ETL darmowe narzędzia

Transkrypt

1 Piotr Ślatała Tomasz Żurkowski 9 czerwca 2011

2 Plan prezentacji Plan (Krótkie) przypomnienie problemu

3 Plan prezentacji Plan (Krótkie) przypomnienie problemu Przykładowe scenariusze (przykład biznesowego zastosowania)

4 Plan prezentacji Plan (Krótkie) przypomnienie problemu Przykładowe scenariusze (przykład biznesowego zastosowania) Lista darmowych narzędzi

5 Plan prezentacji Plan (Krótkie) przypomnienie problemu Przykładowe scenariusze (przykład biznesowego zastosowania) Lista darmowych narzędzi Przegląd narzędzi w praktyce

6 Plan prezentacji Plan (Krótkie) przypomnienie problemu Przykładowe scenariusze (przykład biznesowego zastosowania) Lista darmowych narzędzi Przegląd narzędzi w praktyce Przykłady wykorzystania live

7 Plan prezentacji ETL E Extract

8 Plan prezentacji ETL E Extract T Transform

9 Plan prezentacji ETL E Extract T Transform L Load

10 Plan prezentacji Extract Wiele źródeł

11 Plan prezentacji Extract Wiele źródeł Różne systemy zarządzania bazami danych

12 Plan prezentacji Transform Różne formaty danych wejściowych (np.)

13 Plan prezentacji Transform Różne formaty danych wejściowych (np.) Walidacja (np. poprawność danych wejściowych)

14 Plan prezentacji Transform Różne formaty danych wejściowych (np.) Walidacja (np. poprawność danych wejściowych) Zachowanie relacji

15 Plan prezentacji Transform Różne formaty danych wejściowych (np.) Walidacja (np. poprawność danych wejściowych) Zachowanie relacji Aktualizacja

16 Plan prezentacji Transform Różne formaty danych wejściowych (np.) Walidacja (np. poprawność danych wejściowych) Zachowanie relacji Aktualizacja Synchronizacja (?)

17 Plan prezentacji Load Różne systemy zarządzania bazami danych

18 Plan prezentacji Load Różne systemy zarządzania bazami danych Ograniczenia integralnościowe

19 Encje wejściowe i wyjściowe Osoba

20 Encje wejściowe i wyjściowe Osoba

21 Encje wejściowe i wyjściowe Adres osoby

22 Encje wejściowe i wyjściowe Adres osoby

23 Możliwości Narzędzia Apatar

24 Możliwości Narzędzia Apatar CloverETL

25 Możliwości Narzędzia Apatar CloverETL Scriptella

26 Możliwości Narzędzia Apatar CloverETL Scriptella Talend

27 Apatar Apatar providery

28 Apatar Operacje

29 Apatar Zmiana adresu serwera Pojedynczo, dla każdego elementu w GUI

30 Apatar Zmiana adresu serwera Pojedynczo, dla każdego elementu w GUI Pojedynczo, w XMLu

31 Apatar Zmiana adresu serwera Pojedynczo, dla każdego elementu w GUI Pojedynczo, w XMLu Trudna zmiana haseł!

32 Apatar Inne Duża ilość źródeł

33 Apatar Inne Duża ilość źródeł Nieograniczona ilość bloków

34 Apatar Inne Duża ilość źródeł Nieograniczona ilość bloków Debug zapętlanie się

35 Apatar Inne Duża ilość źródeł Nieograniczona ilość bloków Debug zapętlanie się Jednowątkowe działanie

36 Apatar Inne Duża ilość źródeł Nieograniczona ilość bloków Debug zapętlanie się Jednowątkowe działanie Brak faz problem

37 Apatar Inne Duża ilość źródeł Nieograniczona ilość bloków Debug zapętlanie się Jednowątkowe działanie Brak faz problem Trudna zmiana konfiguracji połączeń

38 Apatar Inne Duża ilość źródeł Nieograniczona ilość bloków Debug zapętlanie się Jednowątkowe działanie Brak faz problem Trudna zmiana konfiguracji połączeń Uruchamianie tylko w GUI

39 CloverETL Providery

40 CloverETL Operacje

41 CloverETL Zmiana adresu serwera Dla wszystkich bloków korzystających z połączenia

42 CloverETL Zmiana adresu serwera Dla wszystkich bloków korzystających z połączenia Za pomocą zmiennych (propertiesów) z linii komend przy uruchamianiu

43 CloverETL Uruchomienie GUI

44 CloverETL Uruchomienie GUI Linia komend: Uruchamianie C:\eclipse-installs\cloverETL\bin\clover.bat.\GranitToFirma.grf

45 CloverETL Inne Obsługa SOAP, GET, POST

46 CloverETL Inne Obsługa SOAP, GET, POST Fazy

47 CloverETL Inne Obsługa SOAP, GET, POST Fazy Dwa pakiety

48 CloverETL Inne Obsługa SOAP, GET, POST Fazy Dwa pakiety Debug Mode

49 CloverETL Inne Obsługa SOAP, GET, POST Fazy Dwa pakiety Debug Mode w darmowej wersji tylko jedna krawędź

50 CloverETL Inne Obsługa SOAP, GET, POST Fazy Dwa pakiety Debug Mode w darmowej wersji tylko jedna krawędź Opis transformacji

51 CloverETL Inne Obsługa SOAP, GET, POST Fazy Dwa pakiety Debug Mode w darmowej wersji tylko jedna krawędź Opis transformacji Wielowątkowe działanie

52 CloverETL Inne Obsługa SOAP, GET, POST Fazy Dwa pakiety Debug Mode w darmowej wersji tylko jedna krawędź Opis transformacji Wielowątkowe działanie Uruchamianie z linii komend

53 CloverETL Inne Obsługa SOAP, GET, POST Fazy Dwa pakiety Debug Mode w darmowej wersji tylko jedna krawędź Opis transformacji Wielowątkowe działanie Uruchamianie z linii komend Możliwość nadpisania propertiesów z linii komend

54 CloverETL Inne Obsługa SOAP, GET, POST Fazy Dwa pakiety Debug Mode w darmowej wersji tylko jedna krawędź Opis transformacji Wielowątkowe działanie Uruchamianie z linii komend Możliwość nadpisania propertiesów z linii komend W darmowej wersji tylko 20 bloków w designerze!

55 CloverETL Inne Obsługa SOAP, GET, POST Fazy Dwa pakiety Debug Mode w darmowej wersji tylko jedna krawędź Opis transformacji Wielowątkowe działanie Uruchamianie z linii komend Możliwość nadpisania propertiesów z linii komend W darmowej wersji tylko 20 bloków w designerze! Konieczność definiowania metadanych

56 CloverETL Zmiana adresu serwera Z GUI, dla wszystkich elementów korzystających z połączenia

57 CloverETL Zmiana adresu serwera Z GUI, dla wszystkich elementów korzystających z połączenia z pliku XML

58 Scriptella Scriptella providery JDBC Bridge Drivers MySQL Oracle Database Microsoft Sql Database PostgreSQL.. Non-JDBC Drivers CSV Text XPath Velocity Mail LDAP...

59 Scriptella Scriptella uruchomienie Command line execution Ant integration Java integration

60 Scriptella Scriptella przykład

61 Scriptella Scriptella inne Uruchamianie w linii komend

62 Scriptella Scriptella inne Uruchamianie w linii komend Transformacje JEXL Syntax

63 Scriptella Scriptella inne Uruchamianie w linii komend Transformacje JEXL Syntax Janino

64 Scriptella Scriptella inne Uruchamianie w linii komend Transformacje JEXL Syntax Janino Dowolne modyfikacje danych

65 Scriptella Scriptella inne Uruchamianie w linii komend Transformacje JEXL Syntax Janino Dowolne modyfikacje danych Parametryzowana w momencie uruchomienia

66 Scriptella Scriptella inne Uruchamianie w linii komend Transformacje JEXL Syntax Janino Dowolne modyfikacje danych Parametryzowana w momencie uruchomienia Oszczędna w zasoby

67 Scriptella Scriptella inne Uruchamianie w linii komend Transformacje JEXL Syntax Janino Dowolne modyfikacje danych Parametryzowana w momencie uruchomienia Oszczędna w zasoby Brak GUI

68 Talend Providerzy

69 Talend Providerzy

70 Dziękujemy Dziękujemy za uwagę