Opis przedmiotu zamówienia

Transkrypt

1 Opis przedmiotu zamówienia Spis treści 1. TYTUŁ ZAMÓWIENIA OGÓLNY OPIS ZAMÓWIENIA OPIS SYSTEMU LTB WARSTWA DANYCH (UNIBOL/400) MECHANIZM DOSTĘPU DO DANYCH (ODBC) WARSTWA LOGIKI APLIKACYJNEJ WARSTWA DOSTĘPU (JWALK CLIENT) DOSTĘPNE NARZĘDZIA ADMINISTRACYJNE INFORMACJE O STRUKTURZE OBIEKTÓW BAZODANOWYCH LTB RODZAJ USŁUG I SPOSÓB ICH REALIZACJI WSTĘPNA ANALIZA STRUKTURY DANYCH PROFILOWANIE I ANALIZA DANYCH OPRACOWANIE MECHANIZMU ZASILANIA DSA ZEROWE ZASILENIE DSA ANALIZA DZIEDZINOWA I JAKOŚCIOWA DANYCH INICJALNE ZASILENIE DSA PRODUKCYJNE ZASILENIE DSA OCZEKIWANE PRODUKTY KOŃCOWE ZAMÓWIENIA OGRANICZENIA DOTYCZĄCE NARZĘDZI I OPROGRAMOWANIA ŚRODOWISKO PRACY DLA WYKONAWCY INNE WAŻNE INFORMACJE DLA WYKONAWCY... 9 wersja 1.3 str. 1

2 1. Tytuł zamówienia Stworzenie konfigurowalnego mechanizmu pobierającego dane z bazy danych Unibol/400 do Data Staging Area (DSA), sprofilowanie danych i udokumentowanie relacji pomiędzy nimi, opisanie struktury danych w DSA, inicjalne zasilenie DSA oraz skonfigurowanie mechanizmu automatycznych zasileń według harmonogramu. 2. Ogólny opis zamówienia Zamawiający użytkuje obecnie system komputerowy LTB400, który służy do wspomagania czynności związanych z planowaniem obsług technicznych floty statków powietrznych. Celem zamówienia jest stworzenie możliwości przetwarzania danych z systemu LTB400 w hurtowni danych niezależnej od systemu źródłowego. W tym celu zamawiający stworzy pośrednią warstwę przechowywania danych źródłowych (tzw. Data Staging Area). Przedmiotem zamówienia są usługi, w wyniku których: a) Powstanie konfigurowalny mechanizm (oprogramowanie specjalistyczne) pobierający dane z systemu LTB400 do Data Staging Area w cyklach: dobowym, miesięcznym lub na moment wyznaczony przez administratora. b) Powstanie dokumentacja techniczna opisująca strukturę danych w DSA, w tym występujące w niej więzy integralności danych. Szczegółowa charakterystyka rozwiązań będących wynikiem usług jest się w dalszej części dokumentu. 3. Opis systemu LTB400 Informacje na temat systemu LTB400 należy traktować jako opis oparty wyłącznie na obserwacji działania systemu oraz inwentaryzacji komponentów składających się na pakiet instalacyjny System zbudowany jest w architekturze klient serwer przy użyciu narzędzi i technologii opisanych poniżej. Zamawiający nie dysponuje dokumentacją techniczną systemu LTB400. Zamawiający dysponuje własną standaryzacją w zakresie instalacji stacji roboczej LTB400 oraz dokumentacją użytkownika LTB400 w języku angielskim (do wersji 10.x) - wersja obecnie użytkowanego systemu: Dane przetwarzane w systemie LTB400 są własnością zamawiającego Warstwa danych (Unibol/400) Baza relacyjna Unibol/400 zainstalowana jest w środowisku systemu Microsoft Windows Server 2003 R2 i dostępna na stacjach roboczych użytkowników za pośrednictwem aplikacji LTB400 działającej w środowisku systemu operacyjnego Windows 7 Professional Mechanizm dostępu do danych (ODBC) Aplikacja LTB400 korzystająca z bazy Unibol/400 wymaga sterownika ODBC w określonej wersji (UNIBOL400 Client Services, Client Version 1.10, Product Version by Unibol Ltd ). Zamawiający posiada wersję instalacyjną tego sterownika dla systemu operacyjnego Windows. Istotne informacje techniczne dotyczące sterownika ODBC: a) Sterownik ODBC obsługuje wyłącznie elementarne zapytania DML (SELECT, INSERT, UPDATE, DELETE) i DDL (CREATE, DROP, ALTER) zapisane w rygorach SQL ANSI (w wersji nie wyższej niż SQL-92). Sterownik nie obsługuje poleceń typu DESCRIBE. b) Interakcja między aplikacją LTB400 a serwerem opiera się o funkcjonalność STRPCCMD. wersja 1.3 str. 2

3 W systemie Windows 7 Professional 64-bit zarządzanie źródłem ODBC możliwe jest tylko przy użyciu narzędzia administracyjnego w wersji 32-bitowej. Ekran informacyjny sterownika ODBC poniżej: 3.3. Warstwa logiki aplikacyjnej Logika aplikacji zrealizowana została w oprogramowaniu działającym po stronie klienta, serwer bazy danych pełni wyłącznie funkcję kontenera danych. Transakcyjność oraz kontrola spójności danych realizowana jest poprzez sterownik ODBC oraz aplikację po stronie klienta. Funkcjonalność aplikacji została zaprogramowana w formularzach (ekranach) systemu LTB400. Zamawiający nie dysponuje kodem źródłowym systemu LTB400. Umowa licencyjna wyklucza dekompilację kodu źródłowego. Informacje niezbędne do analizy i opisania więzów integralności danych może być zebrana wyłącznie poprzez użytkowanie aplikacji w środowisku testowym dostępnym u zamawiającego Warstwa dostępu (JWalk Client) Aplikacja użytkownika LTB400 została wykonana w technologii terminali znakowych IBM wersja 1.3 str. 3

4 W celu unowocześnienia interfejsu do standardu GUI zastosowano nakładkę JWalk Windows Client. JWalk emuluje wygląd ekranów znakowych w wersji graficznej. Aplikacja LTB400 użytkowana przez Zamawiającego korzysta z konkretnej wersji nakładki - Seagull Software JWalk LegaSuite , dostarczonej w ramach pakietu instalacyjnego LTB400, który nie może być modyfikowany i aktualizowany przez zamawiającego. Przykładowy ekran LTB400: wersja 1.3 str. 4

5 Sposób pracy z aplikacją jest charakterystyczny dla rozwiązań opartych o technologię IBM S/390, IBM AS/400, w szczególności sposób nawigacji, używanie klawiszy funkcyjnych i standard budowy GUI odbiegają od obecnie stosowanych standardów dla aplikacji przeglądarkowych. Wykonawca powinien uwzględnić dodatkowy czas niezbędny do zapoznania się z nietypowym sposobem nawigacji, otwierania i zmykania okien, potwierdzaniem wykonanych czynności itp Dostępne narzędzia administracyjne Administrowanie aplikacją LTB400 odbywa się przy użyciu emulowanego terminala IBM Informacje o strukturze obiektów bazodanowych LTB400 Zamawiający nie dysponuje opisem struktury danych i zna nazwy tylko kilkunastu tabel systemu wraz ze schematami, w których się znajdują. Łączna liczba obiektów z danymi (tabele, widoki itp.) jest szacowana na ok Zamawiający nie korzysta w pełnym zakresie z LTB400 jednakże szacuje się, że dane z nie mniej niż 40% wszystkich obiektów bazodanowych będą ładowane do DSA. Wymóg udokumentowania więzów integralności - będący jednym z celów niniejszego zamówienia - jest ograniczony również tylko do tabel ładowanych do DSA. Pozostałe tabele należy zinwentaryzować, natomiast dla wszystkich tabel należy stworzyć ich listę wraz z opisem typów danych w poszczególnych kolumnach (w zakresie niezbędnym do utworzenia DDL CREATE TABLE). Należy przyjąć, że wśród obiektów bazodanowych systemu LTB400 mogą pojawić się obiekty typu Multi-Format Logical Files, których zawartości nie można przeglądać wprost przy użyciu zapytań SQL. wersja 1.3 str. 5

6 4. Rodzaj usług i sposób ich realizacji Zamawiający wymaga, aby zamówienie zostało zrealizowane według wytycznych opisanych poniżej. Wszelkie prace przeprowadzane przez wykonawcę muszą respektować autorskie prawa majątkowe producenta systemu LTB400 i mogą dotyczyć wyłącznie danych, które należą do zamawiającego Wstępna analiza struktury danych W pierwszej kolejności wykonawca wykona wstępną analizę systemową struktur danych zamawiającego w LTB400. Wynikiem wstępnej analizy systemowej będzie lista schematów i zawartych w nich tabel wraz z liczbą rekordów. Dla niepustych tabel wykonawca zaprezentuje ponadto próbkę danych (po kilka rekordów). Na podstawie tych informacji zamawiający i wykonawca ustalą listę obiektów bazodanowych, które będą źródłami dla procesów ETL (Extract-Transform-Load) zasilających DSA. Wykonawca zinwentaryzuje tabele z danymi zamawiającego, które nie będą źródłami w zakresie: nazwy tabeli, listy kolumn i typów danych w kolumnach Profilowanie i analiza danych Dla tabel wybranych jako źródła wykonawca przeprowadzi badanie profilowania danych, tj.: a) Dla każdej tabeli i każdej kolumny zidentyfikuje minimalną i maksymalną wartość w celu określenia optymalnych typów danych w DSA (np. dla typów tych VARCHAR długość najdłuższego łańcucha znaków w danej kolumnie, dla typu NUMBER największą wartość całkowitą i maksymalną liczbę miejsc po przecinku). b) Wyodrębni niezgodność typów między stanem faktycznym a deklarowanym w definicji tabeli (np. kolumna zadeklarowana jest jako VARCHAR, ale przechowuje wyłącznie wartości w pełni konwertowane na typ numeryczny lub datę zapisaną jako VARCHAR). c) Wyodrębni kolumny przechowujące polskie znaki diakrytyczne. Na podstawie tych informacji zamawiający i wykonawca uzgodnią szczegółową charakterystykę typów danych w kolumnach tabel w DSA, a wykonawca opracuje skrypty DDL oraz stworzy tabele w DSA Opracowanie mechanizmu zasilania DSA Na podstawie informacji zebranych w zadaniach opisanych w punktach 4.1 i 4.2 wykonawca zaprojektuje i wykona konfigurowalny mechanizm ładowania danych do DSA, który będzie spełniał następujące wymagania funkcjonalne: a) Możliwość definiowania metadanych systemu źródłowego i docelowego dla procesu zasilania: a. tabele i widoki b. kolumny tabeli i widoków c. typy kolumn wraz ze stosownymi parametrami d. rodzaj i parametry partycjonowania e. rodzaj i charakterystyka więzów integralności dla kolumn (constrains) f. rodzaj i charakterystyka indeksów dla tabeli g. parametry dla potrzeb CDC (Change Data Capture) h. sposób wersjonowania (snapshot / SCD) i. kolumny techniczne dla procesu zasilania wersja 1.3 str. 6

7 b) Możliwość definiowania metadanych harmonogramowania procesów zasilania: a. nazwa procesu, b. kalendarz uruchomienia, c. parametry procesu zasilania, d. warunki brzegowe uruchomienia. c) Możliwość logowania: a. zdarzeń zasilania poszczególnych tabel źródłowych i docelowych, b. daty i czasu rozpoczęcia oraz zakończenia zasilania, c. daty danych, daty technicznej, d. liczby rekordów (załadowanych, odrzuconych, pominiętych, błędnych itp.), e. statusu ładowania. d) Możliwość ładowania przyrostu zamiast pełnego zbioru - określenie jednoznacznej metody wyliczenia przyrostu (na podobieństwo mechanizmu CDC stosowanego przy zasilaniu hurtowni danych) - tam gdzie to możliwe z uwagi na dane zawarte w tabelach. e) Możliwość ładowania danych przy określonym rodzaju wersjonowania (snapshot, SCD). f) Możliwość ponownego zasilania na daną datę danych po uprzednim usunięciu danych istniejących w DSA (nadpisanie). g) Możliwość usunięcia danych w DSA zasilonych w określonym procesie. h) Możliwość uruchamiania zadań zasilania DSA według harmonogramu. i) Możliwość przeglądania metadanych, logów oraz harmonogramów w widokach. j) Mailowe powiadamianie określonych osób o wyniku przetwarzania Zerowe zasilenie DSA Wykonawca przeprowadzi zerowe (testowe) zasilenie DSA z wykorzystaniem opracowanego w pkt. 4.3 mechanizmu. Przyjmuje się, że dane załadowane do DSA w ramach zasilenia zerowego zostaną usunięte. Celem zasilenia zerowego jest umieszczenie danych źródłowych w bazie RDBMS, która pozwala na pogłębioną analizę systemową ich charakterystyki przy użyciu zaawansowanych narzędzi bazodanowych oraz SQL w nowszej wersji Analiza dziedzinowa i jakościowa danych Wykonawca przeprowadzi analizę dziedzinową i jakościową danych zapisanych w DSA w ramach zasilenia zerowego. Celem tej analizy jest weryfikacja założeń przyjętych dla modelowania struktury danych w DSA podczas fazy profilowania oraz określenie więzów integralności (constrains) w tabelach DSA (np. primary keys, foreign keys, surogate keys). Efektem usług będą: a) Diagram encji dla kluczowych tabel DSA wskazanych przez zamawiającego. b) Skrypty DDL modyfikujące definicje struktur danych w DSA i uzupełniające je o więzy integralności (zakres zostanie uzgodniony z zamawiającym). c) Modyfikacja struktur danych w DSA w zakresie więzów integralności. d) Modyfikacja mechanizmu zasilania w zakresie jaki jest skutkiem zmian w definicji struktur danych w DSA. W ocenie zamawiającego na tym etapie prac konieczne będzie przeprowadzenie przez wykonawcę analizy biznesowej w formie konsultacji z użytkownikami systemu LTB400 oraz weryfikacje w testowym środowisku LTB400. Celem tej analizy będzie wyjaśnienie biznesowego znaczenia danych wprowadzanych przez użytkowników LTB4000 do systemu źródłowego i powiązań między danymi. wersja 1.3 str. 7

8 Część analizy wykonywana w środowisku systemu LTB400 wymagać będzie poznania cech funkcjonalnych poprzez bezpośrednią pracę w systemie i zapoznanie się z ok. 50 ekranami (formatkami), za pośrednictwem których zamawiający wprowadza / modyfikuje dane Inicjalne zasilenie DSA Wykonawca przeprowadzi inicjalne (produkcyjne) zasilenie DSA z wykorzystaniem opracowanego wcześniej mechanizmu. W przypadku wystąpienia błędów wykonawca zobowiązany jest do ich usunięcia przed ostatecznym odbiorem prac Produkcyjne zasilenie DSA Wykonawca przeprowadzi skonfiguruje i uruchomi (produkcyjne) automatyczne zasilenie DSA z wykorzystaniem opracowanego wcześniej mechanizmu. Wykonawca skonfiguruje harmonogram zasilania DSA według uzgodnień z zamawiającym i przeprowadzi przynajmniej jedno zasilanie wg harmonogramu. W przypadku wystąpienia błędów wykonawca zobowiązany jest do ich usunięcia przed ostatecznym odbiorem. 5. Oczekiwane produkty końcowe zamówienia W wyniku realizacji zadań opisanych w rozdz. 4 wykonawca dostarczy następujące produkty: a) Inwentaryzację obiektów bazodanowych z danymi zamawiającego z systemu źródłowego (LTB400) bez tabel systemowych i konfiguracyjnych LTB400. b) Konfigurowalny mechanizm zasilania DSA wraz z instrukcją operacyjną oraz metadanymi. c) Zasilone danymi Data Staging Area działające w środowisku nowej relacyjnej bazy danych. d) Diagram encji dla kluczowych tabel DSA. e) Skrypty DDL dla DSA. f) Skonfigurowany i działający wg harmonogramu mechanizm zasilania automatycznego Ograniczenia dotyczące narzędzi i oprogramowania Zamawiający zwraca uwagę, że dostęp do danych odbywa się wyłączenie za pośrednictwem określonego sterownika ODBC w środowisku systemu Windows, co ma wpływ na wybór środowiska narzędziowego i technik programistycznych. Zamawiający wykorzystuje jako platformę aplikacyjną serwer IBM Domino Enterprise w wersji pozwalającą na wykorzystanie mechanizmów LSX, Java i ODBC. Wykorzystanie tej technologii przez wykonawcę nie wymaga akceptacji zamawiającego. Wykorzystanie innych technologii wymaga uzgodnienia z zamawiającym i jego zgody. Jako baza danych dla DSA w środowisku produkcyjnym wykorzystanie zostanie baza relacyjna, którą można stosować nieodpłatnie do celów komercyjnych (np. MS SQL Express lub inne równoważne). Niniejsze zamówienie nie obejmuje dostawy odpłatnego, licencjonowanego oprogramowania komercyjnego, które byłoby niezbędne do korzystania z finalnych produktów usług wykonawcy. Zamawiający dopuszcza użycie narzędzi i oprogramowania Open Source po uprzednim uzgodnieniu tego z zamawiającym i uzyskaniu jego zgody. Zamawiający dopuszcza również użycie gotowych narzędzi własnych wykonawcy, pod warunkiem że nie wymagają one nabycia przez zamawiającego dodatkowego płatnego oprogramowania i pod warunkiem, że takie narzędzia będą przez wykonawcę wersja 1.3 str. 8

9 przekazane z bezterminową licencją na użytkowanie w zakresie objętym zamówieniem, w ramach kwoty wynagrodzenia określonego w ofercie. 6. Środowisko pracy dla wykonawcy Zamawiający przygotuje dla potrzeb realizacji zamówienia serwer wirtualny z zainstalowanym systemem operacyjnym, na którym wykonawca zainstaluje i skonfiguruje relacyjną bazę danych oraz będzie nią zarządzał przez cały okres realizacji zamówienia. Wersje oprogramowania zostaną uzgodnione przez zamawiającego i wykonawcę w trybie roboczym. Zamawiający preferuje stosowanie oprogramowania, które do celów komercyjnych można użytkować nieodpłatnie, w tym oprogramowanie Open Source, tam gdzie jest to możliwe i merytorycznie dopuszczalne. Ponadto wykonawca uzyska: a) konto robocze w systemie IBM Domino Enterprise z uprawnieniami umożliwiającymi prowadzenie prac deweloperskich, b) dostęp do testowego środowiska systemu LTB400, c) dostęp (pod nadzorem) do produkcyjnego środowiska systemu LTB400 (na wyraźne żądanie), d) dostęp do powyższych zasobów za pośrednictwem VPN (z wyłączeniem produkcyjnego środowiska systemu LTB400). 7. Inne ważne informacje dla wykonawcy Zamawiający podkreśla, ze w celu realizacji niniejszego zamówienia wymagane są następujące, nietypowe, ale kluczowe umiejętności od wykonawcy (ich brak uniemożliwia realizację pierwszego etapu prac i w efekcie wszystkich kolejnych): a) Posługiwanie się terminalem 5250 w celu korzystania z narzędzia administracyjnego Unibol/400. b) Znajomość bazy Unibol/400 na poziomie administracyjnym i umiejętność wykonania analizy systemowej struktur danych w środowisku tej bazy danych przy uwzględnieniu uwarunkowań i ograniczeń opisanych w niniejszym dokumencie. Na etapie wyboru wykonawcy zamawiający dokona weryfikacji czy wykonawca posiada opisane wyżej umiejętności. Opis zadań weryfikujących znajduje się w odrębnym dokumencie stanowiącym załącznik do zapytania ofertowego. W ramach przygotowań do realizacji niniejszego zamówienia zamawiający podjął próbę testowego połączenia do bazy Unibol/400 przy wykorzystaniu następujących narzędzi: Oracle SQL Developer, Informatica Power Center, DbVisualizer, Microsoft Access, Microsoft Excel. Powyższe próby zakończyły się niepowodzeniem z uwagi na starą (nieobsługiwaną) wersję sterownika ODBC. Z uwagi na fakt, że system LTB400 został opracowany przez niemiecką firmę wykonawca musi uwzględnić w pracach własnego zespołu osobę ze znajomością języka niemieckiego, w szczególności ze znajomością słownictwa stosowanego w informatyce, bazach danych oraz słownictwa stosowanego w lotnictwie. wersja 1.3 str. 9