Opis spełnienia wymagań (PSBD)

Transkrypt

1 Numer sprawy: DPZ/4/15 Nr arch. DPZ/087/059-16/15 1. Zakres przedmiotu zamówienia: Opis spełnienia wymagań (PSBD) Załącznik nr 1d do formularza ofertowego Wykonanie dzieła polegającego na dostawie, kompleksowym wdrożeniu Platformy, świadczeniu usług serwisu (usług powdrożeniowych, gwarancyjnych, konserwacyjnych) po wdrożeniu Platformy w Instytucie Łączności-Państwowym Instytucie Badawczym, w ramach Projektu pn.: Platforma Informatyczna systemu badań i diagnozowania właściwości usług komunikacji elektronicznej nr POIG /13, realizowanego w ramach Programu Operacyjnego Innowacyjna Gospodarka, lata , Priorytet 2. Infrastruktura sfery B+R, Działanie 2.3. Inwestycje związane z rozwojem infrastruktury informatycznej nauki. Projekty w zakresie rozwoju zaawansowanych aplikacji i usług teleinformatycznych. UWAGA: a) W ramach opisu sposobu spełnienia wymagań Wykonawca zobowiązany jest bezwzględnie podać dane umożliwiające jednoznaczną ocenę czy oferowane produkty odpowiadają wymaganiom określonym przez Zamawiającego lub wskazać strony oferty lub strony załączników do oferty zawierające takie dane. Wykonawca powinien opisać w jaki sposób spełnia wymaganie 1. b) Wykonawca zobowiązany jest podać oznaczenie w zakresie Systemu Business Intelligence dla każdego z wymagań podanych w załączniku 1d do SIWZ, które to szkolenie przygotowuje do wykorzystania Funkcjonalności Docelowej nie wymienionej w C.9, C.12.1, C , C , C , C , C i C.13. w zakresie Systemu Business Intelligence należy podać w każdym wierszu kolumny, poza wierszami oznaczonymi ) 2. 1 Uwagę stosuje się każdorazowo do zawartości kolumn Opis sposobu spełnienia wymagań w tabelach występujących w niniejszym dokumencie. 2 Uwagę stosuje się każdorazowo do zawartości kolumny w tabelach występujących w niniejszym dokumencie.

2 2. Przykładowy System Badań i Diagnozowania D.1. D.2. D.3. D.4. D.5. Wykonawca zaprojektuje, zaimplementuje oraz wdroży na Platformie Przykładowy System Badań i Diagnozowania (PSBD). PSBD zostanie zrealizowany z użyciem Systemu Business Intelligence. Zakres przeprowadzonych w ramach Zamówienia prac obejmie zaprojektowanie i implementację: interfejsów dla danych źródłowych, hurtowni danych, struktur dla danych operacyjnych i analitycznych metadanych, w tym słowników biznesowych definiujących etykiety jakie mają się pojawiać na raportach, klasyfikacje, hierarchie wymiarów, ścieżki przetwarzania od danych źródłowych do raportów, kostki OLAP na potrzeby analiz wielowymiarowych, szablonów raportów, przykładowych raportów. Źródłem danych PSBD będą pliki tekstowe oraz baza danych MySQL 5.1 lub nowsza. Źródłowe plik tekstowe będą w jednym z dwóch formatów: CSV (ang. Comma Separated Values) KML (ang. Keyhole Markup Language). Zostaną wdrożone mechanizmy wczytywania źródłowych plików tekstowych dla ośmiu przykładowych rodzajów plików: 1. 1 rodzaj plików CSV z zapisem badania QoS (seria plików w formacie CSV o identycznej strukturze, do dziesięciu kolumn w pliku, maksymalnie rekordów w jednym pliku, maksymalnie rekordów w serii plików dotyczących jednego badania, do 100 bajtów na rekord), 2. 1 rodzaj plików KML z zapisem badania QoS (seria plików w formacie KML o identycznej strukturze, maksymalnie Strona 2 z 8

3 rekordów w jednym pliku, maksymalnie rekordów w serii plików dotyczących jednego badania, maksymalnie 3 kb na rekord, z czego 100 bajtów to faktyczne dane, a pozostałe do 2.9 kb to struktura XML oraz nieistotne metadane) rodzaje plików CSV z zapisem badania parametrów telefonii mobilnej (seria plików w formacie CSV o identycznej strukturze, do dziesięciu kolumn w pliku, maksymalnie rekordów w jednym pliku, maksymalnie rekordów w serii plików dotyczących jednego badania, do 100 bajtów na rekord), 4. 3 rodzaje plików KML z zapisem badania parametrów telefonii mobilnej (seria plików w formacie KML o identycznej strukturze, maksymalnie rekordów w jednym pliku, maksymalnie rekordów w serii plików dotyczących jednego badania, maksymalnie 3 kb na rekord, z czego 100 bajtów to faktyczne dane, a pozostałe do 2.9 kb to struktura XML oraz nieistotne metadane), Wszystkie 4 rodzaje plików CSV mają zbliżona do siebie strukturę, różnica występuje w kolumnach 5-10 i polega na zmianie nazwy zapisanego w tej kolumnie parametru liczbowego lub tekstowego. Wszystkie 4 rodzaje plików KML mają zbliżona do siebie strukturę, różnica występuje w zmiennych 5-10 i polega na zmianie nazwy zapisanego w tej zmiennej parametru liczbowego lub tekstowego. Powyższe pliki CSV i KML występują parami. W ramach pary plik CSV i plik KML po wczytaniu powinny zawierać te same dane. Pliki z zapisem badania QoS będą dostarczane oddzielnie dla czterech operatorów telefonii komórkowej. Operator będzie wyróżniony w nazwie pliku. Informacja o operatorze powinna być przechowywana w zaimportowanym zbiorze w postaci dodatkowej kolumny. Strona 3 z 8

4 D.6. D.7. D.8. D.9. D.10. Źródłowe pliki tekstowe będą umieszczane w Repozytorium Danych Źródłowych Platformy w sposób nieregularny. PSBD będzie monitorować pojawienie się nowych plików. Harmonogram ich wczytywania będzie konfigurowany przez Operatora Eksploatacji Systemu. Dane wczytane ze źródłowych plików tekstowych będą przechowywane w Hurtowni Danych w Repozytorium Operacyjnym. PSBD będzie pobierał dane ze źródłowej bazy danych. Pobierana będzie zawartość dwóch tabel: tabela A - 12 kolumn typu: int, tinyint, timestamp lub varchar; obecnie rekordów, tabela B - 13 kolumn typu: int, bigint, tinyint, timestamp lub varchar; obecnie rekordów, Maksymalny prognozowany dzienny przyrost danych w bazie danych to nie więcej niż rekordów w każdej z tabel (sumarycznie dla dwóch tabel ok. 30 MB dziennie). Dane ze źródłowej bazy danych będą wczytywane raz dziennie i przechowywane w Hurtowni Danych w Repozytorium Operacyjnym. Harmonogram wczytywania będzie konfigurowany przez Operatora Eksploatacji Systemu. Wykonawca zapewni możliwość wykorzystania w PSBD następujących metadanych, które będą wersjonowane i będą definiowane przez uprawnionych Użytkowników: 1. metadanych pozwalających definiować źródła danych (pliki lub tabele i kolumny bazy danych) za pomocą masek nazw plików (np. wildcard lub wyrażenia regularne), 2. metadanych opisujących badania, których pomiary będą przedmiotem przetwarzania, w tym identyfikator źródła zawierającego pomiary oraz metadane identyfikujące jakiego operatora badanie dotyczy; 3. słowników wartości danych pobieranych ze źródeł i słowniki Strona 4 z 8

5 wartości umieszczanych w raportach; 4. danych o poprawnych zakresach wartości danych pobieranych ze źródeł; 5. danych o poprawnych dziedzinach danych pobieranych ze źródeł. D.11. PSBD zapewni zaawansowane funkcje wykrywania i obsługi anomalii w danych źródłowych i procesach ETL, w tym realizację poszczególnych funkcji, procedur, ścieżek przetwarzania i procesów ETL zakresie: czyszczenie danych źródłowych według zadanych reguł: o usuwanie rekordów nie niosących informacji (np. puste dane), o usuwanie duplikatów, o usuwanie kolejnych rekordów różniących się o wartość poniżej zadanego progu, o uzupełnianie danych o wartości z rekordów poprzedzających je chronologicznie, o innych reguł, które zostaną wypracowane we współpracy z Zamawiającym; wykrywania i obsługi wykrytych anomalii w danych źródłowych i procesach ETL, w tym realizację: o weryfikacji danych wejściowych z użyciem narzędzi ETL w zakresie: wartości spoza dziedziny definiowanej dla kolumny w źródłowym pliku tekstowym, elementu lub atrybutu XML, kolumny w tabeli źródłowej; wartości spoza zakresu zdefiniowanego dla kolumny w źródłowym pliku tekstowym, elementu lub atrybutu XML, kolumny w tabeli źródłowej; wartości spoza słownika zdefiniowanego dla kolumny w źródłowym pliku tekstowym, wartości elementu lub atrybutu XML, kolumny w tabeli źródłowej; procesów wykrywania anomalii w kolejnych etapach procesów Strona 5 z 8

6 ETL/ELT, o obsługi wykrytych anomalii, poprzez: obsługę braków konfiguracji w słownikach: w przypadku pojawienia się nowych nie zdefiniowanych wartości w słownikach opisujących dane źródłowe (daną kolumnę) nowe wartości automatycznie zostaną dodane do słownika a do Operator Eksploatacji Systemu zostanie wysłany z listą dodanych wartości, w przypadku, gdy w słownikach brakuje danych niezbędnych do wykonania dalszego przetwarzania, zatrzymane zostaną tylko te części przetwarzania, które są od tego braku zależne, raportowanie wykrytej anomalii w ramach logów Systemu i zatrzymanie procesu ETL/ELT w przypadku wykrycia nowej anomalii; raportowanie wykrytej anomalii w ramach logów Systemu i wykonanie zdefiniowanej procedury obsługi napotkanie anomalii; D.12. D.13. PSBD oprócz danych detalicznych będzie zawierał agregaty danych. Sposób agregacji danych zostanie uzgodniony z Zamawiającym. PSBD zapewni kostkę OLAP zawierającą oczyszczone dane. W kostce zostaną zdefiniowane wymiary bazujące na danych źródłowych i metadanych. Wymiary dostępne w kostce zostaną wybrane na etapie Projektu Technicznego spośród: hierarchia czasu: rok, kwartał, miesiąc, dzień miesiąca, godzina, identyfikator badania, operator, innych opartych o kolumny ze źródeł danych lub metadanych. Miary dostępne w kostce zostaną wybrane na etapie Projektu Strona 6 z 8

7 D.14. D.15. D.16. D.17. Technicznego spośród: min, max, średnia, mediana, odchylenie standardowe, wariancja, n-ty kwantyl rzędu p, innych dostępnych w Systemie Business Intelligence. PSBD zapewni możliwość prowadzenia wielowymiarowych analiz danych z kostki OLAP (w tym możliwość agregacji, filtrowania, drążenia danych) oraz prezentacji wyników przeprowadzonych analiz w formie interaktywnych raportów dynamicznych oraz raportów statycznych prezentujących aktualny stan raportu dynamicznego. PSBD umożliwi generowanie na podstawie miar i wymiarów zawartych w kostce OLAP raportów statycznych i dynamicznych zawierających: Zestawienia tabelaryczne, Zestawienia graficzne, w postaci wykresów Statyczne teksty, Wizualizacje wartości danych detalicznych i zagregowanych na mapach. PSBD zapewni możliwość definiowania układu graficznego raportu poprzez umieszczanie elementów raportów (wykresy, tabele, teksty, mapy) na szablonie raportu. Dostawca przygotuje nie mniej niż 10 szablonów raportów ustalonych z Zamawiającym na etapie Projektu Technicznego. Strona 7 z 8

8 D.18. D.19. PSBD musi zostać tak zaprojektowany i zaimplementowany, aby możliwe było odtwarzanie danych historycznych gwarantujące, że ponowne przeliczenie raportu w różnych termiach wygeneruje taki sam raport. PSBD musi dostarczać mechanizm logowania procesu przetwarzania. Mechanizm ten powinien być parametryzowany i umożliwiać wybór, jakie informacje (błędy, ostrzeżenia, informacje, informacje debugowania) powinny do logu trafić..., dn.. (podpis i pieczęć upoważnionego przedstawiciela Wykonawcy) Strona 8 z 8