Moduł mapowania danych

Transkrypt

1 Moduł mapowania danych Styczeń 2011 Wszelkie prawa zastrzeżone. Dokument może być reprodukowany lub przechowywany bez ograniczeń tylko w całości. W przeciwnym przypadku, żadna część niniejszego dokumentu, nie może być reprodukowana ani przetwarzana w jakikolwiek sposób elektroniczny, fotograficzny, mechaniczny i inny oraz nie może być przechowywana w jakiejkolwiek bazie danych bez pisemnej zgody GPM SYSTEMY sp. z o.o. GPM SYSTEMY 1

2 Zawartość 1. Wstęp Automatyzacja zasilania z modułem mapowań... 5 Zarządzanie źródłami danych... 6 Zarządzanie mapowaniami... 6 Edytor mapowań... 6 Wyliczanie raportów wg mapowań... 6 Korzyści wynikające z modułu mapowań asist Omówienie pojęć oraz przykłady... 8 Rodzaje komórek w sprawozdaniach pola pierwotne i wyliczane... 8 Mapowanie powiązań pomiędzy danymi wejściowymi i polami na sprawozdaniu... 9 Źródła danych do mapowań Język mapowania GPM SYSTEMY 2

3 1. Wstęp Z punktu widzenia sposobu przetwarzania danych sprawozdawczych, obecnie asist (moduł podstawowy) jest wykorzystywany jako aplikacja do wprowadzania i uzgadniania sprawozdań. Można powiedzieć, że asist generuje raporty. Jest to finalny krok w uzyskaniu sprawozdania. Rysunek 1. Standardowy układ procesu sprawozdawczego W wersji podstawowej asist posiada interfejsy wejściowe zapewniające możliwość zasilenia sprawozdania poprzez import danych z wcześniej przygotowanego zbioru wejściowego. Zbiory takie muszą jednak spełniać określone wymagania: przygotowany zbiór musi odpowiadać strukturze raportów, jednej komórce na sprawozdaniu odpowiadać musi jedna pozycja w zbiorze wejściowym. Spełnienie tych warunków wymaga pracochłonnego przygotowania zbiorów oraz często powoduje konieczność wieloetapowego przetwarzania danych generowanych z systemów bankowych. Rysunek 2. Proces sprawozdawczy sytuacja obecna GPM SYSTEMY 3

4 Proces przygotowywania danych jest nie tylko czasochłonny ale wymaga powtarzania go w każdym okresie rozliczeniowym od początku. Rozszerzeniem interfejsu wejściowego dla asist jest moduł mapowania danych. Dostarcza on mechanizm pozwalający na wyliczenie wartości w komórce na podstawie różnego rodzaju danych źródłowych, jakimi dysponuje bank. Rysunek 3. Proces sprawozdawczy przy użyciu modułu mapowań asist Dzięki temu asist zapewnia możliwość elastycznego przetwarzania danych z takiej postaci, w jakiej występują w systemach bankowych. Unika się dodatkowego wstępnego przetwarzania i agregacji danych. GPM SYSTEMY 4

5 2. Automatyzacja zasilania z modułem mapowań Alternatywną metodą do metody wczytywania danych z pliku jest wprowadzenie możliwości aktywnego pobierania danych. Pozwala to na zautomatyzowanie czynności wykonywanych obecnie np. na zbiorach Excel. Poniżej przedstawiono ogólną architekturę asist wraz z zakreślonym modułem mapowania danych. Rysunek 4. Architektura asist moduł mapowania danych Elementy modułu mapowania danych: Zarządzanie źródłami danych Zarządzanie mapowaniami Edytor mapowań Wyliczanie wg mapowań Na kolejnej stronie omówiono szczegółowo poszczególne elementy rozwiązania. GPM SYSTEMY 5

6 Zarządzanie źródłami danych Źródłem danych jest tabela zawierająca dane służące do wyliczenia wartości na sprawozdaniach. Zarządzanie źródłami danych służy do definiowania dostępnych źródeł danych, tak aby można było z nich korzystać w trakcie definiowania mapowań. Zarządzanie mapowaniami Moduł pozwala na definiowanie tzw. zestawów mapowań. Pozwala to na jednoczesne korzystanie z wielu zestawów, które mogą być wykorzystywane do: zarządzania wersjami mapowań, integracji danych z różnych źródeł z różnych systemów np. w trakcie przejścia na nowy system księgowy, konsolidacji sprawozdań do mapowania sprawozdań oraz mapowania korekt konsolidacyjnych. Edytor mapowań Edytor umożliwia zapisanie/edycję/korektę formuł mapowania dla wybranego zestawu danych, jak również wyeksportowanie i zaimportowanie reguł do zbioru zewnętrznego. Wyliczanie raportów wg mapowań Pobieranie danych zewnętrznych jest odrębną funkcją, której uruchomienie inicjuje proces wyliczenia wartości według formuł i zapisania ich wartości do sprawozdań. Moduł posiada podobne warianty działania jak import danych tj. pozwala na nadpisanie wszystkich mapowanych komórek, wyliczenie tylko pustych itd. GPM SYSTEMY 6

7 Korzyści wynikające z modułu mapowań asist Moduł mapowań ma optymalnie rozbudowaną funkcjonalność a jego zastosowanie przynosi wiele korzyści: zasilanie poprzez mapowania może być zasilaniem podstawowym jak również zasilaniem pomocniczym - moduł mapowań jest modułem funkcjonalnym może być zastosowany do wszystkich sprawozdań i to zarówno do całości sprawozdania jak również do jego wybranych części szybkie wprowadzanie do aplikacji asist danych bezpośrednio ze zbiorów wygenerowanych z systemu bankowego, możliwość przypisania wielu źródeł danych do jednej taksonomii automatyczne wyliczanie jednej komórki w sprawozdaniu z danych pochodzących z wielu źródeł wczytywanie jedynie tych danych, które spełniają określone przez użytkownika warunki wyeliminowanie możliwości powstania błędów i gubienia danych związanych z pomyłkami przy ręcznym wypełnieniu automatyczne wyliczenie wartości całego zbioru wskazanego przez użytkownika dla danej komórki uniknięcie możliwości błędów powstałych przy ręcznych kalkulacjach bądź też przeliczeniach w rozbudowanych systemach pomocniczych ustandaryzowanie procesu automatycznego zasilenia sprawozdań danymi moduł mapowania asist jest specjalnie dedykowanym do tego narzędziem język mapowania umożliwiający stosowanie funkcji agregujących oraz operatorów logicznych możliwość bardzo precyzyjnego określenia parametrów danych, które mają znaleźć się w mapowanej komórce sprawozdania możliwość zmiany, dodawania i usuwania pojedynczych mapowań ze zbiorów mapowań edycja mapowań jest uproszczona do absolutnego minimum i jest możliwa w formie tekstowej na kilka sposobów: w oknie modułu, w edytorze tekstowym itd. możliwość automatycznego zasilenia sprawozdań listowych (np. pozycje walutowe) zmniejszenie nakładów czasu i pracy przeznaczonych na proces sprawozdawczy. GPM SYSTEMY 7

8 3. Omówienie pojęć oraz przykłady Rodzaje komórek w sprawozdaniach pola pierwotne i wyliczane Przykład 1. Komórki pierwotne (niezależne) i wyliczane w sprawozdaniu Pola niezależne: B, C, E, F Pola zależne: A i D Pola pierwotne muszą być wprowadzone przez użytkownika. Mogą też być automatycznie wyliczone z zewnętrznego źródła danych za pomocą mapowania (formuły i wskazującej źródło i definiującej, które wartości w danej komórce mają się znaleźć). Pola wyliczane zgodnie z formularzami sprawozdania w asist opisane są regułami poprawności / kalkulacjami, zatem nie muszą być wprowadzane przez użytkownika. GPM SYSTEMY 8

9 Mapowanie powiązań pomiędzy danymi wejściowymi i polami na sprawozdaniu Komórka pierwotna na sprawozdaniu opisana jest identyfikatorem pola wymaganym przez regulatora. Przykład 2. Identyfikator pola dla komórki w sprawozdaniu Jednocześnie bank posługuje się w swoich systemach bankowych schematem atrybutów tj. planem kont, atrybutami kont, atrybutami klientów, itd. Mapowanie oznacza powiązanie pola na sprawozdaniu z konkretnym zestawem atrybutów danych wejściowych. Jakkolwiek dużą ma to wagę dla sprawozdawczości, dla użytkowników systemu asist wraz z modułem mapowań kwestia ta przestaje być istotna. Funkcję przypisania konkretnych atrybutów do konkretnego pola przejmuje na siebie system. GPM SYSTEMY 9

10 Moduł mapowań asist prezentuje mapowania w układzie formularzy sprawozdawczych, dokładnie tak jak asist, co znacznie ułatwia ich przygotowanie i zarządzanie nimi oraz sprawia, że identyfikator pola przestaje być dla Użytkownika istotny. Przykład 3. Okno modułu mapowań wraz ze stworzonymi mapowaniami Źródła danych do mapowań Mapowanie pozwala na pobieranie danych z dowolnego źródła, które spełnia następujące wymagania: 1. ma strukturę tabeli tj. wszystkie rekordy mają jednakową strukturę, a źródło danych składa się ze zbioru rekordów 2. tabela ma wiersz nagłówkowy identyfikujący kolumny w tabeli 3. źródłem danych może być plik CSV, plik XLS [ format MS Excel ] lub tabela opisana zapytaniem SQL Przykład 4. Przykładowe źródło danych KSIEGA_GL GPM SYSTEMY 10

11 Tabela będąca źródłem danych może mieć dowolną zawartość tj. tabela może mieć dowolną liczbę kolumn i wierszy kolumny i wiersze mogą się nazywać w dowolny sposób plik zawierający tabelę może mieć dowolną nazwę Źródłem może być zatem każda wygenerowana w jakikolwiek sposób tabela np. będąca zrzutem z systemu głównego bądź też stworzona ręcznie. Język mapowania Podstawowym elementem języka jest wyrażenie mapujące w postaci: źródło_danych: { funkcja agregująca (wyrażenie na wyselekcjonowanym rekordzie, selektor rekordów) } gdzie: źródło danych określa plik w którym znajdują się dane, z których korzysta mapowanie funkcja agregująca działanie na szeregu rekordów danych, np. sum (suma) rekord danych wiersz w tabeli z danymi selektor rekordów formuła filtrująca tj. zawierająca warunki jakie agregowane rekordy mają spełniać Kolumny rekordów oznaczane są znakiem specjalnym $ Wyrażenia mapowań wiążą lewą stronę tj. atrybuty sprawozdania (np. komórki sprawozdania FINREP) z atrybutami danych bankowych (np. salda kont zapisane w systemie bankowym ). Reasumując, wyrażenia opisują mapowania. GPM SYSTEMY 11

12 Przykład 5. Wyrażenie mapujące Wyrażenie mapujące przedstawione w przykładzie 5 określa dokładnie, iż w wyniku mapowania w komórce Gotówka w kasie / PLN zostanie automatycznie pobrana ze źródła danych KSIEGA_GL wartość kolumny SALDO dla rekordu, który w kolumnie KONTO ma wartość 101; np. dla tabeli z przykładu 4 byłaby to wartość Podobnie, dla danych z tabeli w przykładzie 4 aby uzyskać wartość dla pozycji Kasa inne niż PLN wystarczy napisać mapowanie w następującej postaci: KSIEGA_GL:{ sum( $SALDO, $KONTO = [102, 103, 104] ) } Oznacza to, że w mapowanej komórce moduł mapowań wykona operację sumowania wartości kolumny SALDO dla rekordów kolumny KONTO o wartościach 102, 103 i 104. Mapowanie pozwala na użycie wielu warunków w jednym zapytaniu i połączyć je operatorem logicznym: oraz lub - warunek_1 && warunek_2 - warunek_1 warunek_2 GPM SYSTEMY 12

13 Przykład 6. Przykładowe źródło danych KOREKTA Mapowanie w celu uzyskania wartości sumy korekt w PLN w miesiącu maju (zaznaczone na rysunku) będzie miało postać: KOREKTA:{ sum( $WARTOSC, $KONTO = 101 && MIESIAC = 5 ) } W mapowaniach może występować dowolna liczba źródeł danych. Pozwala to na wyliczenie mapowanego pola w sprawozdaniu nie tylko z kilku rekordów jednego źródła, ale również z kilku źródeł danych. Przykład 7. Wyrażenie mapowania z dwoma źródłami danych wejściowych Dla tabel z przykładów 4 oraz 6 można zatem uzyskać wysokość salda Kasy PLN po odliczeniu korekt w wyniku następującego mapowania: KSIEGA_GL:{ sum( $SALDO, $KONTO = 101) } - KOREKTA:{ sum( $WARTOSC, $KONTO = 101 && MIESIAC = 5 ) } GPM SYSTEMY 13

14 Przykład 8. Wynik wyrażenia mapowania dla danych w tabelach z przykładów 4 i 6 Wynik: (saldo) ( )(korekty) = W sprawach handlowych oraz technicznych prosimy o bezpośredni kontakt: Piotr Malczak mob Piotr.Malczak@gpm-systemy.com GPM SYSTEMY 14