Integracja danych ubezpieczeniowych w czasie rzeczywistym. Łukasz Szewczyk Solution Architect

Transkrypt

1 Integracja danych ubezpieczeniowych w czasie rzeczywistym Łukasz Szewczyk Solution Architect

2 Dlaczego integrować dane w czasie rzeczywistym? W dość krótkim czasie większość danych jakie posiadamy staje się nieaktualna, traci wartość biznesową Klienci generują duży ruch transakcyjny online. Umowy/transakcje są zwierane w dowolnymmiejscu o każdej porze W dużych organizacjach dane klientów znajdują się w wielu różnych systemach. Kluczową wartością dla firmy jest uzyskanie widoku 360 stopni klienta Z każdym rokiem wolumen danych jakim dysponuje firma może rosnąć nawet kilkadziesiąt procent rok do roku. Potrzebne są rozwiązania za pomocą których zaawansowana analityka klienta nie będzie obciążać systemów źródłowych

3 Ubezpieczeniowy Fundusz Gwarancyjny Sytuacja przed wdrożeniem GoldenGate Obciążenie baz operacyjnych zapytaniami analitycznymi i raportowymi Aktualne dane pojawiały się dopiero po uruchomieniu odpowiednich procesów batchowych Potrzeba udostępniania danych do usług i innych systemów UFG w online Stary mechanizm change data capture nie jest wspierany na bazach danych Oracle 12c

4 Ubezpieczeniowy Fundusz Gwarancyjny Projekty Dostawa dedykowanej platformy bazodanowej wraz z inicjalną konfiguracją Dostawa oprogramowania Oracle (m.in. Oracle GoldenGate) Kompleksowe wdrożenie replikacji online do Centralnej Hurtowni Danych z wykorzystaniem Oracle GoldenGate

5 Ubezpieczeniowy Fundusz Gwarancyjny Architektura OŚRODEK INFORMACJI BAZA DANYCH UBEZPIECZENIOWYCH EBS ZSI CENTRALNA HURTOWNIA DANYCH PRZYROSTY SAS

6 Ubezpieczeniowy Fundusz Gwarancyjny Ramowy harmonogram Identyfikacja systemów źródłowych i docelowych Analiza transformacji Uruchomienie produkcyjne pierwszych replikacji (2-4 miesiące) Analiza struktur danych oraz opracowanie projektu technicznego Implementacja, wdrożenie

7 Ubezpieczeniowy Fundusz Gwarancyjny Korzyści z wdrożenia replikacji Oracle GoldenGate Zasilanie Centralnej Hurtowni Danych odbywa się w czasie rzeczywistym Dane do oczekiwanego modelu raportowego są przekształcane w locie Konsolidacja różnych baz i schematów w jednym miejscu Odciążenie baz operacyjnych od procesu generowania raportów Możliwość uruchomienia usług online dostępu do danych

8 Produkty Oracle Replikacja danych w czasie rzeczywistym

9 Jak Oracle może pomóc organizacji w sprostaniu wyzwań związanych z integracją danych Oracle GoldenGate Oracle Data Integrator Oracle Enterprise Data Quality

10 Oracle GoldenGate Kluczowe zastosowania Upgrade bazy danych Bezprzestojowa migracja i upgrade do najnowszych wersji Chmura obliczeniowa Dodatkowa replika Dodatkowa kopia bezpieczeństwa, zapewnienie HA Bazy Oracle oraz pozostałych vendorów Transformacja i replikacja w czasie rzeczywistym Big Data Data Integrator Baza raportowa Hurtownia Danych Chmura obliczeniowa Lustrzana kopia bazy danych do raportów Hurtownia Danych zasilana w czasie rzeczywistym Synchronizacja systemów onpremise i działających w chmurze Kolejki wiadomości Kolejki wiadomości SOA, architektura sterowana zdarzeniami

11 Oracle Data Integrator Architektura E-LT Flagowy produkt Oracle do integracji danych i złożonych przetwarzań Wbudowane moduły wiedzy ułatwiające tworzenie procesów ładujących i przetwarzających dane Wsparcie dla wielu typów źródeł oraz baz danych Brak dodatkowego serwera pośredniego do transformacji. Właściwe transformacje odbywają się po stronie baz danych

12 Oracle Enterprise Data Quality Badanie jakości danych i reagowanie na anomalie Narzędzie do badania jakości danych Zintegrowany pakiet za pomocą, którego można nie tylko badać jakość danych ale również przygotować procesy automatycznie naprawiające dane Narzędzie do ciągłego monitoringu jakości danych Narzędzie może być wykorzystane przez użytkowników nietechnicznych Profilowanie danych Czyszczenie, Parsowanie, Mergowanie, Deduplikacja Tworzenie procesów audytu danych Integracja z ODI, sprawdzenie danych w trakcie ładowania do HD Zarządzanie błędami Automatyczna standaryzacja oraz ulepszanie danych

13 CASE STUDY Jak GoldenGate jest wykorzystywany przez naszych pozostałych klientów

14 Implementacja warstwy ODS dla Banku Architektura SYSTEM GŁÓWNY OBSŁUGA TRANSKACJI KARTOWYCH ODS CRM

15 Implementacja warstwy ODS dla Banku Korzyści z wdrożenia replikacji Oracle GoldenGate Przygotowanie warstwy ODS zasilanej w czasie rzeczywistym, która docelowo jest wykorzystywana do raportowania online oraz przez systemu bankowości elektronicznej Konsolidacja danych pochodzących z MS SQL Server oraz Oracle w jednym miejscu Nowy model danych w ODS w sposób znaczący ułatwia implementację komponentów bankowości elektronicznej oraz raportów

16 Implementacja Data Grid dla Banku Architektura Konsolidacja baz banku w rozwiązaniu in-memory Wiele różnych, niepowiązanych ze sobą instancji baz Oracle DB, MS SQL Server, IBM DB2, Informix

17 Implementacja Data Grid dla Banku Korzyści z wdrożenia replikacji Oracle GoldenGate Konsolidacja kilkudziesięciu różnych baz danych Oracle, MS SQL Server, IBM DB2, Informix (różne wersje, systemy operacyjne, platformy sprzętowe) Znaczne uproszczenie procesu pozyskiwania danych o kliencie. Informacja jest zawsze dostępna w jednym centralnym repozytorium Na Oracle Coherence został zbudowany CRM banku. Dzięki temu, że zamiast zwykłych dysków, wszystkie bazy są trzymane w pamięci operacyjnej średni czas odpytania o dane wynosi poniżej 2ms

18 Podnoszenie wersji baz danych dla koncernu paliwowego Architektura Migracja wielu środowisk bazodanowych Oracle DB na nową platformę sprzętową oraz podnoszenie wersji bazy danych

19 Podnoszenie wersji baz danych dla koncernu paliwowego Korzyści z wdrożenia replikacji Oracle GoldenGate Proces przenoszenia baz danych (30 TB) ze starej platformy na nową odbył się bezprzestojowo W trakcie procesu migracji baz danych bazy źródłowe były mocno obciążone (transakcje wewnątrz centrali oraz dane ze stacji benzynowych). GoldenGate nie dociążał dodatkowo baz danych Na potrzeby testów zostało wdrożone narzędzie Oracle Veridata do badania spójności baz danych Wdrożono zaawansowany monitoring procesów replikacyjnych

20 Międzynarodowy operator płatności online Architektura GoldenGate jest wykorzystywany do zasilenia środowiska BigData w Niemczech czas replikacji 1.2s Źródłowe bazy danych znajdują się w Bułgarii

21 Między narodowy operator płatności online Korzyści z wdrożenia replikacji Oracle GoldenGate Raportowanie online odbywa się w środowisku Big Data do którego dane są przenoszone za pomocą GoldenGate Konsolidacja kilkudziesięciu baz danych w jednym miejscu Czas realizacji transakcji z Bułgarii do Niemiec wynosi około 1.2 sekundy

22 Dlaczego warto z nami współpracować? Kluczowe kompetencje O nas 5 lat na rynku polskim i zagranicznym Ponad 20 klientów Pierwsza certyfikacja (i jedna z kilku) na świecie w zakresie Oracle GoldenGate Główne obszary kompetencji Migracja, Integracja, Replikacja online GO Monitor Hurtownie Danych Automatyzacja procesów biznesowych (BPM) Dostawa serwerów Oracle (Exadata, ZFS) Certyfikacja produktowa Oracle GoldenGate 11g/12c Oracle Data Integrator 12c Oracle Infrastructure as a Service

23 Nasi klienci

24 Nasze biura

25 Zapraszamy do kontaktu i współpracy Łukasz Szewczyk Senior Solution Architect T: E: lukasz.szewczyk@goldenore.pl Biuro Goldenore ul. Płocka 5A Warszawa