CASE STUDIES BUSINESS INTELLIGENCE

Transkrypt

1 CASE STUDIES BUSINESS INTELLIGENCE

2 01. Niemiecka spółka łącząca dwóch przedstawicieli światowej bankowości wysokiego szczebla Budowa generycznych przepływów danych ETL zasilających warstwy Data Hub i Raw IN oraz analiza developmentu i pomoc przy testach Finansowa Wdrożenie nowego generycznego sposobu zasilania hurtowni danych z wszystkich systemów źródłowych ¹ ¹ Brak podejścia testowego oraz brak strategii ¹ ¹ Istniejące rozwiązanie przy każdej zmianie w systemie source generowało duży nakład pracy ¹ ¹ Ograniczona dokumentacja analityczna ¹ ¹ Bardzo ograniczone dokumentowanie developmentów ¹ ¹ Brak wystarczającego zespołu deweloperskiego ¹ ¹ Niezdefiniowany zakres wymagań ¹ ¹ Uzgodnienie strategii, architektury, bezpośrednie zaangażowanie IT oraz biznesu ¹ ¹ Wdrożenie strategii developmentu (dokumentacja, wymagania, standardy kodowania)

3 ¹ ¹ Wdrożenie przepływów danych z Source System do warstwy Data Hub (rozwiązanie generyczne) ¹ ¹ Wdrożenie przepływów danych z warstwy Data Hub do warstwy Raw IN (rozwiązanie generyczne) ¹ ¹ Wdrożenie przepływów danych z hurtowni danych do warstwy Data Hub OUT (rozwiązanie generyczne) ¹ ¹ Zdefiniowanie w porozumieniu z managementem klienta procesu developmentu i testowania ¹ ¹ Dostarczenie szczegółowej dokumentacji rozwiązania ¹ ¹ Wsparcie operacyjne w ramach instalacji produkcyjnej dla zespołu klienta Międzynarodowy bank działający na całym świecie 02. Zdefiniowanie procesów raportowych Migracja procesów miedzy bazami Implementacja nowych wymagań Bankowość Migracja istniejących procesów do systemów SAS wraz z implementacją nowych wymagań Optymalizacja i modyfikacja działających raportów Tworzenie zestawień oraz wspieranie procesów bankowych Recertyfikacja i wycofanie starych procesów Testy UAT narzędzi systemowych ¹ ¹ Brak dokumentacji technicznej oraz biznesowej istniejących procesów ¹ ¹ Brak osób odpowiedzialnych za bieżące rozwiązanie ¹ ¹ Brak kompetencji technicznych osób będących odbiorcami raportów ¹ ¹ Problemy komunikacyjne na linii Biznes IT i związane z tym utrudnienia

4 ¹ ¹ Brak procedury deweloperskiej każdy deweloper tworzy procesy w sobie tylko znany sposób ¹ ¹ Różnorodne nazewnictwo tych samych identyfikatorów oraz danych w bazie ¹ ¹ Przeciążenia aplikacji wynikające z nieoptymalnie stworzonych procesów przez zbyt dużą liczbę użytkowników ¹ ¹ Słabe logowanie i przechwytywanie błędów procesów i aplikacji ¹ ¹ Błędy w danych pobieranych z bazy ¹ ¹ Słabe oznaczenie w lokalizacji potrzebnych informacji w bazie ¹ ¹ Migracja istniejących procesów miedzy bazą Oracle a SAS ¹ ¹ Implementacja nowych wymagań istniejących procesów ¹ ¹ Budowa nowych procesów i tasków na potrzeby raportowe ¹ ¹ Tworzenie i modyfikacja systemu obsługującego zwroty kwot dla klienta dot. decyzji UOKiK ¹ ¹ Recertyfikacja SAS-owych procesów raportujących po okresie migracji ¹ ¹ Przeprowadzanie testów budowanych rozwiązań ¹ ¹ Optymalizacja i modyfikacja działających procesów ¹ ¹ Obsługa i budowa procesów wywołujących (cron process) Jeden z największych banków uniwersalnych w Polsce 03. Migracja zasilania hurtowni danych z rozwiązań Oracle owych (Oracle Warehouse Bulider, PL/SQL) do IBM InfoSphere DataStage Bankowość Przeniesienie istniejących procesów ETL do IBM InfoSphere DataStage

5 ¹ ¹ Skala migracji (ok. 500 gwiazd, ponad miliard wierszy przetwarzany w ramach dziennego ładowania danych, ponad 100 GB danych dziennego przyrostu) ¹ ¹ Testy i współpraca zespołu deweloperskiego z właścicielami hurtowni ¹ ¹ Niekompletna dokumentacja biznesowa ¹ ¹ Optymalizacja czasu ładowania hurtowni z wykorzystaniem mocnych stron środowiska DataStage ¹ ¹ Przygotowywanie biznesowych przypadków testowych pod testy deweloperskie ¹ ¹ Zmiana podejścia w rozwiązaniach ETL poprzez eliminacje warstwy Operational Data Store ¹ ¹ Współpraca z zespołami z innego miasta ¹ ¹ Zwinne programowanie procesów ETL i minimalizacja ryzyka błędów ¹ ¹ Wypracowanie ścieżki komunikacyjnej z Data Officerami odpowiedzialnymi za testy poszczególnych obszarów hurtowni ¹ ¹ Wsparcie w trakcie testów pomoc w wyszukiwaniu błędów i rozbieżności między dokumentacją a stanem rzeczywistym procesów ¹ ¹ Współpraca z innymi zespołami klienta ¹ ¹ Automatyzacja niektórych aspektów migracji hurtowni ¹ ¹ Odświeżenie dokumentacji i tworzenie nowej w oparciu o metadane, w sposób manualny i zautomatyzowany, z użyciem opensource owych narzędzi ¹ ¹ Samoorganizacja zespołu w metodyce scrum ¹ ¹ Obsługa dedykowanego frameworku klienta (konfiguracja, parametryzacja) ¹ ¹ Wsparcie środowisk testowych oraz realizacja przypadków testowych w ramach testów UAT ¹ ¹ Zapewnienie lineage u danych i bezwzględne stosowanie się do konwencji technicznych ustalonych przed migracją

6 Niemiecka sieć marketów oferujących artykuły RTV i AGD 04. Rozbudowa i utrzymanie hurtowni danych i BI osadzonych w środowisku chmurowym Azure FMCG Wdrożenie nowych funkcji biznesowych dla środowiska DWH/BI oraz utrzymanie środowiska ¹ ¹ Przejęcie rozwiązania po poprzednim dostawcy, który zniknął w trybie natychmiastowym ¹ ¹ Niezdefiniowany ekosystem brak procesów wdrożeniowych, testowania, zarządzania zmianą, brak środowisk, procesów utrzymania platformy ¹ ¹ Ograniczone zaufanie do dostawców (skutek współpracy z poprzednim dostawcą) ¹ ¹ Brak analityków biznesowych i systemowych po stronie MMS (trudność w definiowaniu wymagań i odbiorach projektów) ¹ ¹ Analiza wymagań ¹ ¹ Projekt rozwiązania Wykorzystanie komponentów Azure cloud (PAAS, SAAS) Optymalizacja rozwiązania ¹ ¹ Definiowanie procesów wspierających środowisko ¹ ¹ Implementacja procesów ¹ ¹ Testowanie implementacji ¹ ¹ Wdrożenie

7 Polski oddział jednej z największych firm ubezpieczeniowych na świecie 05. Stworzenie systemu antyfraudowego do kontroli nadużyć wewnętrznych Ubezpieczeniowa Zbudowanie platformy wspierającej proces wykrywania nadużyć w firmie identyfikacja polis sprzedanych przez agentów z czarnych list, analizy wpłaty, obszar powitalny ¹ ¹ Uruchomienie systemu na nowej globalnej platformie Big Data ¹ ¹ Konieczny reverse engineering poprzedniego rozwiązania opartego o VB ¹ ¹ Wdrożenie idei agile scrum ¹ ¹ Podniesienie skuteczności procesów detekcyjnych ¹ ¹ Budowa systemu, który będzie łatwo skalowalny na całą organizację ¹ ¹ System łatwo rozszerzalny na inne obszary procesowe ¹ ¹ Reverse engineering poprzedniego rozwiązania VB (kilkadziesiąt plików Excel, MS accessów) ¹ ¹ Projekt rozwiązania ¹ ¹ Uruchomienie środowisk dev/test i produkcyjnego ¹ ¹ Implementacja procesów ¹ ¹ Uruchomienie frameworku scrum, edukacja stakeholderów ¹ ¹ Testowanie systemu ¹ ¹ Wdrożenie

8 Austriacki bank komercyjny 06. Rozwój, utrzymanie i optymalizacja hurtowni danych Model danych przygotowany na potrzeby spółki polskiej i austriackiej Optymalizacja, rozwój i utrzymanie warstw hurtowni danych Analizy obszarowych data martów i raportowania Bankowość Utrzymanie i rozwój systemów po podziale banków Stworzenie nowych komponentów hurtowni dla nowych systemów Optymalizacja hurtowni tylko do niezbędnych danych w obszarze Wykluczenie zbędnych procesów po podziale banku ¹ ¹ Brak dostępu do danych produkcyjnych ¹ ¹ Błędne i niepełne dane testowe ¹ ¹ Ograniczona dokumentacja analityczna ¹ ¹ Brak osób znających systemy źródłowe ¹ ¹ Brak osób znających przejęte systemy docelowe ¹ ¹ Brak całkowitej wiedzy na temat hurtowni danych ¹ ¹ Ograniczenia zasobowe ¹ ¹ Opracowanie roadmapy optymalizacji systemu ¹ ¹ Uzgodnienie zakresu prac w hurtowni ¹ ¹ Analizy systemowe systemów źródłowych, hurtowni danych i ekstraktów do zewnętrznych systemów ¹ ¹ Optymalizacje i rozwój w hurtowni danych ¹ ¹ Development i testy wprowadzonych zmian

9 Jeden z czołowych operatorów sieci komórkowej w Polsce 07. Stworzenie kontroli dla nowej platformy do rozliczania klientów typu prepaid Telekomunikacyjna Zaprojektowanie, napisanie oraz wdrożenie zestawu nowych kontroli dla nowo powstającego systemu billingowego ¹ ¹ Analiza nowej platformy billingowej, nowych serwisów, free unitów, relacji pomiędzy nimi oraz analiza sposobu billingu ¹ ¹ Opracowanie planu migracji klientów z istniejących kontroli do nowych ¹ ¹ Przepisanie istniejącego kodu od nowa z uwzględnieniem technik optymalizacji ¹ ¹ Wyszukanie, gdzie w nowych systemach znajdują się informacje potrzebne do implementacji kontroli określonych przez biznes (np. dotyczących limitów zużycia) ¹ ¹ Zaprojektowanie i zbudowanie 11 nowych kontroli typu usage porównanie poszczególnych zdarzeń na poziomie MSISDN ¹ ¹ Zaprojektowanie i zbudowanie 9 nowych kontroli konfiguracyjnych porównanie różnych parametrów na poziomie danego MSISDN

10 ¹ ¹ Migracja istniejących 20 raportów na nową platformę, przepisanie kodu w PL/SQL od nowa ¹ ¹ Migracja istniejących workflowów w Informatice oraz zaprojektowanie i dodanie nowych ¹ ¹ Zaprojektowanie nowych kostek OLAP oraz widoków zasilających je ¹ ¹ Przeprowadzenie testów wraz z zespołem biznesowym ¹ ¹ Napisanie nowego loadera do ładowania CDR-ów z nowego systemu Jeden z czołowych operatorów sieci komórkowej w Polsce 08. Klaster monitorujący online aplikacje / systemy / kontenery oraz infrastrukturę w oparciu o zbierane metryki oraz logi Integracje z systemami monitorowanymi Integracja z systemem typu Umbrella Monitoring System Generowanie alarmów Dashboardy online Analizy biznesowe z właścicielami integrowanych systemów Telekomunikacyjna Wdrożenie systemu monitorującego online aplikacje / systemy / kontenery oraz infrastrukturę w oparciu o zbierane metryki oraz logi ¹ ¹ Brak doświadczenia klienta z wybraną technologią nieodpowiednia technologia dla niektórych wymagań ¹ ¹ Technologia open source niewystarczająca dokumentacja, brak mechanizmu autentyfikacji oraz autoryzacji oraz brak możliwości zakupienia licencji na daną funkcjonalność ¹ ¹ Brak dedykowanej infrastruktury niewystarczające zasoby ¹ ¹ Brak zdefiniowanych wymagań

11 ¹ ¹ Upgrade zastanego środowiska do nowszej wersji oraz zmiana konfiguracji ¹ ¹ Zabezpieczenie środowiska, wdrożenie modułu mechanizmu autentyfikacji oraz autoryzacji ¹ ¹ Wdrożenie modułu alarmującego ¹ ¹ Integracja z systemem typu Umbrella Monitoring System ¹ ¹ Spotkania oraz analizy biznesowe z właścicielami systemów integrowanych ¹ ¹ Propozycje sposobu integracji, reguł alarmowych, dashbordów ¹ ¹ Integracje z systemami monitorowanymi ¹ ¹ Stworzenie dashbordów ¹ ¹ Stworzenie reguł alarmów ¹ ¹ Administracja oraz utrzymanie środowiska ¹ ¹ Stworzenie architektury kolejnej wersji środowiska opartej na dedykowanej infrastrukturze 09. Firma z branży automotive, światowy lider w dziedzinie układów przeniesienia napędu i zawieszenia Monitoring infrastruktury i logów Motoryzacyjna Wdrożenie frameworku do monitoringu infrastruktury dla 80 hostów z uwzględnieniem interaktywnej i dogłębnej analityki ¹ ¹ Opracowanie zunifikowanego modelu logów aplikacyjnych ¹ ¹ Przygotowanie jednego repozytorium zawierającego dane z wielu maszyn (~80) ¹ ¹ Identyfikacja wąskich gardeł w przetwarzaniu ¹ ¹ Przetwarzanie danych strumieniowych ¹ ¹ Instalacja i konfiguracja środowiska

12 ¹ ¹ Wypracowanie frameworku do przeglądu infrastruktury i logów aplikacyjnych w czasie rzeczywistym ¹ ¹ Opracowanie PoC (po zainstalowaniu X-Pack) systemu machine learning w celu zapobiegania wystąpienia błędów ¹ ¹ Zastosowanie technologii: ELK Stack (Elasticsearch, Kibana, Logstash, Metricbeat, Filebeat, Ansible, Kafka, ZooKeeper) 10. Firma z branży automotive, światowy lider w dziedzinie układów przeniesienia napędu i zawieszenia Opracowanie warstwy analitycznej dla metadanych opisujących filmy z kamer samochodowych Motoryzacyjna Wypracowanie systemu wydajnego wyszukiwania łączącego zadane kryteria zarówno tekstowe, jak i numeryczne ¹ ¹ Duża liczba danych (tysiące godzin nagrań opisanych przez miliony plików metadanych) ¹ ¹ Brak spójnej i jednolitej struktury metadanych ¹ ¹ Tysiące atrybutów opisujących poszczególne filmy źródłowe ¹ ¹ Analiza problemów wynikłych w poprzednich próbach wdrożenia ¹ ¹ Połączenie w jeden kontekst wyszukiwania danych z różnych źródeł (pliki płaskie, baza danych, inne) ¹ ¹ Opracowanie wygodnego do analizy modelu danych

13 ¹ ¹ Wypracowanie indeksu zawierającego miliony dokumentów ¹ ¹ Automatyzacja i deployment wdrożenia środowiska produkcyjnego ELK ¹ ¹ Zastosowanie technologii: Python transformacja danych itrk Mobileye (standard w automotive), ELK Stack (Elasticsearch, Kibana, Logstash), integracja z systemem core`owym klienta Nasze biura WARSZAWA ul. Karolkowa Warszawa warszawa@onwelo.com KRAKÓW ul. Prądnicka 20a Kraków krakow@onwelo.com NOWY JORK 85 Broad Street NY nyc@onwelo.com KATOWICE KIELCE POZNAŃ contact@onwelo.com ul. Chorzowska Katowice katowice@onwelo.com ul. Zagnańska Kielce kielce@onwelo.com ul. Królowej Jadwigi Poznań poznan@onwelo.com GDAŃSK LUBLIN ul. Azymutalna Gdańsk gdansk@onwelo.com ul. Nałęczowska Lublin lublin@onwelo.com ONWELO S.A, ul Karolkowa 30, Warszawa. Oznaczenie sądu rejestrowego: Sąd Rejonowy dla m. st. Warszawy w Warszawie, XII Wydział Gospodarczy Krajowego Rejestru Sądowego, NIP: Wysokość Kapitału zakładowego: ,00 zł.