Praktyczne aspekty pozyskiwania wiedzy z danych z perspektywy matematyka w bankowości 2013-12-05 (II zajęcia) Jakub Jurdziak
CEL ZAJĘĆ: Prezentacja nowoczesnego banku uniwersalnego jako organizacji opartej na wykorzystaniu wiedzy płynącej z danych (data-driven organisation). Przybliżenie zadań, charakteru pracy i warsztatu narzędziowego jednostek banku, w których pracę mogą znaleźć matematycy. Program kursu: cykl życia informacji w banku (2h) sposoby przechowywania i przetwarzania danych w banku (2h) struktura organizacyjna banku (1h) matematyk w dziale zarządzania ryzykiem (3h) CRM / marketing bezpośredni oparty na analizie danych (3h) czy matematyka jest przydatna w dziale controllingu i finansów (1h) inne jednostki zatrudniające matematyków (2h) praktyczne aspekty komunikacji w korporacji (1h) 2013-12-05 (II zajęcia) 2
Informacje w banku 1. przychodzę założyć konto patrz: Ustawa z dnia 29 sierpnia 1997r. o ochronie danych osobowych (tekst jedn. Dz. U. z 2002 r. nr 101, poz. 926) KLIENT - imię i nazwisko - PESEL -> wiek -> płeć - dowód osobisty/paszport -> obywatelstwo - adres zameldowania - adres korespondencyjny - e-mail - telefon kontaktowy - zgoda na przetwarzanie danych w celach marketingowych - zgoda na informację drogą elektroniczną KONTO patrz: Ustawa z dnia 18 lipca 2013 r. o świadczeniu usług drogą elektroniczną (Dz. U. nr 144, poz. 1204 z późn. zm.) - data otwarcia - rodzaj/pakiet -> opłaty i prowizje (TOiP) -> oprocentowanie - waluta - deklaracja wpływów 2013-12-05 (II zajęcia) 3
Informacje w banku 1. zakładam konto w banku 2. potrzebuję karty debetowej KARTA DEBETOWA - data wydania - rodzaj/typ karty - limit transakcji 2013-12-05 (II zajęcia) 4
Informacje w banku 1. zakładam konto w banku 2. potrzebuję karty debetowej 3. oraz dostępu do bankowości elektronicznej BANKOWOŚĆ ELEKTRONICZNA - data uruchomienia - limit transakcji 2013-12-05 (II zajęcia) 5
Informacje w banku 1. zakładam konto w banku 2. potrzebuję karty debetowej 3. oraz dostępu do bankowości elektronicznej 4. na konto wpływa wynagrodzenie/stypendium KONTO - data otwarcia - rodzaj/pakiet -> opłaty i prowizje (TOiP) -> oprocentowanie - waluta - deklaracja wpływów - wpływy - saldo TRANSAKCJA KONTO - data i godzina - kierunek transakcji (winien/ma) - typ transakcji - IBAN drugiej strony - nazwa drugiej strony - adres drugiej strony - tytuł przelewu - kwota - waluta 2013-12-05 (II zajęcia) 6
Informacje w banku 1. zakładam konto w banku 2. potrzebuję karty debetowej 3. oraz dostępu do bankowości elektronicznej 4. na konto wpływa wynagrodzenie/stypendium 5. robię zakupy w sklepie TRANSAKCJA KARTA - data i godzina - nazwa sklepu - adres sklepu - MCC sklepu Źródło: kodymcc.pl 2013-12-05 (II zajęcia) 7
Informacje w banku KLIENT 1. zakładam konto w banku 2. potrzebuję karty debetowej 3. oraz dostępu do bankowości elektronicznej 4. na konto wpływa wynagrodzenie/stypendium 5. robię zakupy w sklepie 6. chcę pożyczyć pieniądze na samochód WNIOSEK - data złożenia - wnioskowany produkt - wnioskowana kwota BIK PRZEDMIOT - rodzaj przedmiotu - wartość - wiek - imię i nazwisko - PESEL -> wiek -> płeć - dowód osobisty/paszport -> obywatelstwo - adres zameldowania - adres korespondencyjny - e-mail - telefon kontaktowy - zgoda na przetwarzanie danych w celach marketingowych - zgoda na informację drogą elektroniczną - wykształcenie - stan cywilny - wysokość zarobków - forma zatrudnienia - miejsce pracy 2013-12-05 (II zajęcia) 8
Informacje w banku 1. zakładam konto w banku 2. potrzebuję karty debetowej 3. oraz dostępu do bankowości elektronicznej 4. na konto wpływa wynagrodzenie/stypendium 5. robię zakupy w sklepie 6. chcę pożyczyć pieniądze na samochód BIURO INFORMACJI KREDYTOWEJ podstawowe inf. o kredytach + historia spłat inf. do BIK wysyłają prawie wszystkie banki i SKOKi BIK posiada inf. o 22 mln osób i 115 mln rachunków BIK każdy z nas może sprawdzić jakie inf. o nas posiada BIK => www.bik.pl/oferta-dla-konsumentow Źródło: BIK 2013-12-05 (II zajęcia) 9
Informacje w banku 1. zakładam konto w banku 2. potrzebuję karty debetowej 3. oraz dostępu do bankowości elektronicznej 4. na konto wpływa wynagrodzenie/stypendium 5. robię zakupy w sklepie 6. chcę pożyczyć pieniądze na samochód 7. dostaję kredyt KREDYT SAMOCHODOWY - data uruchomienia - udzielona kwota - kwota pozostała do spłaty - wielkość najbliższej raty (kapitał + odsetki) - aktualne saldo przeterminowane - aktualna liczba dni przeterminowania 2013-12-05 (II zajęcia) 10
KREDYT HIPOTECZNY KREDYT GOTÓWKOWY LIMIT W KONCIE KONTO OSZCZĘDNOŚCIOWE KARTA KREDYTOWA LOKATY FUNUDUSZE INWESTYCYJNE PRODUKTY STRUKTURYZOWANE KONTAKTY tel sms mail PRODUKTY UBEZPIECZENIOWE 2013-12-05 (II zajęcia) 11
Zagęszczenie danych w bankach Źródło: Boston Consulting Group, za blogiem Macieja Samcika 2013-12-05 (II zajęcia) 12
BIG DATA definicja Źródło: IBM olume ogromny wolumen elocity tempo tworzenia i wykorzystania ariety duże zróżnicowanie / brak struktury eracity niewiadoma wiarygodność 2013-12-05 (II zajęcia) 13
nietypowe dane/analizy analiza sposobu poruszania się po stronie www analiza tekstu analiza wiadomości tekstowych i nagrań głosowych KONTAKTY tel sms mail 2013-12-05 (II zajęcia) 14
BIG DATA w banku implementacja w czerwcu 2013 bank poinformował 13 mln swoich klientów, że ich profile zachowań mogą zostać udostępnione firmom trzecim profile oparte są zarówno o dane dot. transakcji, jak również zdjęcia, rozmowy, inf. geolokalizacyjne oraz historię interakcji klienta z bankiem przez media społecznościowe dane przekazane firmom trzecim będą oczywiście odpersonalizowane i zagregowane Źródło: Rupert Jones, The Guardian 2013-12-05 (II zajęcia) 15
BIG DATA w banku implementacja link do reklamy aplikacji Źródło: Commonwealth Bank 2013-12-05 (II zajęcia) 16
BIG DATA w banku implementacja Źródło: mbank 2013-12-05 (II zajęcia) 17
dedykowany system dedykowany system dedykowany system system centralny dedykowany system KREDYT HIPOTECZNY KONTO OSZCZĘDNOŚCIOWE LOKATY KREDYT GOTÓWKOWY LIMIT W KONCIE KARTA KREDYTOWA dedykowany system FUNUDUSZE INWESTYCYJNE PRODUKTY STRUKTURYZOWANE dedykowany system dedykowany system KONTAKTY tel sms mail PRODUKTY UBEZPIECZENIOWE dedykowany system kontakty serwisowe windykacja sprzedaż 2013-12-05 (II zajęcia) 18
relacyjna baza danych podstawy atrybuty (kolumny) relacja (tabela) KLIENT imię i nazwisko pesel dowód osobisty Jan Jankowski 95050432312 AAJ670855 krotki (wiersze) klucz główny jednoznaczny identyfikator krotki (wiersza) KONTO nr rachunku PESEL właściciela data otwarcia pakiet waluta deklarowane wpływy 76194010766130344900000000 95050432312 2013-12-05 student 24 PLN 500 klucz obcy wskazuje klucz główny w innej tabeli 2013-12-05 (II zajęcia) 19
relacyjna baza danych Structured Query Language (SQL) SELECT * FROM klient SELECT imie_i_nazwisko, dowod_osobisty FROM klient WHERE pesel = '95050432312' INSERT INTO klient (imie_i_nazwisko, pesel) VALUES ('Anna Jankowska', '94023423322') UPDATE klient SET dowod_osobisty = 'ASE213567' WHERE pesel = '94023423322' SELECT DISTINCT pesel FROM klient WHERE imie_i_nazwisko = 'Jan Jankowski' DELETE FROM klient WHERE pesel = '94023423322' SELECT * FROM konto ORDER BY deklarowane_wplywy DESC 2013-12-05 (II zajęcia) 20
relacyjna baza danych popularne rozwiązania DYI PostgreSQL MySQL Oracle Microsoft SQL Server Darmowe wersje profesjonalnych baz danych: Oracle Express link Microsoft SQL Server Express link Kursy, poradniki: w3schools.com link sqlcourse.com link 2013-12-05 (II zajęcia) 21
jak skorzystać z baz danych systemów źródłowych? SYSTEMY ŹRÓDŁOWE system centralny systemy raportowe bankowość elektroniczna wnioski fundusze inwestycyjne ETL HURTOWNIA DANYCH systemy analityczne kontakty serwisowe klient ad-hoc BIK 2013-12-05 (II zajęcia) 22
dlaczego potrzebujemy hurtowni danych? OLTP (on-line transaction processing) nastawienie na zapis danych dużo prostych operacji dane wg stanu aktualnego dane z jednej dziedziny / obszaru OLAP (on-line analytical processing) nastawienie na odczyt danych, analizę mało operacji, ale bardziej skomplikowanych przechowywana historia i agregacje dane przekrojowe HURTOWNIA DANYCH kopia danych z systemów transakcyjnych zoptymalizowana pod kątem ich wykorzystania na potrzeby raportowania i analiz 2013-12-05 (II zajęcia) 23
E T L EXTRACT pobranie danych z systemów źródłowych TRANSFORM weryfikacja i poprawa jakości danych LOAD umieszczenie danych w hurtowni uspójnienie formatów danych i słowników filtrowanie i agregacja wpasowanie danych w docelową strukturę 2013-12-05 (II zajęcia) 24
ETL Wybrani dostawcy: IBM Websphere DataStage Ab Initio Informatica PowerCenter Oracle Warehouse Builder BusinessObjects Data Integrator (BODI) Microsoft SQL Server Integration Services (SSIS) Źródło: IBM 2013-12-05 (II zajęcia) 25
PODSUMOWUJĄC: 1. bank = dane, dane, dane 2. jedynie niewielka część danych jest wykorzystywana 3. pierwsze zastosowania big data w bankowości 4. żeby zrobić użytek z danych potrzebujemy hurtowni danych 5. znajomość SQL jest kluczowa 2013-12-05 (II zajęcia) 26