Wykorzystanie i monitorowanie scoringu

Transkrypt

1 Analiza danych Data mining Sterowanie jakością Analityka przez Internet Wykorzystanie i monitorowanie scoringu Tomasz Sudakowski Biuro Informacji Kredytowej S.A. StatSoft Polska Sp. z o.o. ul. Kraszewskiego Kraków

2 Wykorzystanie i monitorowanie scoringu obszary wykorzystania scoringu w Banku miejsce scoringu w procesie decyzyjnym sposoby ustalania punktu cut-off miary efektywności modelu a oczekiwania Banku monitorowanie modelu scoringowego 2

3 obszary wykorzystania scoringu w Banku Klienci Banku ocena scoringowa prawdopodobieństwo wystąpienia modelowanego zjawiska niskie średnie wysokie 3

4 obszary wykorzystania scoringu w Banku można zatem mówić o scoringu: marketingowym aplikacyjnym behawioralnym kontynuacji kredytowej odejścia klienta przedwindykacyjnym oceny ryzyka kredytowego aplikacyjnym behawioralnym biura kredytowego antyfraudowym 4

5 miejsce scoringu w procesie decyzyjnym Klienci Banku proces decyzyjny reguły scenariusz 1 scenariusz 2 scenariusz 3.. scenariusz n 5

6 miejsce scoringu w procesie decyzyjnym scoring aplikacyjny oceny ryzyka scoring BIK informacja z MIG-BR scoring behawioralny oceny ryzyka scoring marketingowy scoring antyfraudowy raport kredytowy BIK w tym informacja z MIG-BZ i BIG ocena zdolności kredytowej informacja z wewnętrznych baz scoring przedwindykacyjny scoring kontynuacji kredytowej scoring odejścia 6

7 miejsce scoringu w procesie decyzyjnym przykład procesu oceny wniosków kredytowych reguły informacja z MIG-BR informacja z wewnętrznych baz raport kredytowy BIK w tym informacja z MIG-BZ i BIG scoring behawioralny oceny ryzyka / scoring BIK scoring aplikacyjny oceny ryzyka scoring antyfraudowy akceptacja odrzucenie ocena zdolności kredytowej 7

8 miejsce scoringu w procesie decyzyjnym macierze scoringowe ocena punktowa Banku ocena punktowa BIKSco >700 Odds > Odds dobry/zły dobry/zły 8

9 miejsce scoringu w procesie decyzyjnym łączenie modeli wiek staż pracy status zamieszkania ocena punktowa BIKSco >50 brak informacji < >10 brak informacji własne wynajęte z rodzicami służbowe brak informacji =< >450 KKU brak informacji

10 miejsce scoringu w procesie decyzyjnym akcja marketingowa Klienci Banku reguły informacja z wewnętrznych baz oraz MIG-BR, MIG-BZ, BIG raport monitorujący BIK czyszczenie danych reguły / macierze scorinngowe scoring odejścia scoring kontynuacji kredytowej scoring marketingowy scoring ryzyka scoring behawioralny oceny ryzyka / scoring BIK scoring marketingowy 10

11 sposoby ustalania punktu cut-off punkt odcięcia (cut-off) jest to minimalna liczba punktów, która jest wymagana do akceptacji wniosku (klienta) punkt cut-off powinien być ustalony tak, aby: zminimalizować udział złych kredytów w portfelu zapewnić pożądany poziom akceptowalności wniosków maksymalizować zyski scoring oceny ryzyka 11

12 sposoby ustalania punktu cut-off zbyt niski punkt odcięcia zbyt wysoki punkt odcięcia wysoka akceptowalność wniosków niski udział złych kredytów duży udział złych kredytów niższe zyski (ewentualnie strata) z uwagi na dużą liczbę udzielonych złych kredytów brak istotnych zmian w stosunku do sytuacji, kiedy nie jest stosowany scoring niska akceptowalność wniosków niższe zyski z uwagi na dużą liczbę odrzuceń potencjalnie dobrych kredytów 12

13 sposoby ustalania punktu cut-off 25 % rozkład klientów wg punktacji i statusu 20 Cut-off dobry zły % klientów punkty 13

14 sposoby ustalania punktu cut-off 200 rozkład klientów wg punktacji i statusu liczba klientów Cut-off dobry zły punkty 14

15 sposoby ustalania punktu cut-off % akceptowanych klientów wg punktu cut-off 100% 90% 80% 70% Cut-off dobry zły % klientów 60% 50% 40% 30% 20% 10% 0% punkt cut-off 15

16 sposoby ustalania punktu cut-off zysk w zależności od punktu cut-off 300 Cut-off zysk punkt cut-off 16

17 sposoby ustalania punktu cut-off poziom akceptacji oraz udzial złych wśród zaakceptowanych klientów w zależności od punktu cut-off 10% 9% 8% 100% 90% 80% udział złych klientów 7% 6% 5% 4% 3% 70% 60% 50% 40% 30% poziom akceptacji 2% 20% 1% 10% 0% cut-off 125 poziom akceptacji 87% udział złych 7,1% punkt cut-off udział złych 5,0% cut-off 140 poziom akceptacji 69% 0% poziom akceptacji 60% cut-off 146 udział złych 4,5% 17

18 miary efektywności modelu a oczekiwania Banku skumulowany % klientów 100% 80% 60% 40% 20% 0% model 1 model 2 KS=70% punkty dobry zły skumulowany % klientów 100% 80% 60% 40% 20% 0% dobry zły punkty KS=73% skumulowany % klientów 100% 80% 60% 40% 20% 0% model 3 KS=68% punkty dobry zły który model jest najlepszy? 18

19 miary efektywności modelu a oczekiwania Banku skumulowany % klientów 100% 80% 60% 40% 20% 0% model 1 model 2 KS=70% punkty dobry zły poziom akc. skumulowany % klientów 100% 80% 60% 40% 20% 0% dobry zły poziom akc punkty KS=73% skumulowany % klientów 100% 80% 60% 40% 20% 0% model 3 KS=68% punkty dobry zły poziom akc który model jest najlepszy? 19

20 miary efektywności modelu a oczekiwania Banku skumulowany % złych 100% 80% 60% 40% 20% 0% model 1 model 2 0% 20% 40% 60% 80% 100% skumulowany % złych 100% 80% 60% 40% GINI 74% GINI 74% 20% 0% 0% 20% 40% 60% 80% 100% skumulowany % wszystkich skumulowany % wszystkich skumulowany % złych 100% 80% 60% 40% 20% 0% model 3 0% 20% 40% 60% 80% 100% skumulowany % wszystkich GINI 74% który model jest najlepszy? 20

21 miary efektywności modelu a oczekiwania Banku 100% Cut-off skumulowany % złych 80% 60% 40% 20% 0% model 1 model 2 model 3 0% 20% 40% 60% 80% 100% skumulowany % wszystkich 21

22 monitorowanie modelu scoringowego elementy, które mogą wpływać na nieprawidłowe działanie modelu scoringowego lub nieoczekiwane wyniki jego działania to m.in.: istotne zmiany w populacji wnioskodawców zmiana warunków oferowanego produktu wpływ konkurencji zmiana przepisów zewnętrznych zmiana stylu życia klientów zmiana możliwości kredytowania się klientów duży udział przełamań decyzji dezaktualizacja modelu naturalna utrata zdolności prognostycznych modelu działania przestępcze inspektorów kredytowych odtajnienie tablicy scoringowej 22

23 monitorowanie modelu scoringowego WSP punkty stabilność populacji % wniosków z populacji bazowej % wniosków z populacji badanej WSP - współczynnik stabilności populacji , , , , ,010 RAZEM ,050 {[ ln( % badanej / % bazowej) ] ( % badanej % )} = bazowej znaczenie współczynnika WSP: stabilność bez zmian stabilność lekko zachwiana > istotnie zachwiana stabilność populacji 23

24 monitorowanie modelu scoringowego wiek % wniosków z populacji bazowej stabilność cechy % wniosków z populacji badanej [(% badanej bazowej) ] WSC = % punktacja punkty 21 i mniej WSC współczynnik stabilności cechy , , , i więcej ,750 RAZEM X -2,450 wyliczona wartość -2,45 oznacza, że wnioskodawcy z populacji badanej otrzymali średnio za cechę wiek o 2,5 pkt. mniej niż ci z populacji bazowej 0,750 24

25 monitorowanie modelu scoringowego status zatrudnienia na czas określony na czas nieokreślony % wniosków z populacji bazowej stabilność cechy % wniosków z populacji badanej punkty WSC współczynnik stabilności cechy emerytura/renta RAZEM X 0 2 współczynnik stabilności cechy nie zawsze odzwierciedla zmiany w rozkładzie jej wariantów, wskazuje jedynie jak ew. zmiany wpływają na stabilność punktacji uzyskiwanej w całej populacji wnioskodawców 25

26 monitorowanie modelu scoringowego punkty liczba wniosków % akceptacja odrzucenie % akceptacji % przełamań udział złych ,0% ,7% 21,7% 0,0% ,5% ,9% 28,9% 4,2% 120* ,5% ,4% 11,6% 5,0% ,0% ,3% 5,7% 3,2% ,2% ,4% 4,6% 2,9% ,3% ,8% 2,2% 2,4% ,2% ,0% 2,0% 2,0% 180 i więcej ,4% ,7% 1,3% 1,7% RAZEM ,0% ,1% 10,9% 2,9% < cut-off 143 9,5% ,9% 25,9% 2,7% >= cut-off ,5% ,8% 4,2% 2,9% * punkt cut-off = 120 raport końcowych (rzeczywistych) decyzji 26

27 monitorowanie modelu scoringowego siła modelu Cut-off 100% bezwzględne stosowanie punktu odcięcia 100% skumulowany % złych 80% 60% 40% 20% 0% model 3 skumulowany % złych 80% 60% 40% 20% 0% model 3 0% 20% 40% 60% 80% 100% 0% 20% 40% 60% 80% 100% skumulowany % wszystkich skumulowany % wszystkich GINI = 74% GINI = 23% KS = 68% KS = 24% 27

28 monitorowanie modelu scoringowego jak zatem badać utrzymanie zdolności prognostycznych modelu? monitorowanie założonych efektów: poziom akceptacji wniosków docelowy udział złych rentowność akcji kredytowej odpowiednie przygotowanie danych, wykluczenia analogiczne do etapu budowy modelu np.: usunięcie kredytów wyłudzonych wyeliminowanie błędnych danych uwzględnienie powodu niespłacania kredytów pozyskanie danych o wnioskach odrzuconych śledzenie i rejestrowanie zmian mogących mieć wpływ na działanie modelu, w tym zachwianie struktury punktowej w populacji klientów 28

29 monitorowanie portfela kredytów data udz. udział kredytów złych na koniec miesiąca kredytu sie-06 wrz-06 paź-06 lis-06 gru-06 sty-07 lut-07 maj-06 2,5 2,6 3,0 3,6 4,1 5,6 6,8 cze-06 2,1 2,2 2,3 2,5 3,8 4,5 5,9 lip-06-1,8 2,0 2,1 2,3 2,5 2,9 sie ,5 1,8 2,0 2,3 2,6 wrz ,4 1,8 2,1 2,2 paź ,5 1,8 2,3 lis ,3 1,5 gru ,3 sty-07 2,5 2,6 3,0 3,6 4,1 5,6 6,8 czy udzielamy coraz lepszych kredytów? 29

30 monitorowanie portfela kredytów data udz. udział kredytów złych na koniec miesiąca kredytu sie-06 wrz-06 paź-06 lis-06 gru-06 sty-07 lut-07 maj-06 2,5 2,6 3,0 3,6 4,1 5,6 6,8 cze-06 2,1 2,2 2,3 2,5 3,8 4,5 5,9 lip-06-1,8 2,0 2,1 2,3 2,5 2,9 sie ,5 1,8 2,0 2,3 2,6 wrz ,4 1,8 2,1 2,2 paź ,5 1,8 2,3 lis ,3 1,5 gru ,3 sty-07 2,5 2,6 3,0 3,6 4,1 5,6 6,8 czy kredyty z lipca są lepsze od kredytów udzielonych w sierpniu? 30

31 monitorowanie portfela kredytów data udz. udział kredytów złych na koniec miesiąca kredytu sie-06 wrz-06 paź-06 lis-06 gru-06 sty-07 lut-07 maj-06 2,5 2,6 3,0 3,6 4,1 5,6 6,8 cze-06 2,1 2,2 2,3 2,5 3,8 4,5 5,9 lip-06-1,8 2,0 2,1 2,3 2,5 2,9 sie ,5 1,8 2,0 2,3 2,6 wrz ,4 1,8 2,1 2,2 paź ,5 1,8 2,3 lis ,3 1,5 gru ,3 sty-07 2,5 2,6 3,0 3,6 4,1 5,6 6,8 czy kredyty z maja są lepsze od kredytów udzielonych w sierpniu? 31

32 rejestr zdarzeń mogących mieć wpływ na działanie modelu data zdarzenie 2006/02 zmiana punktu cut-off ze 130 na 125 punktów 2006/04 promocja kredytów mieszkaniowych w konkurencyjnym banku 2006/04 zmiana reguł przeglądania wniosków (ręczna ocena wszystkich wnioskodawców z dochodem > 5 000) 2006/09 rozpoczęcie wykorzystywania oceny BIKSco 2006/05 akcja marketingowa list z promocyjną ofertą do klientów, którzy spłacili kredyt w ostatnich miesiącach 2006/07 zmiana oprocentowania kredytów z 10% na 8,5% 2006/08 wprowadzenie nowej metodologii oceny zdolności kredytowej 2006/10 zmiana przepisów zewnętrznych dot. ulgi budowlanej 2006/11 szkolenia inspektorów kredytowych dotyczące wyłudzeń kredytów 32

33 dziękuję za uwagę 33