Analiza danych Data mining Sterowanie jakością Analityka przez Internet Wykorzystanie i monitorowanie scoringu Tomasz Sudakowski Biuro Informacji Kredytowej S.A. StatSoft Polska Sp. z o.o. ul. Kraszewskiego 36 30-110 Kraków www.statsoft.pl
Wykorzystanie i monitorowanie scoringu obszary wykorzystania scoringu w Banku miejsce scoringu w procesie decyzyjnym sposoby ustalania punktu cut-off miary efektywności modelu a oczekiwania Banku monitorowanie modelu scoringowego 2
obszary wykorzystania scoringu w Banku Klienci Banku ocena scoringowa 110-120 120-130 130-140 140-150 150-160 160-170 170-180 180-190 190-200 200-210 prawdopodobieństwo wystąpienia modelowanego zjawiska niskie średnie wysokie 3
obszary wykorzystania scoringu w Banku można zatem mówić o scoringu: marketingowym aplikacyjnym behawioralnym kontynuacji kredytowej odejścia klienta przedwindykacyjnym oceny ryzyka kredytowego aplikacyjnym behawioralnym biura kredytowego antyfraudowym 4
miejsce scoringu w procesie decyzyjnym Klienci Banku proces decyzyjny reguły scenariusz 1 scenariusz 2 scenariusz 3.. scenariusz n 5
miejsce scoringu w procesie decyzyjnym scoring aplikacyjny oceny ryzyka scoring BIK informacja z MIG-BR scoring behawioralny oceny ryzyka scoring marketingowy scoring antyfraudowy raport kredytowy BIK w tym informacja z MIG-BZ i BIG ocena zdolności kredytowej informacja z wewnętrznych baz scoring przedwindykacyjny scoring kontynuacji kredytowej scoring odejścia 6
miejsce scoringu w procesie decyzyjnym przykład procesu oceny wniosków kredytowych reguły informacja z MIG-BR informacja z wewnętrznych baz raport kredytowy BIK w tym informacja z MIG-BZ i BIG scoring behawioralny oceny ryzyka / scoring BIK scoring aplikacyjny oceny ryzyka scoring antyfraudowy akceptacja odrzucenie ocena zdolności kredytowej 7
miejsce scoringu w procesie decyzyjnym macierze scoringowe ocena punktowa Banku ocena punktowa BIKSco 000 400 401 500 501 550 551 600 601 650 651 700 >700 Odds 000 599 1 2 4 6 10 25 50 2 600 629 7 10 20 50 100 5 2 5 630 659 5 10 15 20 50 100 150 10 660 689 10 15 30 50 100 150 250 30 690 719 20 50 100 120 175 250 300 100 720 734 30 70 120 150 250 300 400 250 >735 40 100 200 350 500 600 750 500 Odds dobry/zły 2 10 25 50 100 200 300 dobry/zły 8
miejsce scoringu w procesie decyzyjnym łączenie modeli wiek staż pracy status zamieszkania ocena punktowa BIKSco 18-20 21 30 31 40 41-50 >50 brak informacji 10 15 20 25 20 15 < 1 1 3 4 10 >10 brak informacji 10 15 20 15 10 własne wynajęte z rodzicami służbowe brak informacji 30 15 20 15 20 =< 250 251 350 351 450 >450 KKU brak informacji 0 5 10 20 10 5 9
miejsce scoringu w procesie decyzyjnym akcja marketingowa Klienci Banku reguły informacja z wewnętrznych baz oraz MIG-BR, MIG-BZ, BIG raport monitorujący BIK czyszczenie danych reguły / macierze scorinngowe scoring odejścia scoring kontynuacji kredytowej scoring marketingowy scoring ryzyka 100-120 120-140 140-160 160-180 180-200 200-250 250-300 300-350 350-400 scoring behawioralny oceny ryzyka / scoring BIK scoring marketingowy 10
sposoby ustalania punktu cut-off punkt odcięcia (cut-off) jest to minimalna liczba punktów, która jest wymagana do akceptacji wniosku (klienta) punkt cut-off powinien być ustalony tak, aby: zminimalizować udział złych kredytów w portfelu zapewnić pożądany poziom akceptowalności wniosków maksymalizować zyski scoring oceny ryzyka 11
sposoby ustalania punktu cut-off zbyt niski punkt odcięcia zbyt wysoki punkt odcięcia wysoka akceptowalność wniosków niski udział złych kredytów duży udział złych kredytów niższe zyski (ewentualnie strata) z uwagi na dużą liczbę udzielonych złych kredytów brak istotnych zmian w stosunku do sytuacji, kiedy nie jest stosowany scoring niska akceptowalność wniosków niższe zyski z uwagi na dużą liczbę odrzuceń potencjalnie dobrych kredytów 12
sposoby ustalania punktu cut-off 25 % rozkład klientów wg punktacji i statusu 20 Cut-off dobry zły % klientów 15 10 5 0 100-110 110-120 120-130 130-140 140-150 150-160 160-170 170-180 180-190 190-200 punkty 13
sposoby ustalania punktu cut-off 200 rozkład klientów wg punktacji i statusu liczba klientów 180 160 140 120 100 80 60 40 20 Cut-off dobry zły 0 100-110 110-120 120-130 130-140 140-150 150-160 160-170 170-180 180-190 190-200 punkty 14
sposoby ustalania punktu cut-off % akceptowanych klientów wg punktu cut-off 100% 90% 80% 70% Cut-off dobry zły % klientów 60% 50% 40% 30% 20% 10% 0% 100-110 110-120 120-130 130-140 140-150 150-160 160-170 170-180 180-190 190-200 punkt cut-off 15
sposoby ustalania punktu cut-off zysk w zależności od punktu cut-off 300 Cut-off 200 100 zysk 0-100 100-110 110-120 120-130 130-140 140-150 150-160 160-170 170-180 180-190 190-200 -200-300 punkt cut-off 16
sposoby ustalania punktu cut-off poziom akceptacji oraz udzial złych wśród zaakceptowanych klientów w zależności od punktu cut-off 10% 9% 8% 100% 90% 80% udział złych klientów 7% 6% 5% 4% 3% 70% 60% 50% 40% 30% poziom akceptacji 2% 20% 1% 10% 0% cut-off 125 poziom akceptacji 87% udział złych 7,1% 100-110 110-120 120-130 130-140 140-150 150-160 160-170 170-180 180-190 190-200 punkt cut-off udział złych 5,0% cut-off 140 poziom akceptacji 69% 0% poziom akceptacji 60% cut-off 146 udział złych 4,5% 17
miary efektywności modelu a oczekiwania Banku skumulowany % klientów 100% 80% 60% 40% 20% 0% model 1 model 2 KS=70% 100 120 140 160 180 200 punkty dobry zły skumulowany % klientów 100% 80% 60% 40% 20% 0% dobry zły 100 120 140 160 180 200 punkty KS=73% skumulowany % klientów 100% 80% 60% 40% 20% 0% model 3 KS=68% 100 120 140 160 180 200 punkty dobry zły który model jest najlepszy? 18
miary efektywności modelu a oczekiwania Banku skumulowany % klientów 100% 80% 60% 40% 20% 0% model 1 model 2 KS=70% 100 120 140 160 180 200 punkty dobry zły poziom akc. skumulowany % klientów 100% 80% 60% 40% 20% 0% dobry zły poziom akc 100 120 140 160 180 200 punkty KS=73% skumulowany % klientów 100% 80% 60% 40% 20% 0% model 3 KS=68% 100 120 140 160 180 200 punkty dobry zły poziom akc który model jest najlepszy? 19
miary efektywności modelu a oczekiwania Banku skumulowany % złych 100% 80% 60% 40% 20% 0% model 1 model 2 0% 20% 40% 60% 80% 100% skumulowany % złych 100% 80% 60% 40% GINI 74% GINI 74% 20% 0% 0% 20% 40% 60% 80% 100% skumulowany % wszystkich skumulowany % wszystkich skumulowany % złych 100% 80% 60% 40% 20% 0% model 3 0% 20% 40% 60% 80% 100% skumulowany % wszystkich GINI 74% który model jest najlepszy? 20
miary efektywności modelu a oczekiwania Banku 100% Cut-off skumulowany % złych 80% 60% 40% 20% 0% model 1 model 2 model 3 0% 20% 40% 60% 80% 100% skumulowany % wszystkich 21
monitorowanie modelu scoringowego elementy, które mogą wpływać na nieprawidłowe działanie modelu scoringowego lub nieoczekiwane wyniki jego działania to m.in.: istotne zmiany w populacji wnioskodawców zmiana warunków oferowanego produktu wpływ konkurencji zmiana przepisów zewnętrznych zmiana stylu życia klientów zmiana możliwości kredytowania się klientów duży udział przełamań decyzji dezaktualizacja modelu naturalna utrata zdolności prognostycznych modelu działania przestępcze inspektorów kredytowych odtajnienie tablicy scoringowej 22
monitorowanie modelu scoringowego WSP punkty stabilność populacji % wniosków z populacji bazowej % wniosków z populacji badanej WSP - współczynnik stabilności populacji 110-120 21 17 0,008 120-140 22 21 0,000 140-160 43 44 0,000 160-180 9 15 0,031 180-200 5 3 0,010 RAZEM 100 100 0,050 {[ ln( % badanej / % bazowej) ] ( % badanej % )} = bazowej znaczenie współczynnika WSP: 0-0.1 - stabilność bez zmian 0.1-0.25 - stabilność lekko zachwiana >0.25 - istotnie zachwiana stabilność populacji 23
monitorowanie modelu scoringowego wiek % wniosków z populacji bazowej stabilność cechy % wniosków z populacji badanej [(% badanej bazowej) ] WSC = % punktacja punkty 21 i mniej 10 15 15 WSC współczynnik stabilności cechy 22-29 15 22 25 1,750 30-39 40 38 35-0,700 40-49 20 15 50-2,500 50 i więcej 15 10 35-1,750 RAZEM 100 100 X -2,450 wyliczona wartość -2,45 oznacza, że wnioskodawcy z populacji badanej otrzymali średnio za cechę wiek o 2,5 pkt. mniej niż ci z populacji bazowej 0,750 24
monitorowanie modelu scoringowego status zatrudnienia na czas określony na czas nieokreślony % wniosków z populacji bazowej stabilność cechy % wniosków z populacji badanej punkty 10 20 20 WSC współczynnik stabilności cechy 70 90 40 4 emerytura/renta 20 0 30-6 RAZEM 100 100 X 0 2 współczynnik stabilności cechy nie zawsze odzwierciedla zmiany w rozkładzie jej wariantów, wskazuje jedynie jak ew. zmiany wpływają na stabilność punktacji uzyskiwanej w całej populacji wnioskodawców 25
monitorowanie modelu scoringowego punkty liczba wniosków % akceptacja odrzucenie % akceptacji % przełamań udział złych 100-109 60 4,0% 13 47 21,7% 21,7% 0,0% 110-119 83 5,5% 24 59 28,9% 28,9% 4,2% 120*-129 112 7,5% 99 13 88,4% 11,6% 5,0% 130-139 210 14,0% 198 12 94,3% 5,7% 3,2% 140-149 453 30,2% 432 21 95,4% 4,6% 2,9% 150-169 230 15,3% 225 5 97,8% 2,2% 2,4% 170-179 198 13,2% 194 4 98,0% 2,0% 2,0% 180 i więcej 156 10,4% 154 2 98,7% 1,3% 1,7% RAZEM 1 502 100,0% 1 339 163 89,1% 10,9% 2,9% < cut-off 143 9,5% 37 106 25,9% 25,9% 2,7% >= cut-off 1 359 90,5% 1 302 57 95,8% 4,2% 2,9% * punkt cut-off = 120 raport końcowych (rzeczywistych) decyzji 26
monitorowanie modelu scoringowego siła modelu Cut-off 100% bezwzględne stosowanie punktu odcięcia 100% skumulowany % złych 80% 60% 40% 20% 0% model 3 skumulowany % złych 80% 60% 40% 20% 0% model 3 0% 20% 40% 60% 80% 100% 0% 20% 40% 60% 80% 100% skumulowany % wszystkich skumulowany % wszystkich GINI = 74% GINI = 23% KS = 68% KS = 24% 27
monitorowanie modelu scoringowego jak zatem badać utrzymanie zdolności prognostycznych modelu? monitorowanie założonych efektów: poziom akceptacji wniosków docelowy udział złych rentowność akcji kredytowej odpowiednie przygotowanie danych, wykluczenia analogiczne do etapu budowy modelu np.: usunięcie kredytów wyłudzonych wyeliminowanie błędnych danych uwzględnienie powodu niespłacania kredytów pozyskanie danych o wnioskach odrzuconych śledzenie i rejestrowanie zmian mogących mieć wpływ na działanie modelu, w tym zachwianie struktury punktowej w populacji klientów 28
monitorowanie portfela kredytów data udz. udział kredytów złych na koniec miesiąca kredytu sie-06 wrz-06 paź-06 lis-06 gru-06 sty-07 lut-07 maj-06 2,5 2,6 3,0 3,6 4,1 5,6 6,8 cze-06 2,1 2,2 2,3 2,5 3,8 4,5 5,9 lip-06-1,8 2,0 2,1 2,3 2,5 2,9 sie-06 - - 1,5 1,8 2,0 2,3 2,6 wrz-06 - - - 1,4 1,8 2,1 2,2 paź-06 - - - - 1,5 1,8 2,3 lis-06 - - - - - 1,3 1,5 gru-06 - - - - - - 1,3 sty-07 2,5 2,6 3,0 3,6 4,1 5,6 6,8 czy udzielamy coraz lepszych kredytów? 29
monitorowanie portfela kredytów data udz. udział kredytów złych na koniec miesiąca kredytu sie-06 wrz-06 paź-06 lis-06 gru-06 sty-07 lut-07 maj-06 2,5 2,6 3,0 3,6 4,1 5,6 6,8 cze-06 2,1 2,2 2,3 2,5 3,8 4,5 5,9 lip-06-1,8 2,0 2,1 2,3 2,5 2,9 sie-06 - - 1,5 1,8 2,0 2,3 2,6 wrz-06 - - - 1,4 1,8 2,1 2,2 paź-06 - - - - 1,5 1,8 2,3 lis-06 - - - - - 1,3 1,5 gru-06 - - - - - - 1,3 sty-07 2,5 2,6 3,0 3,6 4,1 5,6 6,8 czy kredyty z lipca są lepsze od kredytów udzielonych w sierpniu? 30
monitorowanie portfela kredytów data udz. udział kredytów złych na koniec miesiąca kredytu sie-06 wrz-06 paź-06 lis-06 gru-06 sty-07 lut-07 maj-06 2,5 2,6 3,0 3,6 4,1 5,6 6,8 cze-06 2,1 2,2 2,3 2,5 3,8 4,5 5,9 lip-06-1,8 2,0 2,1 2,3 2,5 2,9 sie-06 - - 1,5 1,8 2,0 2,3 2,6 wrz-06 - - - 1,4 1,8 2,1 2,2 paź-06 - - - - 1,5 1,8 2,3 lis-06 - - - - - 1,3 1,5 gru-06 - - - - - - 1,3 sty-07 2,5 2,6 3,0 3,6 4,1 5,6 6,8 czy kredyty z maja są lepsze od kredytów udzielonych w sierpniu? 31
rejestr zdarzeń mogących mieć wpływ na działanie modelu data zdarzenie 2006/02 zmiana punktu cut-off ze 130 na 125 punktów 2006/04 promocja kredytów mieszkaniowych w konkurencyjnym banku 2006/04 zmiana reguł przeglądania wniosków (ręczna ocena wszystkich wnioskodawców z dochodem > 5 000) 2006/09 rozpoczęcie wykorzystywania oceny BIKSco 2006/05 akcja marketingowa list z promocyjną ofertą do klientów, którzy spłacili kredyt w ostatnich miesiącach 2006/07 zmiana oprocentowania kredytów z 10% na 8,5% 2006/08 wprowadzenie nowej metodologii oceny zdolności kredytowej 2006/10 zmiana przepisów zewnętrznych dot. ulgi budowlanej 2006/11 szkolenia inspektorów kredytowych dotyczące wyłudzeń kredytów 32
dziękuję za uwagę 33