METODY WYKORZYSTYWANE W ANALIZIE PORÓWNAWCZEJ MODELI OCENY ZAGROŻENIA PRZEDSIĘBIORSTW UPADŁOŚCIĄ

Transkrypt

1 Wydział Zarządzania i Ekonomii Politechniki Gdańskiej sierpień 2004 BŁAŻEJ PRUSAK METODY WYKORZYSTYWANE W ANALIZIE PORÓWNAWCZEJ MODELI OCENY ZAGROŻENIA PRZEDSIĘBIORSTW UPADŁOŚCIĄ 1. WSTĘP Problematyka prognozowania upadłości przedsiębiorstw nie sprowadza się wyłącznie do zbudowania jednego modelu oceny zagrożenia przedsiębiorstw upadkiem i zastosowania jego do przewidywania standingu jednostek gospodarczych. W rzeczywistości zdarza się, że szacuje się kilka modeli. Analitycy często porównują również wyniki osiągane za pomocą zaprojektowanych przez nich modeli z wynikami osiągniętymi, przy wykorzystaniu innych modeli. Powstaje więc problem związany z przeprowadzeniem analizy porównawczej kilku modeli w celu wyboru tego najlepszego. Okazuje się, że w tym przypadku odpowiedź nie zawsze musi być jednoznaczna. Należy bowiem uwzględnić kryteria wyboru modelu spośród grupy wielu modeli. W literaturze przedmiotu wyróżnia się dwa pojęcia, które o tym decydują siła 1 (power) oraz kalibracja (calibration) modelu. Siła (sprawność) modelu określa, jak dobrze model rozdziela dwie grupy przedsiębiorstw, tzn. bankrutów i jednostki niezagrożone upadkiem 2. Uwzględniając to kryterium istotne jest, czy model prawidłowo klasyfikuje obiekty do odpowiedniej grupy przedsiębiorstw. Z punktu widzenia tego kryterium nieważne jest zaś z jakim prawdopodobieństwem ta klasyfikacja następuje. Załóżmy np., że przeprowadzamy analizę porównawczą dwóch modeli A i B, dokonując klasyfikacji tylko jednego przedsiębiorstwa, które jest bankrutem. Model A generuje prawdopodobieństwo upadku na poziomie 0,54, zaś model B odpowiednio 0,95. W przypadku, gdy punkt graniczny dla obydwu modeli jest równy 0,5 okazuje się, że 1 W wielu opracowaniach z zakresu oceny zagrożenia przedsiębiorstw upadłością używa się zamiennie terminu sprawność. 2 R. M. Stein, Benchmarking Default Prediction Models: Pitfalls and Remedies in Model Validation, , s. 1. 1

2 oba modele pozwoliły prawidłowo sklasyfikować przedsiębiorstwo. Dla obydwu modeli ich siła jest identyczna. Widać jednak, że model B wygenerował ten wynik z większym prawdopodobieństwem. Badania tego rodzaju przeprowadza się na dużo większej próbie przedsiębiorstw, ale ten prosty przykład sugeruje, że oprócz siły modelu o wyższości jednego modelu nad drugim może decydować inne kryterium. Tym kryterium jest kalibracja modelu. Określa ona, z jaką siłą oszacowane za pomocą modelu prawdopodobieństwa zgadzają się z rzeczywistym stanem badanej jednostki 3. W tym przypadku decydującą rolę odgrywają wielkości oszacowanych za pomocą modelu prawdopodobieństw wystąpienia prawidłowego stanu badanych obiektów. Im prawdopodobieństwa te są wyższe tym model, z punktu widzenia kryterium jakim jest kalibracja, należy uznać za lepszy. Kalibracja odgrywa szczególną rolę w zarządzaniu ryzykiem oraz w zakresie wyceny walorów finansowych, np. obligacji. Kryterium to wykorzystuje się również w porównywaniu modeli, na podstawie których są budowane ratingi przedsiębiorstw. W tym przypadku wyróżnia się kilka klas ryzyka. Im prawdopodobieństwo upadku przedsiębiorstwa jest wyższe, tym taką jednostkę należy przyporządkować do grupy jednostek o większym ryzyku. Wraz z przyporządkowaniem przedsiębiorstwa do danej klasy ryzyka wiąże się koszt pozyskania środków pieniężnych na rynku, a w przypadku ratingów wewnętrznych banków także wartość tworzonych rezerw. W rzeczywistości podczas porównywania kilku modeli można spotkać się z taką sytuacją, że modele o wyższej kalibracji, charakteryzują się niższą sprawnością i odwrotnie. W takim przypadku o wyborze modelu decyduje jego przeznaczenie, tzn. czy model ma służyć, np. pożyczkodawcom tylko do prognozy podziału pożyczkobiorców na dwie grupy: zagrożonych i niezagrożonych niewypłacalnością, czy też do budowy klas ryzyka pożyczkobiorców. W pierwszym przypadku należy kierować się sprawnością, w drugim zaś kalibracją. Dokonując analizy porównawczej modeli oceny zagrożenia przedsiębiorstw upadłością powinno porównywać się wyniki poszczególnych modeli, uzyskane podczas badania tej samej próby jednostek. Istotne z punktu prowadzonej analizy jest to, żeby obiekty, wchodzące w skład próby badawczej nie były wcześniej wykorzystane do budowy któregoś z porównywanych modeli. W literaturze można spotkać się z licznymi opisami i porównaniami wyników modeli, które uzyskano na podstawie badań zróżnicowanych prób statystycznych przedsiębiorstw. Takie porównania nie prowadzą bezpośrednio do wyłonienia najlepszych modeli, gdyż próby statystyczne, na których przeprowadzano badania różniły się zarówno rozmiarem, przedziałem czasowym oraz rodzajem przedsiębiorstw. W opracowaniach z zakresu ekonometrii, statystyki, teorii informacji można spotkać wiele metod, które wykorzystywane są w analizach porównawczych modeli. Poniżej przedstawiono kilka z nich, które najczęściej stosowane są w analizach porównawczych modeli oceny zagrożenia przedsiębiorstw upadłością w krajach zachodnich (większość z przedstawionych metod znalazła zastosowanie w badaniach prowadzonych przez agencję ratingową Moody s). Do metod tych można zaliczyć: 1. macierz klasyfikacji przedsiębiorstw, 2. iloraz szans, 3. ujęcie graficzne za pomocą krzywej koncentracji CAP lub ROC, 4. wskaźnik dokładności, nazywany również wskaźnikiem Giniego, 5. wskaźnik Briera, 3 Tamże, s. 1. 2

3 6. wskaźnik wiarygodności modelu prognozowania zagrożenia przedsiębiorstw upadłością - L (model) 4, 7. inne, w tym: R-kwadrat McFaddena (pseudo R-kwadrat), R-kwadrat Efrona, R-kwadrat Cragga-Uhlera, R-kwadrat Buse a, miara Aldricha- Nelsona, miara Vealla-Zimmermanna, nowa miara Estreli, skorygowany zliczeniowy R-kwadrat, R-kwadrat Ben-Akivy i Lermana, miara λ Cramera. Metody zawarte w punktach od 1 do 4 służą do oceny sprawności modeli. Wskaźnik Briera oraz wiarygodność modelu [L (model)] pozwalają przeprowadzić analizę porównawczą modeli, z punktu widzenia kryterium kalibracji. Punkt 7 zawiera zbiór miar dopasowania stosowanych w różnych rodzajach modeli, np. w modelach liniowych, logitowych. Ponadto część miar przedstawionych w tym punkcie pozwala ocenić modele z punktu widzenia kryterium porównywalności jakim jest sprawność, a część uwzględnia kalibrację. W badaniach z zakresu prognozowania upadłości przedsiębiorstw szczególne znaczenie przypisuje się metodom zawartym w punktach od 1 do 6. Dlatego poniżej przedstawiona została krótka charakterystyka tych metod. Metody zawarte w punkcie 7 zostały szerzej opisane w książce M. Gruszczyńskiego, pt. Modele i prognozy zmiennych jakościowych w finansach i bankowości Macierz klasyfikacji przedsiębiorstw Macierz klasyfikacji przedsiębiorstw jest najczęściej stosowaną metodą oceny modeli prognozowania upadłości przedsiębiorstw. Idea macierzy została przedstawiona w tabeli nr 1. Sprawność I stopnia określa, jaki procent bankrutów został prawidłowo zaklasyfikowany. Błąd I stopnia określa, jaki procent bankrutów został nieprawidłowo sklasyfikowany. Sprawność II stopnia przedstawia, jaki procent przedsiębiorstw niezagrożonych upadkiem został poprawnie sklasyfikowany. Błąd II stopnia ukazuje, jaki procent przedsiębiorstw niezagrożnych upadkiem nieprawidłowo sklasyfikowano. Sprawność ogólna określa, jaki procent wszystkich przedsiębiorstw został prawidłowo zakwalifikowany przez model. Błąd ogólny przedstawia, jaki procent wszystkich przedsiębiorstw został nieprawidłowo sklasyfikowany przez model. 4 Metodą, na podstawie której można otrzymać podobne wyniki w zakresie analizy porównawczej modeli oceny zagrożenia przedsiębiorstw upadłością co wskaźnik wiarygodności jest wskaźnik entropii. Wskaźniki wyznaczane na podstawie entropii, które są wykorzystywane przez agencję ratingową Moody s zostały opisane, m.in. w pracach: J. Sobehart, S. Keenan, R. Stein, Benchmarking Quantitative Default Risk Models: A Validation Methodology, Algo Research Quaterly, Vol. 4, No. 1/2, March/June 2001, s oraz S. Keenan, J. Sobehart, Performance Measures for Credit Risk Models, Moody s Risk Management Services, 1999, s M. Gruszczyński, Modele i prognozy zmiennych jakościowych w finansach i bankowości, Oficyna Wydawnicza Szkoły Głównej Handlowej, Warszawa 2002, s oraz

4 Tabela 1: Macierz klasyfikacji przedsiębiorstw Rzeczywista przynależność Wyszczególnienie przedsiębiorstw do grupy bankrutów Prognozowana liczba P1 (klasyfikacja bankrutów prawidłowa) Prognozowana liczba NP1 (klasyfikacja przedsiębiorstw nieprawidłowa) niezagrożonych upadkiem Rzeczywista przynależność przedsiębiorstw do grupy jednostek niezagrożonych upadłością NP2 (klasyfikacja nieprawidłowa) P2 (klasyfikacja prawidłowa) P1 P1+ NP1 NP1 100 P1+ NP1 P2 100 P2 + NP2 NP2 100 P2 + NP2 P1+ P2 100 P1+ NP1+ P2 + NP2 NP1+ NP2 100 P1+ NP1+ P2 + NP2 Sprawność I stopnia SP I = Błąd I stopnia B I = % Sprawność II stopnia SP II = % Błąd II stopnia B II = % Sprawność ogólna SP = % Błąd ogólny B = % Oznaczenia: P1 prognozowana liczba bankrutów zaklasyfikowana do grupy przedsiębiorstw upadłych, NP1 - prognozowana liczba niebankrutów zaklasyfikowana do grupy przedsiębiorstw upadłych, P2 prognozowana liczba przedsiębiorstw nieupadłych zaklasyfikowana do grupy przedsiębiorstw nieupadłych, NP2 - prognozowana liczba bankrutów zaklasyfikowana do grupy przedsiębiorstw nieupadłych. Z punktu widzenia instytucji kredytowej większe znaczenie odgrywa błąd I stopnia. Popełnienie tego błędu oznacza udzielenie kredytu niewypłacalnym przedsiębiorstwom, co skutkuje poniesieniem strat. Błąd II stopnia oznacza jedynie odrzucenie wniosku kredytowego przedsiębiorstwa, które byłoby w stanie spłacić kredyt. W tym przypadku 4

5 występuje koszt alternatywny, równy wartości zysku, który mógłby zostać zrealizowany przez instytucję kredytową, gdyby udzielono kredytu. Macierz klasyfikacji stanowi odpowiednią metodę oceny modeli prognozowania upadłości przedsiębiorstw, pod warunkiem, że mniej istotna jest z punktu przeprowadzanej analizy ocena ryzyka zagrożenia przedsiębiorstwa upadłością. Ukazując ten problem w sposób bardziej przejrzysty posłużę się prostym przykładem. Załóżmy, że dwa porównywane modele charakteryzują się identycznymi sprawnościami I i II stopnia. Z punktu widzenia metody macierzy klasyfikacji żaden z nich nie będzie preferowany w porównaniu do drugiego. Jednak okazuje się, że obiekty źle sklasyfikowane przez model, nazwijmy go pierwszy charakteryzowały się niewielkimi odległościami wartości funkcji z-score od punktu granicznego w porównaniu do odległości jakie wystąpiły w przypadku modelu drugiego. Z tego wynika, że model drugi wykazuje lepsze właściwości w procesie prognozowania upadłości niż model pierwszy. Uwzględniając sytuację, w której to modele oceny zagrożenia przedsiębiorstw upadkiem wykorzystywane są do budowy ratingów powyższa wada metody macierzy klasyfikacji odgrywa znaczącą rolę. 3. Iloraz szans Iloraz szans jest miernikiem przedstawiającym podobne możliwości poznawcze w ocenie modeli służących do prognozowania zagrożenia przedsiębiorstw upadkiem, co macierz klasyfikacji. Sprawność modelu można ocenić za pomocą relacji iloczynu liczb poprawnie zaklasyfikowanych obiektów do iloczynu liczb błędnie zaklasyfikowanych jednostek 6. Iloraz szans oblicza się więc według następującego wzoru: (Wzór 1) IS = P1 P2 NP1 NP2 gdzie: IS iloraz szans, P1, P2, NP1, NP2 oznaczenia jak powyżej. Im wyższa wartość ilorazu szans tym model można uważać za lepszy. Wartość ilorazu szans wyższa od 1 oznacza, że klasyfikacja na podstawie modelu jest lepsza od tej, jaką można oczekiwać przy całkiem przypadkowej klasyfikacji 7. Miernik ten charakteryzuje się podobnymi wadami co macierz klasyfikacji. Dodatkowo nie odróżnia on błędów I rodzaju od błędów II rodzaju, co jest istotne z punktu widzenia prowadzonej analizy w zakresie prognozowania upadłości przedsiębiorstw. 4. Współczynnik dokładności i krzywe koncentracji Krzywe koncentracji umożliwiają w sposób graficzny porównanie wyników klasyfikacji przedsiębiorstw uzyskanych za pomocą wielu modeli. Rozróżnia się dwa rodzaje krzywych koncentracji: CAP oraz ROC. Obydwie krzywe dostarczają analogicznych wyników klasyfikacji, ale przedstawiają je w inny sposób. 6 M. Gruszczyński, op. cit., s Tamże, s

6 Aby zbudować krzywą koncentracji CAP należy w pierwszej kolejności uporządkować przedsiębiorstwa według wartości funkcji modelu: od najgorszych do najlepszych wyników, uzyskanych za pomocą określonych modeli. Następnie wyznacza się skumulowany udział przedsiębiorstw w próbie dla każdej obserwacji. W kolejnym etapie należy przyporządkować skumulowanemu udziałowi przedsiębiorstw z całej próby skumulowany udział bankrutów. Idealny model powinien prawidłowo przyporządkować najgorszym wartościom funkcji przedsiębiorstwa uznane za upadłe. Zakładając, np. udział bankrutów w całej próbie na poziomie 10%, to dla idealnego modelu 10% przedsiębiorstw o najgorszych wynikach powinno odpowiadać skumulowanemu udziałowi bankrutów w próbie. Z teoretycznego punktu widzenia najgorsze wyniki klasyfikacji można uzyskać za pomocą modelu przypadkowego. Im krzywa koncentracji dla danego modelu znajduje się bliżej krzywej koncentracji dla modelu idealnego tym wyniki klasyfikacji przedsiębiorstw są lepsze. Na rysunku 1 przedstawiono hipotetyczne krzywe koncentracji dla dwóch modeli A i B. W związku z tym, że krzywa modelu B znajduje się bliżej krzywej koncentracji dla idealnego modelu w porównaniu do krzywej koncentracji reprezentującej model A należy wnioskować, że model B lepiej klasyfikuje przedsiębiorstwa do określonej grupy od modelu A. Model idealny Model badany B Skumulowany udział bankrutów w próbie [%] Model badany A Model przypadkowy Skumulowany udział wszystkich przedsiębiorstw w próbie [%] Rysunek 1: Analiza porównawcza modelu A i B za pomocą krzywej koncentracji CAP 6

7 Krzywa koncentracji ROC w przeciwieństwie do krzywej CAP zakłada, że na osi x zamiast skumulowanej liczby wszystkich przedsiębiorstw należy odłożyć skumulowaną wartość przedsiębiorstw niezagrożonych upadkiem. Pozostałe założenia pozostają takie same dla obydwu krzywych koncentracji. Na podstawie krzywej CAP można uzyskać odpowiedź na pytanie: ile procent przedsiębiorstw, przy wykorzystaniu wyników osiągniętych za pomocą danego modelu trzeba wyłączyć z całej badanej grupy, aby wyłączyć określoną liczbę bankrutów. Krzywa ROC dostarcza zaś odpowiedzi na pytanie: ile procent przedsiębiorstw zdrowych, przy wykorzystaniu wyników osiągniętych za pomocą danego modelu trzeba wyłączyć z grupy jednostek niezagrożonych upadkiem, aby wyłączyć określoną liczbę bankrutów 8. Z obydwu krzywych można bezpośrednio dla danego punktu pośredniego (cut off point) modelu odczytać odpowiednie wartości sprawności lub błędów. Dla krzywej ROC można odczytać zarówno sprawności i błędy I i II stopnia dla danej wartości punktu pośredniego, zaś dla krzywej CAP wyłącznie sprawność i błąd I stopnia. Graficzne ujęcie krzywej CAP oraz ROC przedstawiają rysunki 2 i 3. Krzywe koncentracji, a w szczególności krzywa ROC ma tę przewagę nad macierzą klasyfikacji, że przedstawia ona wyniki klasyfikacji przedsiębiorstw dla wielu punktów pośrednich. Skumulowany udział bankrutów w próbie [%] B I 80 B II SP I SP II 40 Skumulowany udział przedsiębiorstw zdrowych w próbie [%] Rysunek 2: Krzywa koncentracji ROC Źródło: R. Stein, op. cit., s R. M. Stein, op. cit., s. 4. 7

8 Skumulowany udział bankrutów w próbie [%] B I 80 SP I 40 Skumulowany udział wszystkich przedsiębiorstw w próbie [%] Rysunek 3: Krzywa koncentracji CAP Miernikiem, za pomocą którego można porównywać modele oceny zagrożenia przedsiębiorstw upadłością jest wskaźnik dokładności (accuracy ratio), zwany również wskaźnikiem Giniego 9. Wskaźnik ten można wyznaczyć zarówno na podstawie krzywej koncentracji CAP jaki i krzywej koncentracji ROC. Miernik ten oblicza się na podstawie informacji wykorzystywanych do budowy krzywej koncentracji. Według pierwotnej formuły wyznacza się go dla krzywej koncentracji CAP w sposób następujący: (Wzór 2) obszar A WD = obszar A + obszar B + obszar C WD wskaźnik dokładności. Obszary określone we wzorze literami A, B, C, odpowiadają obszarom zaznaczonym na rysunku 4. Obszar A został wyróżniony kolorem szarym, obszar B kolorem żółtym, zaś obszar C kolorem błękitnym. Wartość wskaźnika dokładności może oscylować w 9 Zob. np. P. Escott, F. Glormann, A. E. Kocagil, Moody s RiskCalc CM für nicht börsennotierte Unternehmen: das deutsche Modell, Moody s Investors Service, November 2001, s

9 granicach od 0 do 1, przy czym im wyższa wartość miernika tym model lepiej prognozuje upadłość przedsiębiorstw. W sytuacji rzeczywistej, w zakresie badania zagrożenia przedsiębiorstw upadłością za pomocą odpowiednich modeli, wartość miernika wyznaczana zgodnie z powyższą formułą nigdy nie osiągnie jedności. Związane jest to z tym, że badając efektywność modeli prognozujących upadłość przedsiębiorstw na podstawie próby testowej znany jest jej rozkład, tzn. z ilu bankrutów oraz z ilu przedsiębiorstw niezagrożonych upadłością się ona składa. W związku z tym otrzymujemy linię ograniczenia, która odpowiada na rysunku 4 modelowi idealnemu. Przebieg linii ograniczenia uzależniony jest od liczebności bankrutów w badanej zbiorowości. Im większa liczebność bankrutów w próbie tym kąt nachylenia linii ograniczenia względem osi odciętych układu współrzędnych będzie mniejszy. Model idealny Model badany Skumulowany udział bankrutów w próbie [%] C B A Model przypadkowy Skumulowany udział wszystkich przedsiębiorstw w próbie [%] Rysunek 4: Wykorzystanie krzywej koncentracji CAP do oceny modeli prognozowania bankructwa przedsiębiorstw Wykorzystując powyższą formułę wskaźnika dokładności w analizie porównawczej modeli wpływ występowania ograniczenia nie odgrywa znaczącej roli, pod warunkiem, że porównywane są wyniki uzyskiwane za pomocą modeli, które otrzymano podczas klasyfikacji tej samej próby badawczej jednostek. Problem pojawia się jednak wówczas, gdy chcemy porównać wyniki uzyskane w kilku różnych badaniach, a próby statystyczne w poszczególnych badaniach różnią się udziałem bankrutów. Wówczas linia ograniczenia dla poszczególnych prób badawczych przebiega inaczej. W takim przypadku można zaproponować inną formułę wyznaczania wskaźnika dokładności tzw. zmodyfikowany wskaźnik dokładności. 9

10 ZWD = obszar A obszar A + obszar B (Wzór 3) gdzie: ZWD zmodyfikowany wskaźnik dokładności. Pomiędzy wskaźnikiem dokładności i zmodyfikowanym wskaźnikiem dokładności występuje następująca zależność, która umożliwia wzajemne przeliczanie obydwu mierników: (Wzór 4) WD ZWD = 1- c gdzie: ZWD zmodyfikowany wskaźnik dokładności, WD wskaźnik dokładności, c udział bankrutów w badanej zbiorowości przedsiębiorstw. Dla krzywej koncentracji ROC wskaźnik dokładności wyznacza się jedynie według następującej formuły: (Wzór 5) WD = obszar A obszar A + obszar B WD wskaźnik dokładności. Sytuacja taka ma miejsce, gdyż w przypadku krzywej koncentracji ROC nie występuje żadne ograniczenie w przeciwieństwie do krzywej koncentracji CAP. Obszar A wykorzystany we wzorze 5 stanowi pole zaznaczone na rysunku 5 kolorem szarym, zaś obszar B pole zaznaczone kolorem błękitnym. Krzywa koncentracji ROC dla modelu idealnego, tzn. takiego, który pozwoliłby przewidzieć sytuację przedsiębiorstw bez popełnienia żadnego błędu jest odzwierciedleniem linii czerwonej. Oznacza to, że wszystkie przedsiębiorstwa zdrowe charakteryzują się wyższymi wartościami funkcji z- score w porównaniu do wartości z-score bankrutów. Wartość wskaźnika dokładności w tym przypadku będzie mieściła się w przedziale <0,1>, przy czym im wyższa jest jego wartość tym model należy ocenić pozytywniej. Dla modelu przypadkowego wskaźnik dokładności równa się 0, zaś model idealny generuje wartość 1. Podczas porównywania kilku modeli należy ocenić lepiej te modele, których krzywe koncentracji znajdują się bliżej krzywej koncentracji dla modelu idealnego 10

11 Model idealny Model badany Skumulowany udział bankrutów w próbie [%] B A Model przypadkowy Skumulowany udział przedsiębiorstw zdrowych w próbie [%] Rysunek 5: Wykorzystanie krzywej koncentracji ROC do oceny modeli prognozowania bankructwa przedsiębiorstw Krzywe koncentracji i wskaźnik dokładności umożliwiają w sposób prosty i przejrzysty porównanie wyników klasyfikacji obiektów do odpowiednich grup, za pomocą modeli oceny zagrożenia przedsiębiorstw upadłością. Podobnie jednak, jak w przypadku macierzy klasyfikacji metody te nie uwzględniają możliwości porównania między modelami różnic odległości wartości funkcji z-score źle sklasyfikowanych jednostek od wartości granicznej. Ponadto mogą wystąpić problemy z porównaniem wyników uzyskanych dzięki wykorzystaniu kilku modeli w momencie, gdy krzywe koncentracji poszczególnych modeli będą się przecinały. 5. Wskaźnik Briera Miernik Briera (BS - Brier Score) był i jest w szczególności wykorzystywany w medycynie i meteorologii. Można go również zastosować w analizie porównawczej 11

12 modeli służących do prognozowania upadłości przedsiębiorstw 10. Wyznacza się go według następującej formuły 11 : (Wzór 6) 1 n 2 BS= (θ i- p i) n i gdzie: n liczba obserwacji w próbie, θ i zmienna zero-jedynkowa, na podstawie której przypisuje się przedsiębiorstwu cyfrę 1, w przypadku gdy jest ono w rzeczywistości bankrutem oraz cyfrę 0, gdy jest niezagrożone upadkiem, p i oszacowane prawdopodobieństwo upadku przedsiębiorstwa, zarówno dla jednostek będących w rzeczywistości bankrutami, jak i przedsiębiorstw niezagrożonych upadłością, i poszczególne obserwacje. Porównując modele oceny zagrożenia przedsiębiorstw upadkiem za pomocą miernika Briera, lepsze wyniki klasyfikacji uzyskuje się przy niższych wartościach tego miernika. Zdolność modeli w zakresie oceny zagrożenia przedsiębiorstw upadkiem można również porównywać z miernikiem Briera obliczonym dla prognozy przypadkowej (PBS). W tym celu zakłada się, że prawdopodobieństwo określenia stanu upadku przedsiębiorstwa jest równe przeciętnemu udziałowi bankrutów w badanej próbie. Miernik Briera dla prognozy przypadkowej (PBS) wyznacza się przy wykorzystaniu następującego wzoru: (Wzór 7) PBS 1 n 2 2 [ n 1 (ADF -1) + n 0) DEF 0 (ADF - ] DEF = = = gdzie: n liczba obserwacji w próbie, n DEF=1 rzeczywista liczba bankrutów w próbie, n DEF=0 rzeczywista liczba przedsiębiorstw niezagrożonych upadkiem w próbie, ADF przeciętne prawdopodobieństwo upadku przedsiębiorstwa wyznaczone dla danej próby badawczej (prawdopodobieństwo to jest równoznaczne udziałowi bankrutów w badanej zbiorowości wszystkich przedsiębiorstw). Im niższa wartość miernika Briera dla danego modelu w porównaniu do wartości miernika Briera ustalonego dla prognozy przypadkowej, tym taki model należy ocenić pozytywniej. 10 G. W. Brier, Verification of Forecasts Expressed in Terms of Probability, Monthly Weather Review 78, 1-3 podano za J. Grunert, L. Norden, M. Weber, The Role of Non-financial Factors in Internal Credit Ratings, s J. Grunert, L. Norden, M. Weber, op. cit., s

13 Uwzględniając wartości mierników BS dla danych modeli oraz miernik Briera dla prognozy przypadkowej (PBS) można zaproponować budowę wskaźnika, który pozwoliłby porównać wyniki uzyskiwane przez modele, w przypadku gdy próby badawcze różnią się udziałem bankrutów w łącznej liczbie przedsiębiorstw. Wskaźnik ten nosi nazwę: zmodyfikowany miernik Briera (WBS) i oblicza się go następująco: ZBS = 1- BS PBS gdzie: ZBS zmodyfikowany miernik Briera, BS wskaźnik Briera wyznaczony dla badanego modelu, PBS wskaźnik Briera dla prognozy przypadkowej. (Wzór 7) Wskaźnik ZBS powinno się wyznaczać tylko dla celów poglądowych, w przypadku gdy porównywane są wyniki uzyskane na podstawie badań przeprowadzonych przy wykorzystaniu prób testowych o różnym udziale bankrutów w łącznej liczbie przedsiębiorstw. Wartość tego miernika może być zawarta w przedziale od 0 do 1, przy czym im wartość jest bliższa 1 tym model należy ocenić lepiej. Trzeba być jednak świadomym tego, że porównywanie wyników modeli uzyskanych na podstawie różnych prób testowych za pomocą tego miernika nie bierze pod uwagę zróżnicowania pod względem struktury branżowej oraz wiekowej badanych przedsiębiorstw. Ponadto porównywanie wyników badań przeprowadzonych na podstawie prób badawczych różniących się liczebnością jest obarczone znacznym błędem, gdyż miernik ten może, np. generować wyższą wartość w przypadku wyników badań przeprowadzonych na małej próbie w stosunku do wyników badań uzyskanych na większej próbie. Nie musi to jednak oznaczać, że model opracowany i przetestowany na małej próbie będzie lepszy od modelu przetestowanego na dużej próbie przedsiębiorstw. Wyniki uzyskiwane na większej próbie przedsiębiorstw należy bowiem traktować jako bardziej wiarygodne. Wskaźnik Briera w porównaniu do macierzy klasyfikacji, ilorazu szans oraz współczynnika dokładności jest bardziej wrażliwy, jeżeli chodzi o poziom szacowanych wartości prawdopodobieństwa. Uwzględnia on w sposób bezpośredni szacowane wartości prawdopodobieństwa w przeciwieństwie do wcześniej opisanych metod 12. Można go jednak tylko stosować w przypadku wykorzystania metod, za pomocą których wyznacza się szacowane prawdopodobieństwo wystąpienia jednego ze stanów, np. w modelach logitowych. 6. Wskaźnik wiarygodności modelu prognozowania zagrożenia przedsiębiorstw upadłością L (model) 13 W przypadku modeli oceny zagrożenia przedsiębiorstw upadłością występują dwa prognozowane stany, albo model generuje wartość, na podstawie której 12 J. Grunert, L. Norden, M. Weber, op. cit., s Ten podpunkt został opracowany na podstawie R. Stein, op. cit., s

14 przedsiębiorstwo kwalifikuje się do bankrutów, albo do przedsiębiorstw zdrowych. Oszacowane prawdopodobieństwo wystąpienia określonego stanu Y, przy danych wartościach zmiennych objaśniających (najczęściej wskaźników finansowych) X - [P(Y/X)], można wyznaczyć w sposób następujący: P (Y/X) Y = P(X) [ 1 P(X)] 1-Y (Wzór 8) gdzie: P(X) prawdopodobieństwo upadłości oszacowane za pomocą modelu, przy danych wartościach zmiennych objaśniających X, Y zmienna zero-jedynkowa opisana w sposób następujący: 1, jeżeli przedsiębiorstwo jest w rzeczywistości bankrutem Y = 0, jeżeli przedsiębiorstwo jest w rzeczywistości niezagrożone upadkiem W związku z tym, że Y lub 1-Y muszą być dla każdego badanego obiektu równe 0 to prawdopodobieństwo P(Y/X) dla danego obiektu będzie równe P(X), wówczas, gdy mamy do czynienia z bankrutem oraz 1-P(X), gdy przedsiębiorstwo jest niezagrożone upadkiem. Oznacza to sytuację, w której wyższa wartość oszacowanego na podstawie modelu prawdopodobieństwa wystąpienia rzeczywistego stanu badanej jednostki odpowiada wyższej wartości P(Y/X). W celu przeprowadzenia analizy porównawczej kilku modeli można za pomocą nich wyznaczyć prawdopodobieństwa P(Y/X) dla każdego z przedsiębiorstw, wchodzących w skład rozpatrywanej próby badawczej. Następnie wyznacza się miernik, zwany wskaźnikiem wiarygodności modelu L (model) (likelihood of the model), zgodnie z poniższym wzorem: (Wzór 9) L (model) = n i= 1 P(Y/X i i) gdzie: n łączna liczba obserwacji, i poszczególne obserwacje, P(Y i /X i ) oszacowane prawdopodobieństwo wystąpienia określonego stanu, przy danych wartościach zmiennych objaśniających X i, wyznaczone dla i-tej obserwacji. Na podstawie wskaźnika wiarygodności modelu [L (model)] można wyznaczyć najlepszy model z punktu widzenia kryterium, jakim jest kalibracja. Model będzie charakteryzował się korzystniejszą kalibracją, wówczas gdy wartość wskaźnika wiarygodności modelu będzie wyższa. Miernik wiarygodności modelu można 14

15 wyłącznie stosować w analizach porównawczych modeli. Wartość tego miernika uzależniona jest od liczby obserwacji. Dlatego miernik ten wykorzystuje się wówczas, gdy przeprowadza się analizę porównawczą modeli, na podstawie wyników uzyskanych na tej samej próbie badawczej. Przykład 1 Poniższy przykład przedstawia sposób wyznaczania opisanych w tym podrozdziale mierników, które zostały wykorzystane w analizie porównawczej dwóch modeli oceny zagrożenia przedsiębiorstw upadłością: modelu A i B. Obydwa modele są modelami logitowymi, o punktach pośrednich równych 0,5; przy czym im mniejsza wartość funkcji tym zagrożenie upadkiem jest większe. Oznacza to, że dla wartości funkcji poniżej 0,5 modele klasyfikują przedsiębiorstwa do grupy jednostek zagrożonych upadkiem, zaś dla wartości powyżej 0,5 do grupy przedsiębiorstw niezagrożonych upadłością. Tabele 3 i 4 przedstawiają informacje niezbędne do przeprowadzenia analizy porównawczej modeli za pomocą wybranych mierników. Poszczególnym przedsiębiorstwom przypisano cyfrę od 1 do 50. Próba badawcza przedsiębiorstw składa się z 40 jednostek niezagrożonych upadkiem oraz 10 bankrutów. Poniżej przedstawiono obliczenia poszczególnych mierników, umożliwiające porównanie dwóch modeli. Tabela 2: Macierz klasyfikacji przedsiębiorstw - model A Wyszczególnienie Rzeczywista przynależność przedsiębiorstw do grupy bankrutów Rzeczywista przynależność przedsiębiorstw do grupy jednostek niezagrożonych upadłością Prognozowana liczba bankrutów 6 2 Prognozowana liczba przedsiębiorstw niezagrożonych upadkiem 4 38 Sprawność I stopnia 60% Błąd I stopnia 40% Sprawność II stopnia 95% Błąd II stopnia 5% Sprawność ogólna 88% Błąd ogólny 12% Iloraz szans dla modelu A wynosi 28,5 i został on wyznaczony w sposób następujący: IS 6 38 =

16 Tabela 3: Wyniki klasyfikacji przedsiębiorstw przeprowadzone za pomocą modelu A Numer przedsiębiorstwa Rzeczywista przynależność do grupy 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem Wartość funkcji model A Prawdopodobieństwo upadku model A Prognozowana przynależność do grupy - model A Skumulowany 1-bankrut, udział przedsiębiorstw 0-przedsiębiorstwo niezagrożone [%] upadkiem Skumulowany udział przedsiębiorstw zdrowych [%] Skumulowany udział bankrutów [%] % 0,00% 0% 1 1 0,14 0,86 1 2% 0,00% 10% 2 1 0,14 0,86 1 4% 0,00% 20% 3 1 0,23 0,77 1 6% 0,00% 30% 4 0 0,25 0,75 1 8% 2,50% 30% 5 1 0,34 0, % 2,50% 40% 6 1 0,34 0, % 2,50% 50% 7 1 0,45 0, % 2,50% 60% 8 0 0,53 0, % 5,00% 60% 9 0 0,53 0, % 7,50% 60% ,54 0, % 10,00% 60% ,54 0, % 12,50% 60% ,56 0, % 15,00% 60% ,56 0, % 15,00% 70% ,57 0, % 17,50% 70% ,57 0, % 20,00% 70% ,57 0, % 22,50% 70% ,62 0, % 22,50% 80% ,62 0, % 25,00% 80% ,63 0, % 27,50% 80% ,64 0, % 30,00% 80% ,67 0, % 32,50% 80% ,67 0, % 32,50% 90% ,67 0, % 35,00% 90% ,73 0, % 37,50% 90% ,73 0, % 40,00% 90% ,73 0, % 42,50% 90% ,74 0, % 42,50% 16

17 28 0 0,74 0, % 45,00% ,76 0, % 47,50% ,76 0, % 50,00% ,76 0, % 52,50% ,78 0, % 55,00% ,79 0, % 57,50% ,82 0, % 60,00% ,83 0, % 62,50% ,83 0, % 65,00% ,83 0, % 67,50% ,83 0, % 70,00% ,84 0, % 72,50% ,85 0, % 75,00% ,86 0, % 77,50% ,87 0, % 80,00% ,87 0, % 82,50% ,87 0, % 85,00% ,89 0, % 87,50% ,92 0, % 90,00% ,92 0, % 92,50% ,93 0, % 95,00% ,94 0, % 97,50% ,95 0,

18 Tabela 4: Wyniki klasyfikacji przedsiębiorstw przeprowadzone za pomocą modelu B Numer przedsiębiorstwa Rzeczywista przynależność do grupy 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem Wartość funkcji model B Prawdopodobieństwo upadku model B Prognozowana przynależność do grupy model B 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem Skumulowany udział przedsiębiorstw [%] Skumulowany udział przedsiębiorstw zdrowych [%] Skumulowany udział bankrutów [%] % 0,00% 0% 1 1 0,07 0,93 1 2% 0,00% 10% 3 1 0,12 0,88 1 4% 0,00% 20% ,21 0,79 1 6% 0,00% 30% 7 1 0,32 0,68 1 8% 0,00% 40% 6 1 0,36 0, % 0,00% 50% ,42 0, % 2,50% 50% ,45 0, % 2,50% 60% ,46 0, % 2,50% 70% 9 0 0,46 0, % 5,00% 70% ,47 0, % 5,00% 80% 4 0 0,51 0, % 7,50% 80% ,53 0, % 10,00% 80% ,54 0, % 12,50% 80% ,55 0, % 15,00% 80% 2 1 0,55 0, % 15,00% 90% 5 1 0,58 0, % 15,00% 8 0 0,59 0, % 17,50% ,61 0, % 20,00% ,64 0, % 22,50% ,65 0, % 25,00% ,67 0, % 27,50% ,67 0, % 30,00% ,68 0, % 32,50% ,7 0,3 0 48% 35,00% ,71 0, % 37,50% 18

19 24 0 0,72 0, % 40,00% ,72 0, % 42,50% ,76 0, % 45,00% ,76 0, % 47,50% ,77 0, % 50,00% ,79 0, % 52,50% ,8 0,2 0 64% 55,00% ,81 0, % 57,50% ,82 0, % 60,00% ,83 0, % 62,50% ,85 0, % 65,00% ,85 0, % 67,50% ,86 0, % 70,00% ,87 0, % 72,50% ,87 0, % 75,00% ,88 0, % 77,50% ,89 0, % 80,00% ,9 0,1 0 86% 82,50% ,91 0, % 85,00% ,91 0, % 87,50% ,92 0, % 90,00% ,93 0, % 92,50% ,94 0, % 95,00% ,95 0, % 97,50% ,96 0,

20 Tabela 5: Macierz klasyfikacji przedsiębiorstw - model B Wyszczególnienie Rzeczywista przynależność przedsiębiorstw do grupy bankrutów Rzeczywista przynależność przedsiębiorstw do grupy jednostek niezagrożonych upadłością Prognozowana liczba bankrutów 8 2 Prognozowana liczba przedsiębiorstw niezagrożonych upadkiem 2 38 Sprawność I stopnia 80% Błąd I stopnia 20% Sprawność II stopnia 95% Błąd II stopnia 5% Sprawność ogólna 92% Błąd ogólny 8% Iloraz szans dla modelu B wynosi 76 i został on wyznaczony w sposób następujący: IS 8 38 = 2 2 Współczynnik dokładności dla modelu A, przy uwzględnieniu krzywej koncentracji CAP wyniósł: 0,322 WD = = 0,5 0,644 gdzie: 0,322 wartość pola figury poniżej krzywej koncentracji CAP dla modelu A oraz powyżej linii koncentracji dla modelu przypadkowego. Zmodyfikowany współczynnik dokładności dla modelu A równa się: 0,644 ZWD = = 0, ,2 gdzie: 0,644 współczynnik dokładności, 0,2 udział bankrutów w badanej próbie przedsiębiorstw. Analogicznie dla modelu B współczynnik dokładności oraz zmodyfikowany współczynnik dokładności zostały wyznaczone w sposób następujący: 20

21 gdzie: 0,368 WD = = 0,736 0,5 0,368 wartość pola figury poniżej krzywej koncentracji dla modelu B oraz powyżej linii koncentracji dla modelu przypadkowego 0,736 ZWD = = 0,92 1-0,2 gdzie: 0,736 współczynnik dokładności, 0,2 udział bankrutów w badanej próbie przedsiębiorstw. 90% Skumulowany udział bankrutów [%] 80% 70% 60% 50% 40% 30% 20% 10% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% Skumulowany udział wszystkich przedsiębiorstw [%] Model A Model B Model idealny Model przypadkow y Rysunek 6: Analiza porównawcza modeli A i B, przeprowadzona za pomocą krzywych koncentracji CAP Uwzględniając ocenę modeli na podstawie krzywej koncentracji ROC wskaźniki dokładności wyniosły odpowiednio: 0,38 WD = 0,5 dla modelu A - = 0,76 21

22 gdzie: 0,38 wartość pola figury poniżej krzywej koncentracji ROC dla modelu A oraz powyżej linii koncentracji dla modelu przypadkowego. 0,46 WD = 0,5 dla modelu B - = 0,92 gdzie: 0,46 wartość pola figury poniżej krzywej koncentracji ROC dla modelu B oraz powyżej linii koncentracji dla modelu przypadkowego. Skumulowany udział bankrutów [%] 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 0,00% 10,00% 20,00% 30,00% 40,00% 50,00% 60,00% 70,00% 80,00% 90,00% 100,00% Skumulowany udział przedsiębiorstw zdrowych [%] Model A Model B Model idealny Model przypadkowy Rysunek 7: Analiza porównawcza modeli A i B, przeprowadzona za pomocą krzywych koncentracji ROC Zarówno krzywe koncentracji CAP, jak i ROC wskazują na wyższość modelu B względem modelu A, gdyż krzywe dla modelu B w obydwu przypadkach są bliżej położone w stosunku do krzywej modelu idealnego. Kolejnym miernikiem przedstawionym w tym opracowaniu jest miernik Briera. Miernik Briera dla prognozy przypadkowej w rozpatrywanym przykładzie równa się 0,16 (należy przyjąć przeciętne prawdopodobieństwo upadku na poziomie 0,2). Wyznaczając na podstawie tabeli 7 miernik Briera dla obydwu modeli, uzyskano wartość 0,1184 dla modelu A oraz wartość 0,0963 dla modelu B. Różnica między 22

23 miernikiem Briera wyznaczonym dla prognozy przypadkowej a miernikiem Briera wyznaczonym dla danego modelu jest większa w przypadku modelu B i wynosi 0,0637. Dla modelu A ta różnica równa się 0,0452. Ostatnim miernikiem wykorzystanym w analizie porównawczej modeli jest wskaźnik wiarygodności modelu, który dla modelu A wynosi 0, , zaś dla modelu B 0, (tabela 8). W tabeli 6 zestawiono poszczególne wartości mierników wykorzystanych w analizie porównawczej modeli. Tabela 6: Zestawienie poszczególnych mierników wykorzystanych w przeprowadzonej analizie porównawczej modeli oceny zagrożenia przedsiębiorstw upadłością MIERNIKI MODEL A MODEL B Sprawność I stopnia 60% 80% Sprawność II stopnia 95% 95% Sprawność ogólna 88% 92% Iloraz szans 28,5 76 Współczynnik dokładności wyznaczony na podstawie krzywej koncentracji CAP 0,644 0,736 Zmodyfikowany współczynnik dokładności wyznaczony na podstawie 0,805 0,920 krzywej koncentracji CAP Współczynnik dokładności wyznaczony na podstawie krzywej koncentracji ROC 0,760 0,920 Miernik Briera 0,1184 0,0963 Wskaźnik wiarygodności modelu L (model) 0, , Kierując się wynikami zawartymi w tabeli 6 oraz na podstawie rysunków 6 i 7 można zauważyć, że model B osiąga lepsze wyniki od modelu A, niezależnie czy pod uwagę weźmiemy mierniki określające siłę modelu, tzn. sprawności modelu, iloraz szans oraz współczynniki dokładności, czy też mierniki świadczące o kalibracji modelu, tzn. miernik Briera i wskaźnik wiarygodności modelu. 23

24 Tabela 7: Wyznaczenie wskaźników Briera dla modeli A i B Numer przedsiębiorstwa Model A Rzeczywista przynależność do grupy 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem Prawdopodobieństwo upadku model A (θ - 2 i p i) Numer przedsiębiorstwa Rzeczywista przynależność do grupy 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem Model B Prawdopodobieństwo upadku model B (θ - 2 i p i) 1 1 0,86 0, ,93 0, ,86 0, ,88 0, ,77 0, ,79 0, ,75 0, ,68 0, ,66 0, ,64 0, ,66 0, ,58 0, ,55 0, ,55 0, ,51 0, ,54 0, ,47 0, ,54 0, ,46 0, ,53 0, ,46 0, ,49 0, ,44 0, ,47 0, ,44 0, ,46 0, ,43 0, ,45 0, ,43 0, ,45 0, ,43 0, ,42 0, ,38 0, ,41 0, ,38 0, ,39 0, ,37 0, ,36 0, ,36 0, ,35 0, ,33 0, ,33 0, ,33 0, ,33 0, ,33 0, ,32 0, ,27 0, ,3 0, ,27 0, ,29 0, ,27 0, ,28 0, ,26 0, ,28 0, ,26 0, ,24 0,

25 29 0 0,24 0, ,24 0, ,24 0, ,23 0, ,24 0, ,21 0, ,22 0, ,2 0, ,21 0, ,19 0, ,18 0, ,18 0, ,17 0, ,17 0, ,17 0, ,15 0, ,17 0, ,15 0, ,17 0, ,14 0, ,16 0, ,13 0, ,15 0, ,13 0, ,14 0, ,12 0, ,13 0, ,11 0, ,13 0, ,1 0, ,13 0, ,09 0, ,11 0, ,09 0, ,08 0, ,08 0, ,08 0, ,07 0, ,07 0, ,06 0, ,06 0, ,05 0, ,05 0, ,04 0,0016 SUMA 5,92 SUMA 4,815 Wskaźnik Briera 0,1184 Wskaźnik Briera 0,

26 Tabela 8: Wyznaczenie wskaźnika wiarygodności modelu [L (model)] dla modelu A Numer przedsiębiorstwa Rzeczywista przynależność do grupy 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem Wartość funkcji model A Prawdopodobieństwo upadku model A Prognozowana przynależność do grupy - model A 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem Y P(X) 1-Y [1 P(X)] Y P(X) [1 1-Y P(X)] 4 0 0,25 0, ,25 0, ,49 0, ,49 0, ,53 0, ,53 0, ,54 0, ,54 0, ,54 0, ,54 0, ,56 0, ,56 0, ,57 0, ,57 0, ,57 0, ,57 0, ,57 0, ,57 0, ,62 0, ,62 0, ,63 0, ,63 0, ,64 0, ,64 0, ,67 0, ,67 0, ,67 0, ,67 0, ,73 0, ,73 0, ,73 0, ,73 0, ,73 0, ,73 0, ,74 0, ,74 0, ,76 0, ,76 0, ,76 0, ,76 0, ,76 0, ,76 0, ,78 0, ,78 0, ,79 0, ,79 0, ,82 0, ,82 0, ,83 0, ,83 0, ,83 0, ,83 0,83 26

27 ,83 0, ,83 0,83 0 0,83 0, ,83 0,83 0 0,84 0, ,84 0,84 0 0,85 0, ,85 0,85 0 0,86 0, ,86 0,86 0 0,87 0, ,87 0,87 0 0,87 0, ,87 0,87 0 0,87 0, ,87 0,87 0 0,89 0, ,89 0,89 0 0,92 0, ,92 0,92 0 0,92 0, ,92 0,92 0 0,93 0, ,93 0,93 0 0,94 0, ,94 0,94 0 0,95 0, ,95 0, ,14 0,86 1 0,86 1 0, ,14 0,86 1 0,86 1 0,86 1 0,23 0,77 1 0,77 1 0,77 1 0,34 0,66 1 0,66 1 0,66 1 0,34 0,66 1 0,66 1 0,66 1 0,45 0,55 1 0,55 1 0, ,56 0,44 0 0,44 1 0, ,62 0,38 0 0,38 1 0, ,67 0,33 0 0,33 1 0, ,74 0,26 0 0,26 1 0,26 L(model) 0,

28 Tabela 9: Wyznaczenie wskaźnika wiarygodności modelu [L (model)] dla modelu B Numer przedsiębiorstwa Rzeczywista przynależność do grupy 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem Wartość funkcji model B Prawdopodobieństwo upadku model B Prognozowana przynależność do grupy - model A 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem ,42 0, ,42 0, ,46 0, ,46 0, ,51 0, ,51 0, ,53 0, ,53 0, ,54 0, ,54 0, ,55 Y P(X) 1-Y [1 P(X)] Y P(X) [1 P(X)] 0, ,55 0, ,59 0, ,59 0, ,61 0, ,61 0, ,64 0, ,64 0, ,65 0, ,65 0, ,67 0, ,67 0, ,67 0, ,67 0, ,68 0, ,68 0, ,7 0, , ,71 0, ,71 0, ,72 0, ,72 0, ,72 0, ,72 0, ,76 0, ,76 0, ,76 0, ,76 0, ,77 0, ,77 0, ,79 0, ,79 0, ,8 0, ,8 0, ,81 0, ,81 0, ,82 0, ,82 0, ,83 0, ,83 0, ,85 0, ,85 0, ,85 0, ,85 0,85 1-Y 0,7 28

29 37 0 0,86 0, ,86 0, ,87 0, ,87 0, ,87 0, ,87 0, ,88 0, ,88 0, ,89 0, ,89 0, ,9 0, ,9 0, ,91 0, ,91 0, ,91 0, ,91 0, ,92 0, ,92 0, ,93 0, ,93 0, ,94 0, ,94 0, ,95 0, ,95 0, ,96 0, ,96 0, ,07 0,93 1 0,93 1 0, ,12 0,88 1 0,88 1 0, ,21 0,79 1 0,79 1 0, ,32 0,68 1 0,68 1 0, ,36 0,64 1 0,64 1 0, ,45 0,55 0 0,55 1 0, ,46 0,54 0 0,54 1 0, ,47 0,53 0 0,53 1 0, ,55 0,45 0 0,45 1 0, ,58 0,42 0 0,42 1 0,42 L(model) 0,

30 Przykład 2 Poniższy przykład przedstawia problem dotyczący porównania dwóch modeli: A i B, dla których wyniki analizy porównawczej przeprowadzonej za pomocą wybranych miar nie są jednoznaczne. W celu przeprowadzenia analizy porównawczej modeli wybrano mierniki służące do oceny siły oraz kalibracji modeli, tzn. macierz klasyfikacji oraz wskaźnik Briera i wskaźnik wiarygodności [L (model)]. Obydwa modele są modelami logitowymi, o punktach pośrednich równych 0,5; przy czym im mniejsza wartość funkcji tym zagrożenie upadkiem jest większe. Oznacza to, że dla wartości funkcji poniżej 0,5 modele klasyfikują przedsiębiorstwa do grupy jednostek zagrożonych upadkiem, zaś dla wartości powyżej 0,5 do grupy przedsiębiorstw niezagrożonych upadłością. Tabela 12 przedstawiaja informacje niezbędne do przeprowadzenia analizy porównawczej modeli za pomocą wybranych mierników. Poszczególnym przedsiębiorstwom przypisano cyfrę od 1 do 50. Próba badawcza przedsiębiorstw składa się z 40 jednostek niezagrożonych upadkiem oraz 10 bankrutów. Poniżej przedstawiono obliczenia poszczególnych mierników, umożliwiające porównanie dwóch modeli. Tabela 10: Macierz klasyfikacji przedsiębiorstw - model A Rzeczywista Rzeczywista przynależność Wyszczególnienie przynależność przedsiębiorstw do grupy przedsiębiorstw do grupy jednostek niezagrożonych bankrutów upadłością Prognozowana liczba bankrutów 6 2 Prognozowana liczba przedsiębiorstw niezagrożonych upadkiem 4 38 Sprawność I stopnia 60% Błąd I stopnia 40% Sprawność II stopnia 95% Błąd II stopnia 5% Sprawność ogólna 88% Błąd ogólny 12% 30

31 Tabela 11: Macierz klasyfikacji przedsiębiorstw - model B Wyszczególnienie Rzeczywista przynależność przedsiębiorstw do grupy bankrutów Prognozowana liczba bankrutów Prognozowana liczba przedsiębiorstw niezagrożonych upadkiem Sprawność I stopnia 80% Błąd I stopnia 20% Sprawność II stopnia 95% Błąd II stopnia 5% Sprawność ogólna 92% Błąd ogólny 8% Rzeczywista przynależność przedsiębiorstw do grupy jednostek niezagrożonych upadłością

32 Tabela 12: Wyniki klasyfikacji przedsiębiorstw uzyskane za pomocą modeli A i B Numer przedsiębiorstwa Rzeczywista przynależność do grupy 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem Model A Wartość funkcji model A Prawdopodobieństwo upadku model A Prognozowana przynależność do grupy model A 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem Numer przedsiębiorstwa Rzeczywista przynależność do grupy 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem Wartość funkcji model B Model B Prawdopodobieństwo upadku model B Prognozowana przynależność do grupy model A 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem 1 0,02 0, ,07 0, ,04 0, ,46 0, ,06 0, ,12 0, ,48 0, ,42 0, ,12 0, ,47 0, ,14 0, ,36 0, ,17 0, ,32 0, ,49 0, ,46 0, ,60 0, ,59 0, ,68 0, ,53 0, ,69 0, ,54 0, ,70 0, ,55 0, ,52 0, ,21 0, ,71 0, ,61 0, ,73 0, ,51 0, ,74 0, ,64 0, ,55 0, ,45 0, ,69 0, ,65 0, ,75 0, ,67 0, ,79 0, ,7 0, ,81 0, ,67 0, ,61 0, ,55 0, ,84 0, ,68 0, ,86 0, ,72 0, ,88 0, ,72 0,

33 ,71 0, ,71 0, ,62 0, ,58 0, ,79 0, ,76 0, ,82 0, ,77 0, ,59 0, ,79 0, ,74 0, ,8 0, ,83 0, ,76 0, ,91 0, ,85 0, ,88 0, ,87 0, ,86 0, ,83 0, ,89 0, ,87 0, ,94 0, ,86 0, ,87 0, ,88 0, ,87 0, ,89 0, ,88 0, ,82 0, ,76 0, ,81 0, ,75 0, ,9 0, ,85 0, ,92 0, ,92 0, ,93 0, ,89 0, ,91 0, ,94 0, ,85 0, ,89 0, ,94 0, ,93 0, ,96 0, ,94 0, ,95 0, ,99 0, ,91 0,

34 Tabela 13: Wyznaczenie wskaźników Briera dla modeli A i B Numer przedsiębiorstwa Rzeczywista przynależność do grupy 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem Model A Prawdopodobieństwo upadku model A (θ - 2 i p i) Numer przedsiębiorstwa Rzeczywista przynależność do grupy 1-bankrut, 0-przedsiębiorstwo niezagrożone upadkiem Model B Prawdopodobieństwo upadku model B (θ - 2 i p i) ,01 0, ,04 0, ,06 0, ,05 0, ,06 0, ,06 0, ,06 0, ,07 0, ,07 0, ,08 0, ,08 0, ,09 0, ,09 0, ,09 0, ,11 0, ,1 0, ,11 0, ,11 0, ,11 0, ,12 0, ,12 0, ,13 0, ,12 0, ,13 0, ,12 0, ,14 0, ,13 0, ,15 0, ,13 0, ,15 0, ,14 0, ,17 0, ,14 0, ,18 0, ,15 0, ,19 0, ,16 0, ,2 0, ,17 0, ,21 0, ,18 0, ,23 0, ,19 0, ,24 0, ,21 0, ,24 0, ,21 0, ,28 0, ,24 0, ,28 0, ,25 0, ,29 0, ,25 0, ,3 0,

35 ,26 0, ,32 0, ,26 0, ,33 0, ,27 0, ,33 0, ,29 0, ,35 0, ,29 0, ,36 0, ,30 0, ,39 0, ,31 0, ,41 0, ,31 0, ,42 0, ,32 0, ,45 0, ,38 0, ,45 0, ,39 0, ,46 0, ,40 0, ,47 0, ,41 0, ,49 0, ,45 0, ,53 0, ,48 0, ,54 0, ,51 0, ,54 0, ,52 0, ,55 0, ,83 0, ,58 0, ,86 0, ,64 0, ,88 0, ,68 0, ,94 0, ,79 0, ,96 0, ,88 0, ,98 0, ,93 0,0049 Wskaźnik Briera 0,0723 Wskaźnik Briera 0,