Rozdział III Zespoły klasyfikatorów i sposoby ich konstruowania
4.5. Wpływ doboru próby uczącej i testującej na stabilność wyników klasyfikacji
sumacyjne (H2, H3). Warto także zauważyć znaczący spadek jakości prognoz klasyfikatorów zespołowych opartych na metodach selekcji. Wysoka zdolność klasyfikatorów do poprawnego klasyfikowania obiektów uzyskana podczas uczenia klasyfikatorów nie została potwierdzona w procesie ich testowania.
Przeprowadzone badanie pozwoliło na porównanie jakości stawianych prognoz wyznaczanych na etapie uczenia i testowania przez wszystkie zbudowane klasyfikatory. Uzyskane wyniki wskazują na możliwość poprawy jakości prognoz przez wykorzystanie metod łączenia klasyfikatorów. Na tym etapie badania należy być jednak ostrożnym w generalnej ocenie skuteczności metod łączenia i selekcji. Ze względu na jednokrotne losowanie próby, nie można wykluczyć, że w przypadku innego podziału obiektów pomiędzy próbę uczącą i testującą, poprawa klasyfikacji na skutek zastosowanych metod łączenia i selekcji nie byłaby widoczna. W celu uzyskania pełniejszego obrazu skuteczności działania tych metod, niezbędne jest pogłębienie analizy poprzez uwzględnienie wpływu doboru próby uczącej i testującej na uzyskiwane wyniki klasyfikacji.
4.5. Wpływ doboru próby uczącej i testującej na stabilność wyników klasyfikacji
Zakładając wielokrotne losowanie próby uczącej spośród wszystkich dostępnych obserwacji, uzyskiwane zbiory obiektów w kolejnych iteracjach losowania różniłyby się pod względem średniego poziomu wskaźników finansowych dla obiektów w dobrej kondycji finansowej i obiektów, wobec których ogłoszono upadłość. W efekcie, klasyfikatory budowane z wykorzystaniem takiej samej metody klasyfikacyjnej oraz takiego samego zestawu zmiennych diagnostycznych mogłyby różnić się co do swojej postaci oraz uzyskiwanych wyników klasyfikacyjnych. Z tego powodu w tej części badania zweryfikowano wpływ doboru próby uczącej i testującej na stabilność wyników prognozowania upadłości przedsiębiorstw, uzyskanych przez wszystkie z rozważanych klasyfikatorów indywidualnych i zespołowych. Ponadto, zbadano także zdolności
127
klasyfikatorów do generalizowania (uogólniania) wyników klasyfikacji, uzyskanych dla obiektów próby uczącej na obiekty próby testującej.
W tabelach 23 i 24 przedstawiono wyniki klasyfikacji obiektów dla 100 powtórzeń losowania próby uczącej oraz testującej, na podstawie których budowane i oceniane były wszystkie klasyfikatory indywidualne i zespołowe. Przeprowadzona analiza pozwoliła na ustalenie średnich poziomów trzech współczynników trafności oraz wielkości ich odchyleń standardowych uzyskanych dla 100 powtórzeń losowania.
Tabela 23. Wyniki klasyfikacji dla wielokrotnego losowania próby – próba ucząca
Globalnie Sprawność I Sprawność II Klasyfikator Średnia wartość standard. Odch. wartość Średnia standard. Odch. Średnia wartość standard. Odch.
indyw idua lny AD 0,81 0,02 0,86 0,04 0,77 0,05 RL 0,83 0,02 0,86 0,03 0,80 0,04 LL 0,82 0,02 0,85 0,03 0,79 0,04 SSN 0,87 0,05 0,88 0,12 0,85 0,08 ze społ ow y Głosowanie (H1) 0,84 0,02 0,9 0,03 0,77 0,05 Sumacyjny (H2) 0,85 0,03 0,87 0,04 0,83 0,05 Sumacyjny (ważony) (H3) 0,85 0,03 0,87 0,04 0,83 0,05 Iloczynowy (H4) 0,86 0,03 0,89 0,04 0,83 0,05 Minimum (H5) 0,86 0,04 0,88 0,05 0,84 0,05 Medianowy (H6) 0,84 0,03 0,87 0,03 0,81 0,04 Maksimum (H7) 0,86 0,04 0,88 0,05 0,84 0,05 Selekcji 1 (H8) 0,88 0,03 0,91 0,06 0,85 0,06 Selekcji 2 (H9) 0,88 0,03 0,91 0,05 0,84 0,06
128
Tabela 24. Wyniki klasyfikacji dla wielokrotnego losowania próby – próba testująca
Globalnie Sprawność I Sprawność II Klasyfikator Średnia wartość standard. Odch. wartość Średnia standard. Odch. Średnia wartość standard. Odch.
indyw idua lny AD 0,80 0,05 0,86 0,07 0,74 0,10 RL 0,80 0,05 0,85 0,08 0,76 0,09 LL 0,82 0,04 0,87 0,07 0,78 0,09 SSN 0,78 0,06 0,81 0,16 0,74 0,10 ze społ ow y Głosowanie (H1) 0,81 0,05 0,89 0,07 0,73 0,09 Sumacyjny (H2) 0,81 0,05 0,85 0,08 0,77 0,09 Sumacyjny (ważony) (H3) 0,81 0,05 0,85 0,08 0,77 0,09 Iloczynowy (H4) 0,81 0,05 0,86 0,09 0,76 0,09 Minimum (H5) 0,80 0,05 0,84 0,10 0,77 0,09 Medianowy (H6) 0,81 0,05 0,86 0,08 0,76 0,09 Maksimum (H7) 0,80 0,05 0,84 0,10 0,77 0,09 Selekcji 1 (H8) 0,79 0,05 0,84 0,11 0,74 0,10 Selekcji 2 (H9) 0,79 0,06 0,84 0,12 0,74 0,09
Źródło: Opracowanie własne.
Dla przyjętego zestawu siedmiu zmiennych diagnostycznych, najwyższe współczynniki trafności w próbie uczącej uzyskały klasyfikatory zespołowe selekcji oraz klasyfikator sztucznej sieci neuronowej. Wyniki te pokrywają się z rezultatami uzyskanymi dla klasyfikatorów prezentowanych we wcześniejszej części rozdziału. Najwyższe odchylenia standardowe współczynników trafności uzyskał klasyfikator sztucznej sieci neuronowej. Wskazuje to na dużą wrażliwość klasyfikatora na dobór obiektów do próby uczącej podczas jego uczenia, co może być związane z przyjętą architekturą sieci. Największą stabilność wyników w próbie uczącej przejawiały klasyfikatory liniowej analizy dyskryminacyjnej (AD), regresji logistycznej (RL), lasu losowego (LL) oraz głosowania większościowego (H1). Takie same wyniki klasyfikacji uzyskano parami dla klasyfikatorów: sumacyjny (H2) i sumacyjny ważony (H3) oraz minimum (H5) i maksimum (H7).
Dla 100-krotnego losowania próby, najwyższą jakość stawianych prognoz w próbie testującej uzyskał klasyfikator lasu losowego, którego uśredniony współczynnik globalnej trafności był nieznacznie lepszy od pięciu klasyfikatorów zespołowych (H1, H2, H3, H4, H6). Las losowy uzyskał najwyższy średni poziom współczynnika globalnej trafności na poziomie
129
0,82. Klasyfikator lasu losowego był średnio biorąc najskuteczniejszy w klasyfikowaniu obiektów pochodzących z populacji spółek zagrożonych upadłością (sprawność II). Najwyższą zdolność klasyfikowania obiektów w dobrej kondycji finansowej przejawiały natomiast klasyfikator zespołowy głosowania większościowego.
Wielokrotne uczenie i testowanie klasyfikatorów dla zmieniającej się próby uczącej i testującej pozwoliło także na zbadanie zdolności do generalizowania wyników klasyfikacyjnych. W tym celu skonstruowano wskaźnik mierzący odchylenie wyników klasyfikacji w próbie testującej od wyników uzyskanych w próbie uczącej. Wskaźnik ma następującą postać:
= ∑ − (4.3)
gdzie:
– współczynnik trafności w próbie uczącej modelu dla j-tego klasyfikatora oraz i-tego losowania próby; j = 1 (AD), 2 (RL), 3 (LL), 4 (SSN), 5 (H1),…,13 (H9); i =1, 2,…, 100,
– współczynnik trafności w próbie testującej modelu dla j-tego klasyfikatora oraz i-tego losowania próby,
N – liczba powtórzeń losowania próby.
Przedstawiony powyżej wskaźnik stanowi średnie odchylenie współczynnika trafności uzyskanego przez klasyfikator dla obiektów próby testującej w stosunku do współczynnika trafności dla obiektów próby uczącej. Często występujący problem przeuczenia klasyfikatorów, dla których trafność klasyfikacyjna w próbie testującej jest znacząco niższa od trafności w próbie uczącej, widoczny jest dla wysokich wartości wskaźnika. Od klasyfikatorów o wysokich zdolnościach do generalizowania wyników oczekuje się, aby poziom wyznaczonego w ten sposób odchylenia był możliwie niski. Zdolności uogólniania wyników przez klasyfikatory zbadano dla wszystkich trzech współczynników trafności, a uzyskane wyniki przedstawiono w tabeli 25.
Najniższe wartości wskaźnika uzyskano dla klasyfikatora lasu losowego. Dla 100 powtórzeń budowy klasyfikatora lasu losowego, wyniki klasyfikacji obiektów mierzone za pomocą współczynnika globalnej trafności w najmniejszym stopniu różniły dla próby uczącej i testującej.
130
Tabela 25. Zdolność klasyfikatorów do generalizowania wyników klasyfikacji
Model Globalnie Sprawność I Sprawność II
indyw idua lny AD 0,07 0,09 0,12 RL 0,07 0,09 0,11 LL 0,06 0,09 0,11 SSN 0,12 0,13 0,14 ze społ ow y Głosowanie (H1) 0,07 0,09 0,12 Sumacyjny (H2) 0,08 0,10 0,12 Sumacyjny (ważony) (H3) 0,08 0,10 0,12 Iloczynowy (H4) 0,09 0,11 0,13 Minimum (H5) 0,09 0,12 0,13 Medianowy (H6) 0,07 0,09 0,11 Maksimum (H7) 0,09 0,12 0,13 Selekcji 1 (H8) 0,11 0,12 0,14 Selekcji 2 (H9) 0,12 0,13 0,14
Źródło: Opracowanie własne.
Najniższe zdolności do generalizowania wyników klasyfikacji wykazały klasyfikatory sztucznej sieci neuronowej oraz zespołowe klasyfikatory selekcji. Rezultaty przedstawione w tabeli 25, a także analiza wyników klasyfikacji z wcześniejszych etapów badania pozwalają stwierdzić, że w przypadku tych klasyfikatorów występuje problem przeuczenia, co może być związane z architekturą i algorytmem uczenia sztucznej sieci neuronowej. Obniżająca się jakość predykcji sztucznej sieci neuronowej wpływa bezpośrednio na wyniki uzyskiwane przez klasyfikatory selekcji, które w dużym stopniu wykorzystują wskazania sztucznej sieci neuronowej jako najlepszego klasyfikatora indywidualnego na etapie uczenia.
4.6. Wpływ stopnia niezgodności prognoz klasyfikatorów indywidualnych na