Metodyka badań: badane zbiory danych z lat 2000-2006 analizowano, przy pomo-cy modeli wybranych w etapie I, metodą walidacji kolejkowej [Burda oraz Hippe, 2010c] opisaną w Rozdziale 3. Proces uczenia wszystkich sieci tego samego typu rozpoczynano od identycznego zestawu wag jak w etapie I. Jakość modeli ocenio-no, metodą resubstytucji i walidacji kolejkowej, przy pomocy wskaźników jakości predykcji, Q, Qb i Qn-b.
Wyniki badań: uzyskane dla kategorii nie-bankrut zestawiono kolejno na: Rys. 4-7 (sieć liniowa, LIN), Rys. 4-8 (sieć neuronowa o radialnych funkcjach bazowych, RBF), Rys. 4-9 (perceptron trójwarstwowy, MLP3) i Rys. 4-10 (perceptron czte-rowarstwowy, MLP4). Wyniki uzyskane dla kategorii bankrut pokazano na: Rys. 4-11 (LIN), Rys. 4-12 (RBF), Rys. 4-13 (MLP3) i Rys. 4-14 (MLP4). Nato-miast: Rys. 4-15 (LIN), Rys. 4-16 (RBF), Rys. 4-17 (MLP3) i Rys. 4-18 (MLP4) przedstawiają obraz możliwości predykcyjnych oznaczonych modeli dla obu kate-gorii przypadków.
Rys. 4-7. Jakość predykcji liniowych sztucznych sieci neuronowych (LIN) uczonych na bazach informacyjnych z lat 2000-2006, dla przypadków kategorii nie-bankrut
Rys. 4-8. Jakość predykcji sztucznych sieci neuronowych o radialnych funkcjach ba-zowych (RBF 7-11-1) uczonych na bazach informacyjnych z lat 2000-2006, dla przy-padków kategorii nie-bankrut
Rys. 4-9. Jakość predykcji perceptronów trójwarstwowych (MLP3 7-2-1) uczonych na bazach informacyjnych z lat 2000-2006, dla przypadków kategorii nie-bankrut
59 Rys. 4-10. Jakość predykcji perceptronów czterowarstwowych (MLP4 7-1-6-1) uczo-nych na bazach informacyjuczo-nych z lat 2000-2006, dla przypadków kategorii
nie-bankrut
Rys. 4-11. Jakość predykcji liniowych sztucznych sieci neuronowych (LIN) uczonych na bazach informacyjnych z lat 2000-2006, dla przypadków kategorii bankrut
Rys. 4-12. Jakość predykcji sztucznych sieci neuronowych o radialnych funkcjach bazowych (RBF 7-11-1) uczonych na bazach informacyjnych z lat 2000-2006, dla przypadków kategorii bankrut
Rys. 4-13. Jakość predykcji perceptronów trójwarstwowych (MLP3 7-2-1) uczonych na bazach informacyjnych z lat 2000-2006, dla przypadków kategorii bankrut
61 Rys. 4-14. Jakość predykcji perceptronów czterowarstwowych (MLP4 7-1-6-1) uczo-nych na bazach informacyjuczo-nych z lat 2000-2006, dla przypadków kategorii bankrut
Rys. 4-15. Jakość predykcji liniowych sztucznych sieci neuronowych (LIN) uczonych na bazach informacyjnych z lat 2000-2006
Rys. 4-16. Jakość predykcji sztucznych sieci neuronowych o radialnych funkcjach bazowych (RBF 7-11-1) uczonych na bazach informacyjnych z lat 2000-2006
Rys. 4-17. Jakość predykcji perceptronów trójwarstwowych (MLP3 7-2-1) uczonych na bazach informacyjnych z lat 2000-2006
63 Rys. 4-18. Jakość predykcji perceptronów czterowarstwowych (MLP4 7-1-6-1) uczo-nych na bazach informacyjuczo-nych z lat 2000-2006
Szczegółowe dane liczbowe przeprowadzonego eksperymentu zestawiono w Za-łączniku E, kolejno w: Tab. E-4 (sieć liniowa), Tab. E-5 (sieć o radialnych funk-cjach bazowych), Tab. E-6 (perceptron trójwarstwowy) i Tab. E-7 (perceptron czte-rowarstwowy).
Omówienie uzyskanych wyników: wyniki badań, przedstawione na Rys. 4-7, 4-8, 4-9 i 4-10 potwierdzają dokonane uprzednio spostrzeżenie, że predykcja przypadków kategorii nie-bankrut, w odniesieniu do wszystkich analizowanych danych, jest znacznie bardziej dokładna w porównaniu do możliwości dokonania predykcji ka-tegorii bankrut (Rys 4-11, 4-12, 4-13, 4-14). Średni błąd predykcji kaka-tegorii nie-bankrut, ustalony przy pomocy wszystkich stosowanych rodzajów sztucznych sieci neu-ronowych, wynosi w przybliżeniu tylko 10%, co w odniesieniu do typowych standar-dów uczenia maszynowego [Grzymała-Busse, 2010] można uznać za wynik stwa-rzający możliwości wiarygodnego zastosowania prezentowanej metodyki w plano-wanym systemie doradczym (założenia budowy wspomnianego systemu podano
w części teoretycznej pracy), umożliwiający właścicielowi MSP bieżącą kontrolę stanu przedsiębiorstwa, zamysłem uniknięcia bankructwa.
Należy też podkreślić, że w 7 przypadkach na 28 uzyskano dokładność predykcji powyżej 95%. Na tle innych sieci nieco gorzej wypada jedynie sieć liniowa (LIN), która w porównaniu do pozostałych, nieliniowych modeli wyraźnie gorzej klasyfi-kuje przypadki, jeśli model uczono na danych z roku 2005, a szczególnie z 2000 roku (Rys. 4-7). Najbardziej stabilne modele, niezależne od roku pochodzenia przy-padków uczących, udało się zbudować przy pomocy perceptronów czterowarstwo-wych (Rys. 4-10).
Predykcja przypadków kategorii bankrut (Rys. 4-11, 4-12, 4-13, i 4-14), co skut-kuje również obrazem predykcji dla obu kategorii przypadków (Rys. 15, 16, 4-17 i 4-18), jest nie tylko na znacznie niższym poziomie, ale też widać, że istotnie zależy od roku, z którego dane zostały użyte w procesie uczenia sieci. Najwyraźniej to zjawisko można zaobserwować na Rys. 4-12 (model RBF). Z dużym prawdopo-dobieństwem można więc przyjąć, że jest to kolejne, empiryczne potwierdzenie wy-stępowania znaczącej liczby przypadków skażonych w procesie kreatywnej księ-gowości wśród przypadków kategorii bankrut i to one są powodem takiego zacho-wania modeli uczenia.
Jakość predykcji, potwierdzona metodą walidacji kolejkowej, takich modeli jak: LIN z roku 2003 (Q = 0.80, Rys. 15), RBF 7-11-1 z roku 2001 (Q = 0.81, Rys. 4-16), MLP3 7-2-1 z roku 2001 (Q = 0.78, Rys. 4-17) i MLP4 7-1-6-1 z roku 2004 (Q = 0.78, Rys. 4-18) uzasadnia stwierdzenie, że modele te mogłyby posłużyć jako wiarygodne narzędzia prognozowania stanu MSP.
Uzyskanie jeszcze bardziej wiarygodnych podstaw budowy planowanego systemu doradczego narzuca potrzebę podjęcia dalszych badań nad analizą zgromadzonych przypadków innymi – od sztucznych sieci neuronowych – metodami uczenia ma-szynowego, na przykład metodami indukcyjnego generowania reguł decyzji. Mode-le uczenia uzyskane w ten sposób są bardziej zrozumiałe, niejako samo objaśniające się, i są niezbędnym etapem zastosowania koncepcji nowoczesnego współdziałania
65 człowieka z komputerem, poprzez wykorzystanie możliwości wzajemnej interakcji, ukrytych w systemach doradczych realizujących filozofię WMA (weighted majori-ty algorithm) [Littlestone oraz Warmuth, 1994; Sun oraz Li, 2008; Torabi, Sayad oraz Balke, 2005].
Rozdział 5.
WALIDACJA NIEPEWNYCH DANYCH MSP PRZY POMOCY
INDUK-CYJNYCH MODELI UCZENIA MASZYNOWEGO
. M
ODELE UCZENIAW POSTACI ZBIORU REGUŁ DECYZJI
Cel badań: z uwagi na zamysł uzyskania wyników prognozowania stanu MSP zro-zumiałych dla użytkownika o przeciętnym przygotowaniu z zakresu podstaw in-formatyki, kolejny etap prowadzonych badań był poświęcony opracowaniu modelu (modeli) uczenia w postaci zbioru reguł składniowych typu JEŻELI … TO. Opra-cowanie tego rodzaju modelu (modeli) może jednocześnie: a) ujawnić jakościowe zależności między zastosowanymi w badaniach atrybutami opisującymi, nie zauwa-żalnymi bezpośrednio na podstawie analizy ilościowych wyników działania sztucz-nych sieci neuronowych opisasztucz-nych w poprzednim rozdziale, b) nadać zrozumiałą dla człowieka interpretację zjawiskową wynikom zastosowania badanych typów sztucznych sieci neuronowych do interpretacji analizowanych danych MSP, oraz c) doprowadzić do łatwego przejścia do zastosowania koncepcji algorytmu ważonej większości (ang. Weighted Majority Algorithm, WMA) [Awerbuch oraz Klein-berg, 2008; Gambin, Szczurek, Dutkowski i inni, 2009; Bouchachia, 2011; Fuchs oraz Buhmann, 2011; Kim, Kim, Moon i inni, 2011].
Metodyka badań: eksperyment przeprowadzono z użyciem indukcyjnych modeli uczenia maszynowego: NGTS oraz BBN. Algorytm NGTS, bezpośredniego gene-rowania reguł decyzji z danych, pierwotnie został opisany w [Hippe, 1999]. Infor-macje uzupełniające, dotyczące najnowszej wersji tego algorytmu przedstawiono w [Burda oraz Hippe, 2010]. Model BBN, to zbiór reguł decyzji/przekonań
powsta-67 łych wskutek konwersji sieci przekonań Bayes’a do postaci reguł składniowych typu JEŻELI … TO … [Hippe, Grzymała-Busse oraz Mroczek, 2006]. Natomiast model OPT utworzono poprzez połączenie i optymalizację zbiorów reguł wygene-rowanych i nazwanych: NGTS i BBN.
Proces ich optymalizacji polegał na sekwencyjnym użyciu wybranych operacji ge-nerycznych, takich jak: usuniecie reguł zbędnych i redundantnych, usunięcie reguł pochłaniających się, usunięcie warunków zbędnych, łączenie reguł zawierających ten sam zestaw atrybutów w części warunkowej i wreszcie, utworzenie reguł braku-jących [Paja, 2007a].
Zbiory reguł generowane dla danych z kolejnych lat 2000-2006, przetestowano – analogicznie jak modele sieci neuronowych – metodą resubstytucji oraz walidacji kolejkowej.
Wyniki badań: uzyskane dla kategorii nie-bankrut zestawiono kolejno na: Rys. 5-1 (model BBN- reguły decyzji powstałe w wyniku konwersji sieci przekonań Bay-es’a)), Rys. 5-2 (model NGTS- reguły decyzji generowane bezpośrednio z danych) i na Rys. 5-3 (model OPT- zoptymalizowany przy pomocy operacji generycznych, zastosowanych na połączonym zbiorze reguł składniowych). Wyniki uzyskane dla kategorii bankrut pokazano na: Rys. 5-4 (BBN), Rys. 5-5 (NGTS) i na Rys. 5-6 (OPT). Natomiast: Rys. 5-7 (BBN), Rys. 5-8 (NGTS) i Rys. 5-9 (OPT) przedsta-wiają obraz możliwości predykcyjnych oznaczonych modeli dla obu kategorii przy-padków.
Szczegółowe dane liczbowe opisanego w tym rozdziale eksperymentu zestawiono w Załączniku E, kolejno w: Tab. E-8 (model BBN), Tab. E-9 (model NGTS) i Tab. E-10 model OPT).
Rys. 5-1. Jakość predykcji reguł decyzji powstałych w wyniku konwersji sieci prze-konań Bayes’a (BBN), uczonych na bazach informacyjnych z lat 2000-2006, dla przypadków kategorii nie-bankrut
Rys. 5-2. Jakość predykcji reguł decyzji wygenerowanych bezpośrednio z danych (NGTS), uczonych na bazach informacyjnych z lat 2000-2006, dla przypadków kate-gorii nie-bankrut
69 Rys. 5-3. Jakość predykcji reguł decyzji zoptymalizowanych przy pomocy operacji generycznych, zastosowanych na połączonym zbiorze reguł składniowych (OPT), uczonych na bazach informacyjnych z lat 2000-2006, dla przypadków kategorii
nie-bankrut
Rys. 5-4. Jakość predykcji reguł decyzji powstałych w wyniku konwersji sieci prze-konań Bayes’a (BBN), uczonych na bazach informacyjnych z lat 2000-2006, dla przy-padków kategorii bankrut
Rys. 5-5. Jakość predykcji reguł decyzji wygenerowanych bezpośrednio z danych (NGTS), uczonych na bazach informacyjnych z lat 2000-2006, dla przypadków kate-gorii bankrut
Rys. 5-6. Jakość predykcji reguł decyzji zoptymalizowanych przy pomocy operacji generycznych, zastosowanych na połączonym zbiorze reguł składniowych (OPT), uczonych na bazach informacyjnych z lat 2000-2006, dla przypadków kategorii
71 Rys. 5-7. Jakość predykcji reguł decyzji powstałych w wyniku konwersji sieci prze-konań Bayes’a (BBN), uczonych na bazach informacyjnych z lat 2000-2006
Rys. 5-8. Jakość predykcji reguł decyzji wygenerowanych bezpośrednio z danych (NGTS), uczonych na bazach informacyjnych z lat 2000-2006
Rys. 5-9. Jakość predykcji reguł decyzji zoptymalizowanych przy pomocy operacji generycznych, zastosowanych na połączonym zbiorze reguł składniowych (OPT), uczonych na bazach informacyjnych z lat 2000-2006
Omówienie uzyskanych wyników: wyniki badań, zestawione na Rys. 1, 2 i 5-3, potwierdziły wnioski z badań z użyciem klasyfikatorów neuronowych. Progno-zowanie konceptu nie-bankrut, niezależnie od zastosowanej metody generowania reguł decyzji, jest bardzo wiarygodne. Wartość wskaźnika, Qn-b, zmienia się od 0.69
do 0.96. Dla wielu modeli, w szczególności dla reguł składniowych powstałych w wyniku konwersji sieci przekonań Bayes’a, wskaźnik ten przekracza wartość 0.90.
Powodem gorszych prognoz konceptu bankrut (oprócz wspomnianego już wcze-śniej przekonania, że w tych przedsiębiorstwach istnieje uzasadnione podejrzenie częstszego występowania intencjonalnych błędów w danych, wskutek kreatywnej, bądź agresywnej księgowości), może być także duże zróżnicowanie przyczyn i sposobów doprowadzenia MSP do bankructwa [Ooghe oraz De Prijcker, 2006]. W związku z tym należy uznać, że istnieje wiele sprzecznych ze sobą wzorców firm
73 będących w stanie bankructwa, co powoduje trudności w ich zidentyfikowaniu, jako jednej kategorii, metodami uczenia maszynowego.
Zaobserwowane w trakcie badań duże zróżnicowanie jakości klasyfikatorów, po-twierdza też konkluzję, zawartą w Rozdziale 4, o celowości budowy systemu do-radczego wspartego koncepcjamiWMA.
Rozdział 6.
WALIDACJA NIEPEWNYCH DANYCH MSP PRZY POMOCY
ZESPO-ŁU KLASYFIKATORÓW
Cel badań: znaczne zróżnicowanie jakości predykcji modeli uczenia opisanych w Rozdziale 4 i Rozdziale 5 oraz zauważalna prawidłowość, że brak stabilizacji tych wyników wydaje się być bardziej uzależniony od wyboru zbioru uczącego, niż od metody generowania modelu, wskazują na duże ryzyko zastosowania jednego z nich do budowy systemu doradczego. Dlatego celowym wydaje się być spraw-dzenie, czy zespół klasyfikatorów zbudowany w oparciu o filozofię WMA, nie ustabilizuje tych wyników na odpowiednio wysokim, dorównującym najlepszemu z modeli, poziomie.
Metodyka badań: przyjęto, że zespoły składać się będą z nieparzystej liczby N modeli Mi połączonych równolegle jak na Rys. 3-13. Na wejście modelu wprowa-dzano wektor cech X = [x1, x2, …, x7] (szczegółowo opisanych w Załączniku B oraz w Rozdziale 3). Jeżeli predykcję i-tego modelu oznaczymy i {bankrut, nie-bankrut}, a wagę i-tego modelu wi, to ze względu na symboliczny typ atrybutu
Stan, wartość prognozy ŷ na wyjściu zespołu określamy zgodnie ze wzorem:
6.1 przypadku przeciwnym w bankrut nie q q dla bankrut y b nb gdzie: bankrut i i b i w q : , nie bankrut i i nb i w q :
75 Do badań wytypowano 6 modeli, kierując się przekonaniem, że jakość modelu ze-społowego zależeć będzie zarówno od indywidualnych cech klasyfikatorów wcho-dzących w skład zespołu, ale też od ich różnorodności, ze względu na architekturę i metodę ich generowania [Sharkey oraz Sharkey, 1997]. Inaczej mówiąc, jeśli kla-syfikatory niewiele się od siebie różnią, to trudno spodziewać się poprawy jakości klasyfikacji, a prowadzić to może jedynie do zwiększenia złożoności systemu. Z drugiej strony, klasyfikator o bardzo niskim wskaźniku jakości predykcji, przy-puszczalnie nie podniesie jakości systemu klasyfikacyjnego, nawet wtedy, gdy bę-dzie odmienny od pozostałych [Ruta oraz Gabrys, 2005]. Z tego powodu wszystkie zespoły poddane procedurze walidacji, składały się z modeli różnych typów. Prze-testowano też odmienne sposoby ważenia wskazań klasyfikatorów wchodzących w skład zespołów, poprzez: wykorzystanie jako współczynników wagowych war-tości wskaźników jakości predykcji (Q, Qb oraz Qn-b), oraz optymalizację współ-czynników przy pomocy algorytmu WMA [Shapire, 2006]. Dodatkowo, zakładając iż wskazania wszystkich klasyfikatorów są równoważne, w jednym z modeli przy-jęto wszystkie współczynniki wagowe równe 1.
Korzystając z modeli wygenerowanych w Rozdziale 5 (sieci liniowej – LIN, sieci o radialnych funkcjach bazowych – RBF, perceptronu trójwarstwowego – MLP3 i perceptronu czterowarstwowego – MLP4) oraz w Rozdziale 6 (zbioru reguł decy-zji/przekonań powstałych wskutek konwersji sieci przekonań Bayes’a do postaci reguł składniowych – BBN, zbioru reguł decyzji bezpośrednio generowanych z da-nych – NGTS i OPT, utworzonego poprzez połączenie i optymalizację zbiorów reguł wygenerowanych i nazwanych: NGTS i BBN, metodą resubstytucji i walida-cji kolejkowej poddano testom następujące zespoły klasyfikatorów:
SD5 – system doradczy – zespół 5 klasyfikatorów (LIN, RBF, MLP3, MLP4 i BBN), wszystkie współczynniki wagowe wi miały wartość 1.
SD7 – system doradczy – zespół 7 klasyfikatorów (LIN, RBF, MLP3 i MLP4 oraz BBN, NGTS i OPT), wszystkie współczynniki wagowe wi miały war-tość 1.
SDW7 – system doradczy – zespół 7 klasyfikatorów (LIN, RBF, MLP3 i MLP4 oraz BBN, NGTS i OPT), wartości współczynników wagowych wi wyzna-czono przy pomocy algorytmu WMA.
SDQB7 – system doradczy – zespół 7 klasyfikatorów (LIN, RBF, MLP3 i MLP4 oraz BBN, NGTS i OPT), wartości współczynników wagowych wi przyję-to identyczne jak warprzyję-tości wskaźników jakości predykcji Qb, wyznaczone dla przypadków kategorii bankrut dla każdego z klasyfikatorów lokalnych. SDQN7 – system doradczy – zespół 7 klasyfikatorów (LIN, RBF, MLP3 i MLP4
oraz BBN, NGTS i OPT), wartości współczynników wagowych wi przyję-to identyczne jak warprzyję-tości wskaźników jakości predykcji Qn-b, wyznaczone dla przypadków kategorii nie-bankrut dla każdego z klasyfikatorów lokal-nych.
SDQ7 – system doradczy – zespół 7 klasyfikatorów (LIN, RBF, MLP3 i MLP4 oraz BBN, NGTS i OPT), wartości współczynników wagowych wi przyję-to identyczne jak warprzyję-tości wskaźników jakości predykcji Q, wyznaczone dla wszystkich przypadków (obu kategorii) dla każdego z klasyfikatorów lokalnych.
Wyniki badań: w rozbiciu na dwie kategorie przypadków (bankrut i nie-bankrut), przedstawiono kolejno na: Rys. 6-1 (zespół klasyfikatorów SD5), Rys. 6-2 (zespół klasy-fikatorów SD7), Rys. 6-3 (zespół klasyklasy-fikatorów SDW7), Rys. 6-4 (zespół klasyfika-torów SDQB7), Rys. 6-5 (zespół klasyfikaklasyfika-torów SDQN7) i na Rys. 6-6 (zespół kla-syfikatorów SDQ7). Ostateczne wyniki, uzyskane przy pomocy testów metodami resubstytucji i walidacji kolejkowej, dla obu kategorii razem, zestawiono na: Rys. 6-7 (SD5), Rys. 6-8 (SD6-7), Rys. 6-9 (SDW6-7), Rys. 6-10 (SDQB6-7), Rys. 6-11 (SDQN6-7) i na Rys. 6-12 (SDQ7). W Tab. 6-1, dla ułatwienia oceny porównawczej modeli, zestawiono wskaźniki jakości predykcji wszystkich zespołów.
77 Rys. 6-1. Jakość predykcji zespołu klasyfikatorów SD5, złożonego z modeli uczonych na bazach informacyjnych z lat 2000-2006, z podziałem na przypadki kategorii
ban-krut i nie-banban-krut
Rys. 6-2. Jakość predykcji zespołu klasyfikatorów SD7, złożonego z modeli uczonych na bazach informacyjnych z lat 2000-2006, z podziałem na przypadki kategorii
Rys. 6-3. Jakość predykcji zespołu klasyfikatorów SDW7, złożonego z modeli uczo-nych na bazach informacyjuczo-nych z lat 2000-2006, z podziałem na przypadki kategorii
bankrut i nie-bankrut
Rys. 6-4. Jakość predykcji zespołu klasyfikatorów SDQB7, złożonego z modeli uczo-nych na bazach informacyjuczo-nych z lat 2000-2006, z podziałem na przypadki kategorii
79 Rys. 6-5. Jakość predykcji zespołu klasyfikatorów SDQN7, złożonego z modeli uczo-nych na bazach informacyjuczo-nych z lat 2000-2006, z podziałem na przypadki kategorii
bankrut i nie-bankrut
Rys. 6-6. Jakość predykcji zespołu klasyfikatorów SDQ7, złożonego z modeli uczo-nych na bazach informacyjuczo-nych z lat 2000-2006, z podziałem na przypadki kategorii
Rys. 6-7. Jakość predykcji zespołu klasyfikatorów SD5 złożonych z modeli uczonych na bazach informacyjnych z lat 2000-2006
Rys. 6-8. Jakość predykcji zespołu klasyfikatorów SD7 złożonych z modeli uczonych na bazach informacyjnych z lat 2000-2006
81 Rys. 6-9. Jakość predykcji zespołu klasyfikatorów SDW7 złożonych z modeli uczo-nych na bazach informacyjuczo-nych z lat 2000-2006
Rys. 6-10. Jakość predykcji zespołu klasyfikatorów SDQB7 złożonych z modeli uczo-nych na bazach informacyjuczo-nych z lat 2000-2006
Rys. 6-11. Jakość predykcji zespołu klasyfikatorów SDQN7 złożonych z modeli uczo-nych na bazach informacyjuczo-nych z lat 2000-2006
Rys. 6-12. Jakość predykcji zespołu klasyfikatorów SDQ7 złożonych z modeli uczo-nych na bazach informacyjuczo-nych z lat 2000-2006
83 Tab. 6-1. Walidacja niepewnych danych MSP- porównanie jakości predykcji zespo-łów klasyfikatorów
Modele
z roku: Koncept
Wskaźniki jakości predykcji, Q, zespołów typu:
S D7 S D5 WS D7 S D Q B 7 S D Q N 7 SD Q 7 2000 bankrut 0.62 0.62 0.62 0.62 0.62 0.62 nie-bankrut 0.93 0.91 0.91 0.91 0.93 0.91 2001 bankrut 0.65 0.67 0.67 0.67 0.65 0.65 nie-bankrut 0.91 0.92 0.92 0.91 0.91 0.91 2002 bankrut 0.41 0.45 0.43 0.42 0.41 0.42 nie-bankrut 0.96 0.96 0.96 0.96 0.96 0.96 2003 bankrut 0.61 0.61 0.61 0.61 0.61 0.61 nie-bankrut 0.94 0.92 0.92 0.93 0.93 0.92 2004 bankrut 0.53 0.56 0.54 0.54 0.53 0.56 nie-bankrut 0.97 0.97 0.97 0.96 0.97 0.96 2005 bankrut 0.56 0.59 0.59 0.61 0.59 0.59 nie-bankrut 0.95 0.94 0.94 0.91 0.95 0.93 2006 bankrut 0.55 0.61 0.57 0.57 0.55 0.55 nie-bankrut 0.94 0.92 0.93 0.94 0.94 0.94
Szczegółowe dane liczbowe przeprowadzonego eksperymentu zestawiono w Za-łączniku E, kolejno w: Tab. E-11 (zespół klasyfikatorów SD5), Tab. E-12 (zespół syfikatorów SD7), Tab. E-13 (zespół klasyfikatorów SDW7), Tab. E-14 (zespół kla-syfikatorów SDQB7), Tab. E-15 (zespół klakla-syfikatorów SDQN7) i w Tab. E-16 (zespół klasyfikatorów SDQ7).
Omówienie uzyskanych wyników: potwierdzono spostrzeżenie, że wszystkie ze-społy klasyfikatorów, podobnie jak to było w przypadku modeli opisanych w Rozdziale 4 i 5, uzyskują znacznie lepszą jakość predykcji konceptu nie-bankrut niż konceptu bankrut (Rys. 6-1 do 6-6, Qn-b » Qb). To oznacza, że Roczne ankiety przedsiębiorstw (symbol formularza- SP) składane w urzędach statystycznych przez
te MSP, które w tych ankietach w rubryce 5 (Stan aktywności prawnej i
ekonomicz-nej w dniu 31 XII, plik SP.pdf, dołączony na nośniku DVD) deklarują stan
bądź agresywnej księgowości. Liczba tych błędów w istotny sposób obniża dokład-ność predykcji wszystkich klasyfikatorów budowanych w oparciu o dane ekono-miczno-finansowe MSP, pozyskiwane tym sposobem.
Lepsze wyniki predykcji obiektów przez zespoły klasyfikatorów (Rys. od 7 do 6-12) niż modeli autonomicznych (Rys. 4-15 do 4-18 oraz Rys.5-7 do 5-9), skłaniają do podjęcia decyzji, by koncepcję budowy systemu doradczego do oceny stanu MSP oprzeć o rozwiązanie polegające na zastosowaniu zespołu klasyfikatorów SD5 uczonych na bazie informacyjnej z roku 2001. Głównymi przesłankami tej decyzji są: prostota architektury tego modelu oraz osiągnięta dokładność predykcji (Rys. 6-7) powyżej założonego w Rozdziale 1 poziomu.
85