il I lii i lii I u mil R! »
6.5. Ocena końcowa zastosowanych metod selekcji i integracji danych
Zgodnie z przyjętym przez autora podejściem, zasadniczej oceny metod selekcji i integracji danych dokonuje się poprzez porównanie wartości sprawności zastępczych Sz, a następnie dyskutuje się uzupełniające kryteria oceny tych metod. Przystępując do wyznaczenia sprawności zastępczych zdecydowano się rozpatrywać podzbiory o liczności od 4 do 7 danych (por. rys. 6.17 i rys. 6.20) oraz przyjęto dwie wartości progu sprawności SP=85% i SP=90%. Przyjęcie dwóch wartości progu sprawności SP związane jest z uzyskaniem relatywnie zróżnicowanych wyników (zróżnicowanych sprawności klasyfikacji). Przyjęcie sprawności progowej SP=85% ma na celu umożliwienie uwzględnienia w prowadzonych analizach najmniej korzystnych z uzyskanych wyników. Natomiast zasadnicza ocena (porównanie) metod dokonywana jest w oparciu o SPs90%. Autor zaznacza, że przyjęcie przybliżonej wartości progu sprawności SpS90% odnosi się do analiz wyników integracji danych zrealizowanej z zastosowaniem sieci neuronowej FFBP. W tym przypadku praktycznie stosowany próg sprawności przyjmował wartości rzędu 91%, co, uwzględniając powtarzalność klasyfikacji, potencjalnie pozwala wybrać tylko te rozwiązania, które w jak największym stopniu zapewniają uzyskiwanie sprawności nie niższych niż 90%.
Dokonując porównania metod selekcji danych pominięto metodę A-Karina zgodnie z uwagami z podrozdziału 6.3.3. Dodać można, że uwzględnienie metody A-Karina prowadziłoby do wyznaczenia relatywnie wysokich sprawność zastępczych, zbliżonych do sprawności charakteryzujących metodę SM+SFS i metodę sumy wag (zob. rys. 6.21).
□ FL(WTA(*)> E3 FL(AG-H*> ■ FFBP
a)
«CO 1a
»<n
Î3
•u•»
oc Sre
Lma (0
100.0
9 0 .0 8 0 .0 7 0 .0 6 0 .0 5 0 .0 4 0 .0 3 0 .0
20.0 10.0
0.0
SR+AG anal. SM+AG SM+SFS suma wag pruning
wrażliwości wag
b)
Rys. 6.21. Uporządkowanie metod selekcji danych według wzrastającej wartości sprawności zastępczej Sz, wyznaczonej z zastosowaniem progu sprawności SP=85% (a) i SP=90% (b)
Fig. 6.21. The order o f the data selection methods following increasing substitute performance values Sz determined with use of the performance threshold SP=85% (a)
and SP=90% (b)
Na rys. 6.21 przedstawiono uporządkowanie metod selekcji według wzrastających wartości sprawności zastępczej, wyznaczonej w przypadku integracji danych z zastosowaniem sieci neuronowej FFBP. W zbliżony sposób uporządkować można metody selekcji bazując na sprawnościach systemu logiki rozmytej. Występujące zróżnicowanie uporządkowania nie wpływa, jak uznano, na ocenę rozpatrywanych metod. Przedstawione na rys. 6.21 uporządkowanie oraz wartości sprawności zastępczej odzwierciedlają ogólnie rozumiane oceny przyznane metodom selekcji danych. Odwołując się do przyjętego w pierwszej części niniejszego podrozdziału podejścia, zdecydowanie dominujące w świetle uzyskanych wyników metody pruningu wag, sumy wag oraz SM+SFS oceniane są zgodnie z rys. 6.2 lb, a pozostałe metody zgodnie z rys. 6.2la.
W kolejnym kroku porównano zastosowane metody integracji danych. Koncentrując się na sprawnościach zastępczych wyznaczanych z zastosowaniem progu SPs90% (rys. 6.2lb), potwierdza się w niniejszych badaniach możliwość uznania systemu logiki rozmytej za alternatywną w stosunku do sieci neuronowej FFBP metodę integracji. Wskazać należy na wyższe sprawności zastępcze systemu FL, wyznaczone w przypadku integracji danych wyselekcjonowanych z zastosowaniem metody sumy wag i SM+SFS (zob. podrozdział 6.4).
Uwypukla się szczególnie przypadek metody sumy wag, ponieważ podejmując niniejsze badania autor zakładał, że najkorzystniejszą, naturalną konsekwencją selekcji danych metodą bazującą na sieci neuronowej FFBP jest zastosowanie sieci FFBP do integracji danych, jak to ma miejsce w przypadku metody pruningu wag. Kontynuując, zasadne jest jednakże podkreślenie wpływu analizowanego przedziału liczby danych na jednoznacznie korzystną ocenę systemu logiki rozmytej. Przypomina się w tym miejscu dyskutowany w podrozdziale 6.4 problem utraty zdolności generalizacji, ujawniający się w przypadku systemów FL o dużej liczbie wejść. Problematyczne jest także konstruowanie systemów FL z zastosowaniem danych, których wybór nie można uznać za w pełni poprawny. Uogólniając, wnioskuje się, iż w porównaniu z siecią neuronową FFBP system logiki rozmytej jest znacznie bardziej „czuły” na zarówno jakość, jak i ilość wprowadzanych informacji.
Podsumowując ocenę bazującą na wyznaczonych sprawnościach zastępczych autor stwierdza, że najwyższe sprawności klasyfikacji zużycia wierteł podczas wiercenia wielowrzecionowego uzyskać można dokonując wyboru istotnych danych metodą pruningu wag i realizując integrację danych z zastosowaniem sieci neuronowej FFBP. Akceptowalnie niższe sprawności klasyfikacji uzyskać można stosując do integracji wspomnianych danych system logiki rozmytej konstruowany z wykorzystaniem hybrydowej metody AG-H2.
Kontynuację niniejszych rozważań stanowi dyskusja uzupełniających kryteriów oceny metod selekcji i integracji danych (tab. 6.4 i tab. 6.5). Mając na uwadze opisy i wnioski przytaczane w poprzednich podrozdziałach przyjęto, że zestawienia z tab. 6.4 i tab. 6.5 nie wymagają rozbudowanych komentarzy. Stąd też dyskusję ogranicza się do wybranych zagadnień, głównie tych, które nie były dotychczas analizowane.
Komentując zestawienie z tab. 6.4, w pierwszym kroku zwraca się uwagę na kryterium kosztów obliczeniowych. W przypadku metod bazujących na sieci neuronowej FFBP, 5-krotne powtórzenie treningu sieci 26-6-3 wymagało czasu rzędu 2+3 minut. Następnie zbliżony czas wymagany był do przeprowadzenia pruningu wag. Uznano, że tak znikome czasy treningu upoważniają do takiej samej oceny metod sumy wag i analizy wrażliwości jak metody SM+SFS. Natomiast w przypadku metody pruningu wag obniżono punktację wyrażającą stopień spełnienia rozważanego w tym miejscu kryterium. Zdecydowanie najdłuższy czas wymagany był do dokonania oceny istotności danych metodami SM+AG i SR+AG. Zaznacza się, że czas trwania pojedynczej symulacji algorytmu genetycznego był relatywnie niewielki,
Tabela 6.4 1 niski koszt obliczeniowy w fazie konstruowania + + / -2 duża powtarzalność wartości parametrów + / - + / powtarzanie symulacji AG, wynikające z konieczności niezależnego wyboru podzbiorów danych o zadanej liczbie wejść (SM+AG) lub żmudnego poszukiwania wartości UPw, umożliwiających wybór kolejnych podzbiorów danych (SR+AG).
Analizując pozostałe kryteria uznano powtarzalność metod selekcji bazujących na sieci FFBP za najniższą spośród analizowanych. Następnie, nie wykazano możliwości wyboru quasi-optymalnego podzbioru danych poprzez analizę wartości śladu macierzy rozproszenia Jsm i współczynnika kary UPW. Oznacza to, że wartości JSm i UPw nie odzwierciedlały wyraźnych zmian sprawności klasyfikacji (zob. rys. 6.15 i rys. 6.16). Potwierdzono natomiast możliwość zastosowania progu istotności IDPs50% do wyboru ąuasi-optymalnych podzbiorów danych w przypadku metody sumy wag i pruningu wag, tj. stosując IDPs50%
uzyskiwano podzbiory 6+7 wejść i sprawności powyżej 95%. Dodaje się, iż możliwe było
zwiększenie wartości progu w odniesieniu do metody pruningu wag (IDPs60%+70%).
W przypadku metody analizy wrażliwości uzyskanie sprawności powyżej 90% wymagało obniżenia wartości progu (IDPs40%), co też spowodowało obniżenie oceny stopnia spełnienia rozważanego kryterium
Porównanie sieci neuronowej FFBP i systemu logiki rozmytej w świetle uzupełniających kryteriów oceny metod integracji danych przedstawiono w tab. 6.5. Dokonując wybiórczych komentarzy zwraca się uwagę na kryterium powtarzalności wyznaczania parametrów i kryterium kosztów obliczeniowych. W pierwszym przypadku wykazano, że konstruowanie zarówno sieci neuronowej FFBP, jak i systemu logiki rozmytej charakteryzuje się zbliżoną, jakkolwiek nie zawsze w pełni zadowalającą powtarzalnością. Wskazuje się na przypadki występowania zróżnicowania uzyskiwanych sprawności klasyfikacji o więcej niż 3 błędy klasyfikacji. Zaznacza się jednakże, że wspomniane zróżnicowanie występowało głównie w symulacjach sieci neuronowej FFBP, w których uzyskiwano niskie sprawności klasyfikacji oraz w symulacjach systemu FL, w których nie uzyskiwano zbliżonych wartości ERMs w fazie konstruowania bazy reguł z zastosowaniem metod hybrydowych AG-H* .
Porównanie sieci neuronowej i systemu logiki rozmytej w świetle kryterium kosztów obliczeniowych jest zdecydowanie utrudnione ze względu na znaczny wpływ liczby wejść, liczby reguł i metod konstruowania bazy reguł systemu FL. Porównując czas konstruowania sieci FFBP i systemu FL o 5 wejściach nie dostrzega się wyraźnego zróżnicowania (wymagany był czas rzędu 10+15 minut). Natomiast zwiększenie liczby wejść, a szczególnie zwiększenie początkowej liczby reguł, powodowało zdecydowany wzrost czasu koniecznego do skonstruowania systemu logiki rozmytej. Wskazuje się w tym przypadku na szczególnie długotrwałe symulacje algorytmu genetycznego (czas rzędu godzin). Długotrwały był także trening z zastosowaniem algorytmu BP w przypadku konstruowania bazy reguł z zastosowaniem metody WTA(*) i zazwyczaj dużej liczby reguł.
Podejmując ostatecznie próbę skojarzenia ocen metod selekcji i integracji danych w świetle wyznaczonych sprawności zastępczych oraz kryteriów uzupełniających zauważa się zbieżność ocen w przypadku metod integracji. Uznanie sieci neuronowej FFBP za metodę korzystniejszą znajduje swoje odzwierciedlenie w ocenie bazującej na kryteriach uzupełniających. Szczególnie uwypukla się większą zdolność uczenia i generalizacji, a także niższy koszt obliczeniowy. Natomiast próba uogólnienia oceny metod selekcji wydaje się być znacznie bardziej kłopotliwa. Analizując sumaryczną punktację z tab. 6.4, wskazać można na zbieżność ocen metod charakteryzujących się niskimi wartościami sprawności zastępczej.
Pominąć jednakże należy metodę analizy wrażliwości, której ocena z tab. 6.4 wskazywać może na atrakcyjność tej metody. W przypadku pozostałych metod występuje małe zróżnicowanie sumarycznej punktacji z tab. 6.4, co nie w pełni odpowiada jednoznacznej ocenie bazującej na sprawności zastępczej.