Eksperyment obliczeniowy i analiza jego wyników

Dla opisanych w poprzednim punkcie modelowych danych i klasykacji dia-gnostycznych skonstruowano procedury selekcjonuj¡ce zgodnie z zaªo»eniami przedstawionymi w p. 3.4.3. Odpowiednie klasykatory Tci;cj przeznaczone do separowania klas diagnostycznych konstruowano jako dwuklasowe ma-szyny SVM z elastycznym marginesem, o jednej staªej regularyzacyjnej C, optymalizuj¡c je na podstawie zbiorów ^fZci ^[Zcj^g zawieraj¡cych przykªa-dowe dane z odpowiednich klas ci i cj. Zastosowano przy tym gaussowskie j¡dro radialneK(^s;^si) = exp[^? (^ks?si^k2)] z parametrem > 0. Maszyny SVM tego typu opisano w punkcie 1.3. Do ich skonstruowania wykorzy-stano oprogramowanie LIBSVM ([Chang 2001]). Warto±ci parametrówC i dobrano oceniaj¡c kolejne realizacje maszyny SVM na zbiorze ucz¡cym, me-tod¡ walidacji krzy»owej. Parametry i wªasno±ci otrzymanych maszyn SVM przedstawia tabl. 4.2.

Z u»yciem skonstruowanych maszyn SVM Tci;cj przeanalizowano odpo-wiednie podzbiory danych ucz¡cych, by zgodnie z procedur¡ opisan¡ na s.

64, zbudowa¢ histogramy rozkªadu wielko±ci  stanowi¡cej argument funk-cji decyzyjnej klasykatora SVM y=sgn(^? ⁰) ¹. Analiz¦ t¦ przeprowa-dzono dla ka»dej skonstruowanej maszyny SVM, odpowiednio dla obydwu

1Przyjmuj¡c w (1.10) na s. 19 ^=PnSVi y^iiK^(si;^s)oraz ^0=?b.

4.2 Eksperyment obliczeniowy i analiza jego wyników 77 separowanych przez ni¡ klas diagnostycznych. Nast¦pnie otrzymane histo-gramy unormowano i dokonano dopasowa« do nich ² funkcji logistycznych cdfdci;cj^:ck() = 1=[1 + exp[(^?)]]. Parametry dopasowanych funkcji logi-stycznych podaje tabl. 4.3. Dodatkowo na rysunkach 4.1 i 4.2 przedstawiono histogramy oraz wykresy dopasowanych funkcji logistycznych otrzymane dla klasykacji^C4.

Z my±l¡ o analizie porównawczej wyników selekcji, dla maszyn SVM se-paruj¡cych klasy ^fc¹=^2g = ^C+ i ^fc²=^2g = ^C?, odpowiednio ^fu¹=^2g = ^C+u i u²=² = ^C?u, aproksymowano rozkªady prawdopodobie«stwa a posteriori P(^C+js) oraz P(^C+ujs), jako logistyczne (sigmoidalne) zale»no±ci funkcyjne (1.12). Wykorzystano do tego celu odpowiedni¡ opcj¦ oprogramowania LIB-SVM ³. Znajomo±¢ powy»szych rozkªadów prawdopodobie«stw a posteriori pozwala selekcjonowa¢ dane zgodnie z klasyczn¡ reguª¡ bayesowsk¡, nakazu-j¡c¡ podejmowa¢ decyzj¦d^(^s)^2fd⁺;d^?g, dla której oczekiwana jest ni»sza strataL(di^js), obliczana wedªug formuªy (3.30) ze s. 47, przy uwzgl¦dnieniu funkcji strat zadanej macierz¡ (4.7).

Š¡cz¡c odpowiednie maszyny SVM w zespoªy sklasykowano zbiór te-stowy danych Abalone, stosuj¡c wariantowo dwa proponowane w rozprawie podej±cia do: (A) kodowania wyników jako funkcji przekonania: inkluzywne (inc) i ekskluzywne (exc), oraz (B) do skªadu zespoªu jako: uniwersalnego (uni) albo selekcjonuj¡cego (sel). Decyzje o przypisaniu obiektu do danej klasy podejmowano przy tym na podstawie porówna« warto±ci straty oczeki-wanej (3.40, s. 50), wynikaj¡cej odpowiednio z zaakceptowania albo odrzu-cenia badanego obiektu, obliczanej przy zastosowaniu operatora OWA jako operatora agregacji (3.41.2). Dla porównania, wyniki klasykatorów w zespo-ªach agregowano równie» drog¡ gªosowania wi¦kszo±ciowego (ang. majority voting). W tym przypadku zespoªy tworzyªy wyª¡cznie maszyny SVM sepa-ruj¡ce klasy diagnostyczne nale»¡ce do odmiennych klas decyzyjnych. Wynik ka»dej z maszyn interpretowano jako gªos przyznawany klasie decyzyjnej, do której nale»aªa klasa diagnostyczna wskazana przez t¦ maszyn¦. Liczb¦ kla-sykatorów skªadaj¡cych si¦ na zespóª w ka»dym z rozpatrywanych warian-tów procedury selekcjonuj¡cej podaje tabl. 4.4. Uzyskan¡ dokªadno±¢ selekcji danych przy zaªo»eniu symetrycznej funkcji strat (4.7),  = 1, przedstawia tabl. 4.5.

2U»yto w tym celu procedury nlintw oprogramowaniu MATLAB Statistics Toolbox, b¦d¡cej implementacj¡ nieliniowej metody najmniejszych kwadratów Gaussa-Newtona.

3Metod¦ t¦ opisano na s. 41. Wersj¦ algorytmu [Platt 2000], która zostaªa zaimple-mentowana w oprogramowaniu LIBSVM [Chang 2001] podali Lin, Lin i Weng [Lin 2007].

78 Rozdziaª 4. Analiza wªasno±ci zaproponowanej metody

Tabl. 4.2: Wªasno±ci maszyn SVM stanowi¡cych klasykatoryTci;cj(w %): ACCZ, ACC  ±rednia dokªadno±¢ klasykacji zbioru ucz¡cego i zbioru testowego;
ACCZ,

ACC  odchylenie standardowe tych ±rednich. Parametry SVM:  parametr j¡dra gaussowskiego,C warto±¢staªej regularyzacyjnej,nV  liczba przykªadów w zbiorze ucz¡cym,nSV  liczba wektorów podpieraj¡cych, w tymnBSV wektorów le»¡cych poza pªaszczyzn¡ kanoniczn¡ SVM

cⁱ;c^j ACC^Z
ACC^Z ACC
ACC C nSV nBSV nV

c²⁼²;c¹⁼² 80.88 0.70 79.50 1.25 0.090 11000 1435 686 3133 c³⁼⁴;c¹⁼⁴ 91.58 0.72 92.24 1.24 0.070 5000 320 142 1496 c³⁼⁴;c²⁼⁴ 71.45 1.07 68.20 1.92 0.070 10500 1191 570 1790 c⁴⁼⁴;c¹⁼⁴ 95.23 0.58 95.39 0.98 0.080 9000 197 80 1343 c⁴⁼⁴;c²⁼⁴ 83.69 0.91 82.07 1.59 0.070 6000 670 315 1637 c³⁼⁴;c⁴⁼⁴ 71.84 1.13 73.43 1.96 0.060 10000 1051 498 1573 c¹⁼⁴;c²⁼⁴ 82.88 0.95 83.21 1.61 0.040 6000 633 305 1560 c⁴⁼⁶;c¹⁼⁶ 91.10 0.85 89.71 1.62 0.020 7000 274 126 1123 c⁴⁼⁶;c²⁼⁶ 73.58 1.46 71.68 2.66 0.010 6300 545 257 916 c⁴⁼⁶;c³⁼⁶ 65.79 1.51 58.43 2.70 0.040 10000 804 385 991 c⁵⁼⁶;c¹⁼⁶ 93.20 0.73 93.52 1.23 0.010 9500 243 113 1192 c⁵⁼⁶;c²⁼⁶ 82.84 1.20 81.90 2.10 0.070 9000 434 200 985 c⁵⁼⁶;c³⁼⁶ 71.98 1.38 68.15 2.38 0.050 10000 713 339 1060 c⁶⁼⁶;c¹⁼⁶ 96.02 0.57 95.73 1.04 0.070 8000 144 57 1157 c⁶⁼⁶;c²⁼⁶ 89.58 0.99 88.75 1.79 0.050 8000 269 116 950 c⁶⁼⁶;c³⁼⁶ 83.80 1.15 84.31 1.92 0.040 7000 418 195 1025 c⁴⁼⁶;c⁵⁼⁶ 61.68 1.50 56.05 2.70 0.110 9400 904 429 1049 c⁴⁼⁶;c⁶⁼⁶ 77.71 1.31 82.11 2.17 0.100 10000 577 266 1014 c⁵⁼⁶;c⁶⁼⁶ 72.39 1.36 72.80 2.33 0.005 10000 742 360 1083 c¹⁼⁶;c²⁼⁶ 78.66 1.26 77.87 2.23 0.050 4500 526 251 1059 c¹⁼⁶;c³⁼⁶ 87.13 0.99 85.03 1.80 0.060 5000 373 174 1134 c²⁼⁶;c³⁼⁶ 64.83 1.57 65.15 2.62 0.010 9500 699 337 927 u¹⁼²;u²⁼² 90.78 0.52 90.90 0.89 0.150 1000 694 318 3133 c¹⁼⁵;c²⁼⁵ 83.21 0.95 82.84 1.63 0.085 9000 623 295 1560 c¹⁼⁵;c³⁼⁵ 91.81 0.82 90.86 1.54 0.080 9000 265 115 1123 c¹⁼⁵;c⁴⁼⁵ 93.62 0.71 94.02 1.18 0.080 9000 223 96 1192 c¹⁼⁵;c⁵⁼⁵ 96.37 0.55 95.47 1.07 0.085 9000 145 54 1157 c²⁼⁵;c³⁼⁵ 70.43 1.21 72.36 2.05 0.075 1000 911 443 1417 c²⁼⁵;c⁴⁼⁵ 77.52 1.08 74.29 1.91 0.200 2000 804 374 1486 c²⁼⁵;c⁵⁼⁵ 87.11 0.88 87.17 1.50 0.090 2000 478 223 1451 c³⁼⁵;c⁴⁼⁵ 62.06 1.50 57.82 2.68 0.200 2000 903 433 1049 c³⁼⁵;c⁵⁼⁵ 77.51 1.31 80.83 2.22 0.300 1000 586 271 1014 c⁴⁼⁵;c⁵⁼⁵ 73.78 1.34 74.18 2.29 0.200 1000 710 335 1083

4.2 Eksperyment obliczeniowy i analiza jego wyników 79

0.02 0.03 0.04 0.05 0.06 0

0.11 0.115 0.12 0.125 0.13 0

Rys. 4.1: Unormowane histogramy rozkªadu wielko±ci  stanowi¡cej argument funkcji decyzyjnej y=sgn(^?⁰) maszyn SVM skonstruowanych jako klasykatory Tci;cj dla klasykacji ^C4; ^{kw k} oznacza dªugo±¢ wektora deniuj¡cego pªaszczyzn¦

kanoniczn¡ maszyny SVM. Linia pionowa przebiega przez punkty o odci¦tej⁰=^{kw k}

ρ/|w|

0.02 0.03 0.04 0.05 0.06 0

0.11 0.115 0.12 0.125 0.13 0

Rys. 4.2: Wykresy funkcji logistycznych ^cdfdci;cj^:ck aproksymuj¡cych dystrybu-anty g¦sto±ci rozkªadów zmiennejna podstawie histogramów przedstawionych na rys. 4.1; parametry funkcji logistycznych podano w tabl. 4.3

80 Rozdziaª 4. Analiza wªasno±ci zaproponowanej metody

Tabl. 4.3: Parametry funkcji ^cdfdci;cj^:ck⁽^{) = 1}=^[1+exp[(^?^)]] aproksymu-j¡cych dystrybuanty g¦sto±ci rozkªadów wielko±ci  stanowi¡cej argument funkcji decyzyjnej y=sgn(^?⁰) maszyn SVM skonstruowanych jako klasykatoryTci;cj

c^k= cⁱ c^j ⁰

cⁱ;c^j :    

c²⁼²;c¹⁼²: -992.090 -0.014 -1025.170 -0.018 -0.016 c³⁼⁴;c¹⁼⁴: -333.117 -0.134 -674.199 -0.146 -0.140 c³⁼⁴;c²⁼⁴: -751.505 -0.024 -837.499 -0.027 -0.025 c⁴⁼⁴;c¹⁼⁴: -286.902 0.043 -531.855 0.025 0.034 c⁴⁼⁴;c²⁼⁴: -363.207 0.055 -670.395 0.048 0.052 c³⁼⁴;c⁴⁼⁴: -944.197 0.122 -619.709 0.119 0.120 c¹⁼⁴;c²⁼⁴: -449.532 0.038 -827.286 0.032 0.036 c⁴⁼⁶;c¹⁼⁶: -320.808 -0.296 -711.852 -0.306 -0.300 c⁴⁼⁶;c²⁼⁶: -498.724 -0.348 -500.101 -0.352 -0.350 c⁴⁼⁶;c³⁼⁶: -677.602 0.041 -815.090 0.040 0.041 c⁵⁼⁶;c¹⁼⁶: -311.150 -0.327 -796.476 -0.338 -0.333 c⁵⁼⁶;c²⁼⁶: -528.714 -0.089 -781.142 -0.093 -0.090 c⁵⁼⁶;c³⁼⁶: -684.820 -0.006 -807.186 -0.008 -0.007 c⁶⁼⁶;c¹⁼⁶: -218.845 0.058 -596.351 0.040 0.049 c⁶⁼⁶;c²⁼⁶: -337.874 -0.023 -657.233 -0.033 -0.029 c⁶⁼⁶;c³⁼⁶: -352.184 0.035 -663.958 0.028 0.031 c⁴⁼⁶;c⁵⁼⁶: -1023.210 0.012 -1291.580 0.011 0.012 c⁴⁼⁶;c⁶⁼⁶: -696.287 0.019 -577.377 0.014 0.017 c⁵⁼⁶;c⁶⁼⁶: -982.089 -0.095 -808.825 -0.097 -0.096 c¹⁼⁶;c²⁼⁶: -664.386 0.087 -408.384 0.080 0.084 c¹⁼⁶;c³⁼⁶: -838.589 0.093 -482.824 0.084 0.090 c²⁼⁶;c³⁼⁶: -485.312 0.234 -4536.780 0.231 0.235 u¹⁼²;u²⁼²: -169.665 -0.000 -477.532 -0.015 -0.004 c¹⁼⁵;c²⁼⁵: -934.796 -0.044 -1090.230 -0.049 -0.046 c¹⁼⁵;c³⁼⁵: -1297.040 0.122 -549.177 0.113 0.118 c¹⁼⁵;c⁴⁼⁵: -1143.800 0.076 -352.469 0.064 0.072 c¹⁼⁵;c⁵⁼⁵: -571.648 -0.046 -248.153 -0.064 -0.052 c²⁼⁵;c³⁼⁵: -451.201 0.061 -185.130 0.054 0.051 c²⁼⁵;c⁴⁼⁵: -558.348 0.072 -296.950 0.065 0.068 c²⁼⁵;c⁵⁼⁵: -404.683 -0.015 -196.110 -0.029 -0.022 c³⁼⁵;c⁴⁼⁵: -535.787 0.018 -667.639 0.016 0.018 c³⁼⁵;c⁵⁼⁵: -276.889 0.049 -225.771 0.038 0.046 c⁴⁼⁵;c⁵⁼⁵: -332.028 0.022 -236.065 0.015 0.019

4.2 Eksperyment obliczeniowy i analiza jego wyników 81

Tabl. 4.4: Liczba klasykatorów w zespole w zale»no±ci od wariantu klasykacji diagnostycznej (Wariant) oraz metody agregowania wyników; uwzgl¦dniono rów-nie» jednolity bayesowski klasykator referencyjny (Klas. ref.)

War- Klas. Zespóª klasykatorów

-iant ref. voting inc-uni inc-sel exc-uni exc-sel Dane o zrównowa»onej cz¦sto±ci wyst¦powania klas

C

2 1 1 1 1 1 1

C

4  4 6 4 6 4

C

6  9 15 9 15 9

Dane o niezrównowa»onej cz¦sto±ci wyst¦powania klas

Cu² 1 1 1 1 1 1

Cu⁴  3 6 3 6 3

Cu⁵  4 10 4 10 4

Cu⁶  5 15 5 15 5

Tabl. 4.5: Dokªadno±¢ selekcji zbioru testowego danych Abalone, prowadzonej za pomoc¡ zespoªów klasykatorówzbudowanych przy ró»nych wariantachklasykacji diagnostycznej oraz jednolitego bayesowskiego klasykatora referencyjnego (Klas.

ref.); wielko±ci podano w %, w nawiasach procent przypadków nierozstrzygni¦tych;

bª¦dy podanych warto±ci wahaj¡ si¦ w granicach 0.9 - 1.3 punktu procentowego;

dla wielko±ci 42.0 i 66.7 bª¡d wynosi okoªo 1.5 punktu

War- Klas. Zespóª klasykatorów

-iant ref. voting inc-uni inc-sel exc-uni exc-sel Dane o zrównowa»onej cz¦sto±ci wyst¦powania klas

C

2 79.8 (0.0) 79.5 (0.0) 80.0 (0.0) 80.0 (0.0) 80.0 (0.0) 80.0 (0.0)

C

4  70.6 (17.1) 76.2 (0.0) 79.0 (0.0) 78.6 (0.0) 79.8 (0.0)

C

6  79.6 (0.0) 66.7 (0.7) 78.4 (0.4) 78.1 (0.0) 78.7 (0.0) Dane o niezrównowa»onej cz¦sto±ci wyst¦powania klas

Cu² 84.4 (0.0) 90.9 (0.0) 89.3 (0.0) 89.3 (0.0) 89.3 (0.0) 89.3 (0.0)

Cu⁴  85.1 (0.0) 88.2 (0.1) 90.1 (0.1) 91.1 (0.0) 91.0 (0.0)

Cu⁵  79.0 (5.4) 82.4 (3.4) 87.3 (0.0) 90.3 (0.0) 91.3 (0.0)

Cu⁶  82.8 (0.0) 81.0 (0.7) 42.0 (0.0) 90.7 (0.0) 88.4 (0.0)

82 Rozdziaª 4. Analiza wªasno±ci zaproponowanej metody

W tabl. 4.5, w wierszach ^C2 i ^Cu2 podano warto±ci dokªadno±ci selekcji danych uzyskane w procedurze niezdekomponowanej, prowadzonej przy u»y-ciu pojedynczej maszyny SVM, separuj¡cej bezpo±rednio klas¦ akceptowan¡

od dyskwalikowanej (odpowiednio c¹=² od c²=² albo u¹=² od u²=²). Wynik dziaªania tej maszyny ka»dorazowo interpretowano na trzy sposoby:

 zgodnie z reguª¡ bayesowsk¡, na podstawie aproksymowanych dla tej ma-szyny rozkªadówprawdopodobie«stwaa posteriori (klasykatorreferencyjny);

 bezpo±rednio jako binarne rozstrzygni¦cie maszyny SVM, co formalnie od-powiada podejmowaniu decyzji drog¡ gªosowania wi¦kszo±ciowego (voting);

 jako przesªanek kodowanych w postaci funkcji podstawowego przypisania prawdopodobie«stwa m; w tym szczególnym przypadku  zespoªu zªo»o-nego z jedzªo»o-nego klasykatora  funkcje m obliczane w podej±ciu inkluzyw-nym (3.58.1) i ekskluzywinkluzyw-nym (3.58.1), s. 60, s¡ identyczne, zatem wszystkie cztery warianty konstrukcyjne zespoªu inc/exc-uni/sel s¡ sobie równowa»ne.

Jak mo»na zauwa»y¢, w zastosowaniu do selekcjonowania danych zrów-nowa»onych, wszystkie porównywane sposoby interpretacji wyników maszyn SVM doprowadziªy do wyników równych sobie w granicach bª¦du statystycz-nego. Natomiast w zastosowaniu do danych niezrównowa»onych, interpreta-cja bayesowska daªa istotnie gorsze wyniki ni» pozostaªe porównywane. Mo»e to by¢ skutkiem niedokªadno±ci aproksymacji prawdopodobie«stw a poste-riori na podstawie danych ucz¡cych, w warunkach niezrównowa»enia cz¦sto±ci wyst¦powania klas.

Analizuj¡c wpªyw liczby wprowadzonych klas diagnostycznych  stopie«

zdekomponowania procedury  na uzyskiwan¡ dokªadno±¢ selekcji, na pod-stawie wyników podanych w tabl. 4.5 mo»na sformuªowa¢ poni»sze wnioski.

Dla danych zrównowa»onych:

1. w zespoªach agregowanych drog¡ gªosowania (voting) dekompozycja proce-dury nie obni»yªa dokªadno±ci selekcji gdy zespóª skªadaª si¦ z 9 klasyka-torów (klasykacja^C6), natomiast parzysta liczba klasykatorów w zespole, 4 dla klasykacji ^C4, spowodowaªa znacz¡ce obni»enie dokªadno±ci wskutek wyst¡pienia remisów w gªosowaniu;

2. w przypadku zespoªów agregowanych drog¡ kombinowania funkcjim, wy»sza dokªadno±¢ selekcji osi¡gana jest gdy funkcje m tworzone s¡ w podej±ciu ekskluzywnym (exc) ni» w podej±ciu inkluzywnym (inc); jest ona te» wy»sza w zespoªach selekcjonuj¡cych (sel) ni» w uniwersalnych (uni).

Dla danych niezrównowa»onych:

1. zespoªy agregowane drog¡ gªosowania (voting) osi¡gaj¡ ogólnie ni»sz¡ do-kªadno±¢ selekcji ni» zespoªy agregowane drog¡ kombinowania funkcjim. Ich dokªadno±¢ maleje te» wraz ze wzrostem stopnia dekompozycji, przy czym jest ona najni»sza dla zespoªu zªo»onego z parzystej liczby klasykatorów;

4.2 Eksperyment obliczeniowy i analiza jego wyników 83

2. w przypadku zespoªów agregowanych drog¡ kombinowania funkcji m, do-kªadno±¢ selekcji istotnie maleje wraz ze wzrostem stopnia dekompozycji gdy funkcje m tworzone s¡ w podej±ciu inkluzywnym (inc), natomiast gdy funkcjempowstaj¡ w podej±ciu ekskluzywnym (exc) dokªadno±¢ selekcji nie ulega istotnej degradacji wraz ze wzrostem stopnia dekompozycji. Wy»sza dokªadno±¢ selekcji osi¡gana jest w zespoªach uniwersalnych (uni).

W p. 1.5 wskazano, »e przy ocenie jako±ci procedur selekcjonuj¡cych dane masowe, obok dokªadno±ci klasykacji istotne znaczenie maj¡ czuªo±¢ i spe-cyczno±¢ procedury. Relacje mi¦dzy tymi dwiema wielko±ciami przedsta-wiane s¡ krzywymi ROC, opisanymi na s. 25. W ogólnej ocenie, za lepsze nale»y uzna¢ warianty klasykatorów, pod których krzyw¡ ROC znajduje si¦

powierzchnia (AUC) o wi¦kszym polu. W kontek±cie rozwa»anych w roz-prawie zespoªowych (zdekomponowanych) procedur selekcjonuj¡cych, ocenie powinny podlega¢ równie»:

 zgodno±¢ wyników procedury z wynikami jednolitego klasykatora staty-stycznego;

 stabilno±¢ uzyskiwanych wyników przy zmianach stopnia dekompozycji pro-cedury, to jest liczby wprowadzonych klas diagnostycznych.

Zale»no±ci pomi¦dzy czuªo±ci¡ a specyczno±ci¡ selekcji danych zrówno-wa»onych uzyskane dla zespoªów agregowanych metod¡ gªosowania przedsta-wia rys. 4.3. Na rysunku tym ukazano równie» krzyw¡ ROC klasykatora referencyjnego  bayesowskiego  sparametryzowan¡ warto±ci¡ , oznacza-j¡c¡ w denicji (4.7) stosunek straty wynikaj¡cej z bª¦dnego odrzucenia do straty wynikaj¡cej z bª¦dnego zaakceptowania selekcjonowanej danej. Jak mo»na zauwa»y¢, wyniki zespoªu klasykatorów agregowane drog¡ gªosowa-nia okazuj¡ si¦ zgodne z wynikami klasykatora referencyjnego. S¡ one te»

stabilne przy wzro±cie liczby klasykatorów w zespole. Zalet¡ agregowania wyników metod¡ gªosowania jest jej maªy koszt obliczeniowy.

Gªosowanie mo»e by¢ stosowane jako metoda agregowania wyników ze-spoªu klasykatorów, o ile dopuszczalnym jest, by zaªo»ony stosunek czuªo±ci do specyczno±ci selekcji pozostawaª staªy podczas eksploatowania proce-dury. Gdy zmieniaj¡ce si¦ warunki eksploatacji czyni¡ koniecznym dokªadne dostrajanie aktualnego punktu pracy procedury selekcjonuj¡cej  warto±ci stosunku czuªo±ci do specyczno±ci  niezb¦dne s¡ inne metody agregowania wyników (por. s. 41). Pªynna zmiana punktu pracy (warto±ci stosunku

czuªo-±ci do specycznoczuªo-±ci) jest mo»liwa w zespoªach klasykatorów agregowanych drog¡ kombinowania funkcji podstawowego przypisania prawdopodobie«stwa m. W ich przypadku na czuªo±¢ i specyczno±¢ procedury selekcjonuj¡cej mo»na wpªywa¢ poprzez zmian¦ warto±ci funkcji strat (4.7).

84 Rozdziaª 4. Analiza wªasno±ci zaproponowanej metody

Rys. 4.3: Selekcja modelowych danych o proporcji cz¦sto±ci wyst¦powania klas

1 :1. Krzywa ROC z naniesionymi punktami pracy zespoªu zªo»onego z 4 (po lewej) oraz 9 (po prawej) klasykatorów agregowanych metod¡ gªosowania, przy ró»nych wymaganiach co do minimalnej liczby gªosów oddanych za akceptacj¡ da-nych (odpowiednio 1 - 4 oraz 1 - 9), punkty poª¡czono krzyw¡ schodkow¡. Przed-stawiono równie» (kolorem szarym) krzyw¡ ROC klasykatora bayesowskiego, spa-rametryzowan¡ wielko±ci¡  oznaczaj¡c¡ stosunek straty wynikaj¡cej z bª¦dnego odrzucenia do straty wynikaj¡cej z bª¦dnego zaakceptowania selekcjonowanej danej

Cz¦±¢ testow¡ danych Abalone poddano selekcji z wykorzystaniem ka»-dego z czterech proponowanych w punkcie 3.4.3 wariantów zespoªu klasyka-torówinc/exc-uni/sel. Selekcji dokonano zakªadaj¡c wiele ró»nych warto±ci parametru , tak by uzyskane serie wyników, przedstawione jako punkty na pªaszczy¹nie odzwierciedliªy przebieg krzywej ROC badanego zespoªu

klasy-katorów. Prezentowane na wykresach wyniki przedstawiono wraz z krzyw¡

ROC wyznaczon¡ dla klasykatora referencyjnego, podobnie sparametryzo-wan¡ warto±ci¡ zmiennej wyst¦puj¡cej w denicji (4.7) funkcji strat poda-nej na s. 75.

Wyniki uzyskane dla danych zrównowa»onych zbiorczo ukazuje rys. 4.4, a wybrane punkty przedstawiono na rys. 4.5. Stosuj¡c kryterium oceny jako±ci klasykatorów jakim jest pole powierzchni pod krzyw¡ ROC, na podstawie rys. 4.4 mo»na stwierdzi¢, »e wzrastaj¡cy stopie« dekompozycji w najwi¦k-szym stopniu degraduje jako±¢ procedury selekcjonuj¡cej tworzonej w wa-riancie inc-uni. Z kolei analizuj¡c rys. 4.5 mo»na zauwa»y¢, »e wªasno±ci u»ytkowe funkcjim tworzonych w podej±ciu inkluzywnyminc znacz¡co za-le»¡ od arbitralnie zakªadanego stopnia dekompozycji zadania. Dla ka»dego zaªo»onego stopnia dekompozycji, zapewnienie zgodno±ci wyników selekcji (poªo»enia punktu pracy na krzywej ROC) pomi¦dzy zespoªem

klasykato-4.2 Eksperyment obliczeniowy i analiza jego wyników 85 rów a jednolitym klasykatorem referencyjnym wymaga niezale»nego doboru warto±ci parametru . Natomiast gdy funkcje m konstruowane s¡ w

podej-±ciu ekskluzywnymexc, ich wªasno±ci u»ytkowe s¡ stabilne wzgl¦dem zmiany stopnia dekompozycji.

Podobne wnioski mo»na sformuªowa¢ na podstawie wyników ukazanych dla procedur selekcjonuj¡cych dane niezrównowa»one, ukazanych na rysun-kach 4.6 i 4.7. W ich przypadku, wªasno±ci u»ytkowe funkcji m wykazuj¡

jednak mniejsz¡ stabilno±¢ przy zwi¦kszaniu stopnia dekompozycji zadania.

W wariancie procedury ins-sel, przy najwy»szym rozwa»onym stopniu de-kompozycji zadania (6 klas diagnostycznych) obserwowana jest caªkowita degradacja jako±ci procedury.

Podsumowuj¡c, w zastosowaniu do standardowych danych Abalone, za-proponowana w rozprawie metoda konstruowania zdekomponowanych pro-cedur selekcji danych, drog¡ podziaªu pierwotnego zadania pomi¦dzy zespóª klasykatorów, okazuje si¦ efektywna. Jako±¢ otrzymanych t¡ metod¡ pro-cedur nie ust¦puje klasykatorowi bayesowkiemu, a w przypadku nierównej cz¦sto±ci wyst¦powania klas danych  gdy dane s¡ niezrównowa»one  nawet mo»e by¢ wy»sza. Z dwóch rozwa»onych w ramach proponowanej metody podej±¢ do konstrukcji funkcji podstawowego przypisania prawdopodobie«-stwa, koduj¡cych wyniki poszczególnych klasykatorów w zespole: inkluzyw-nego (inc) i ekskluzywnego (exc), podej±cie ekskluzywneprowadzi do powsta-nia procedur selekcji, których wska¹niki jako±ci w mniejszym stopniu zale»¡

od liczby wprowadzanych klas diagnostycznych  stopnia dekompozycji za-dania. Ponadto bez obni»enia jako±ci selekcji, w miejsce zespoªów peªnych

 uniwersalnych (uni)  zªo»onych ze wszystkich klasykatorów binarnych mo»liwych do skonstruowania przy wprowadzonej klasykacji diagnostycz-nej, mo»na zastosowa¢ zespoªy uproszczone  selekcjonuj¡ce (sel)  zªo»one z wybranych klasykatorów, co redukuje koszt oblicze« prowadzonych podczas selekcji danych.

86 Rozdziaª 4. Analiza wªasno±ci zaproponowanej metody

Rys. 4.4: Selekcja modelowych danych o proporcji cz¦sto±ci wyst¦powania klas

1 :1. Krzywe ROC z naniesionymi punktami pracy procedur selekcjonuj¡cych o funkcji strat sparametryzowanej warto±ci¡, równ¡ stosunkowi kosztu bª¦dnego odrzucenia do kosztu bª¦dnego zaakceptowania danych. Przedstawiono rezultaty dla procedur skonstruowanych przy ró»nym wyborze klasykatorów skªadaj¡cych si¦ na procedur¦ oraz ró»nym podej±ciu do kodowania ich wyników: uni  wszystkie klasykatory, sel  wyª¡cznie klasykatory separuj¡ce klasy diagnostyczne impli-kuj¡ce przeciwstawne decyzje; inc  podej±cie inkluzywne, exc  podej±cie eksklu-zywne. Koªa odpowiadaj¡ klasykatorowi jednolitemu, kwadraty zespoªowi z 4, a trójk¡ty z 6 klasami diagnostycznymi. Przedstawiono równie» (kolorem szarym) krzyw¡ ROC klasykatora bayesowskiego o funkcji strat zale»nej od. Fragmenty wykresów ukazano dodatkowo w powi¦kszeniu dla zwi¦kszenia czytelno±ci

4.2 Eksperyment obliczeniowy i analiza jego wyników 87

Rys. 4.5: Selekcja modelowych danych o proporcji cz¦sto±ci wyst¦powania klas

 1 : 1. Krzywa ROC z naniesionymi wybranymi punktami pracy procedur se-lekcjonuj¡cych o funkcji strat sparametryzowanej warto±ci¡ , równ¡ stosunkowi kosztu bª¦dnego odrzucenia do kosztu bª¦dnego zaakceptowania danych. Przed-stawiono rezultaty dla procedur skonstruowanych przy ró»nym wyborze klasyka-torów skªadaj¡cych si¦ na procedur¦ oraz podej±ciu do kodowania ich wyników:

uni  wszystkie klasykatory, sel  wyª¡cznie klasykatory separuj¡ce klasy dia-gnostyczne implikuj¡ce przeciwstawne decyzje; inc  podej±cie inkluzywne, exc  podej±cie ekskluzywne. Koªa odpowiadaj¡ klasykatorowi jednolitemu, kwadraty zespoªowi z 4, a trójk¡ty z 6 klasami diagnostycznymi. Dla zwi¦kszenia

czytelno-±ci punkty odpowiadaj¡ce tym samym wartoczytelno-±ciom parametru otoczono liniami kropkowanymi. Przedstawiono równie» krzyw¡ ROC klasykatora bayesowskiego (kolorem szarym) o funkcji strat zale»nej od , z wyró»nionymi punktami odpo-wiadaj¡cymi wybranym warto±ciom parametru (szare koªa)

88 Rozdziaª 4. Analiza wªasno±ci zaproponowanej metody

Rys. 4.6: Selekcja modelowych danych o proporcji wyst¦powania klasy akcepto-wanej do dyskwalikoakcepto-wanej^{1 : 4}. Pªaszczyzny ROC z naniesionymi punktami pracy procedur selekcjonuj¡cych o funkcji strat sparametryzowanej warto±ci¡ , równ¡ stosunkowi kosztu bª¦dnego odrzucenia do kosztu bª¦dnego zaakceptowa-nia danych. Przedstawiono rezultaty dla procedur skonstruowanych przy ró»nym wyborze klasykatorów skªadaj¡cych si¦ na procedur¦ oraz podej±ciu do kodo-wania ich wyników: uni  wszystkie klasykatory, sel  wyª¡cznie klasykatory separuj¡ce klasy diagnostyczne implikuj¡ce przeciwstawne decyzje; inc  podej±cie inkluzywne, exc  podej±cie ekskluzywne. Koªa odpowiadaj¡ klasykatorowi jed-nolitemu, kwadraty zespoªowi z 4, trójk¡ty o odwróconej podstawie z 5, a trójk¡ty z 6 klasami diagnostycznymi. Przedstawiono równie» krzyw¡ ROC klasykatora bayesowskiego (kolorem szarym) o funkcji strat zale»nej od. Fragmenty wykresów ukazano dodatkowo w powi¦kszeniu dla zwi¦kszenia czytelno±ci

4.2 Eksperyment obliczeniowy i analiza jego wyników 89

Rys. 4.7: Selekcja modelowych danych o proporcji wyst¦powania klasy akcepto-wanej do dyskwalikoakcepto-wanej^1:4. Pªaszczyzny ROC z naniesionymi wybranymi punktami pracy procedur selekcjonuj¡cych o funkcji strat sparametryzowanej war-to±ci¡, równ¡ stosunkowi kosztu bª¦dnego odrzucenia do kosztu bª¦dnego zaak-ceptowania danych. Przedstawiono rezultaty dla procedur skonstruowanych przy ró»nym wyborze klasykatorów skªadaj¡cych si¦ na procedur¦ oraz podej±ciu do kodowania ich wyników: uni  wszystkie klasykatory, sel  wyª¡cznie klasy-katory separuj¡ce klasy diagnostyczne implikuj¡ce przeciwstawne decyzje; inc  podej±cie inkluzywne, exc  podej±cie ekskluzywne. Koªa odpowiadaj¡ klasyka-torowi jednolitemu, kwadraty zespoªowi z 4, trójk¡ty o odwróconej podstawie z 5, a trójk¡ty z 6 klasami diagnostycznymi; w ka»dym z przedstawionych wariantów punkty odpowiadaj¡ce warto±ci⁼¹ lokuj¡ si¦ na osi rz¦dnych poni»ej punktów

⁼⁴. Przedstawiono równie» krzyw¡ ROC klasykatora bayesowskiego (kolorem szarym) o funkcji strat zale»nej od, z wyró»nionymi punktami odpowiadaj¡cymi wybranym warto±ciom parametru  (szare koªa). Fragmenty wykresów ukazano dodatkowo w powi¦kszeniu dla zwi¦kszenia czytelno±ci

90 Rozdziaª 4. Analiza wªasno±ci zaproponowanej metody