6. WYNIKI BADAŃ ETAPU WSTĘPNEGO
6.2. Weryfikacja utworzonych aproksymatorów ε-SVR
Obliczenia przeprowadzono w oparciu o bibliotekę Matlaba: LIBSVM [Chang i Lin 2009].
Ustalone jako optymalne w procesie budowy poszczególnych modeli parametry (ε, σ, C) oraz liczbę reprezentatywnych wektorów podpierających przedstawiono w tab. 6.5.
W tabeli 6.5 parametry ε, σ, C stanowią reprezentację poszczególnych modeli. Wpływają one w procesie optymalizacji na złoŜoność struktury sieci ε-SVR, wyraŜonej w liczbie wektorów podpierających. MoŜna stwierdzić, Ŝe w wyniku samoistnej
budo-wy, prowadzonej zgodnie z metodyką opisaną w rozdz. 5.4, redukcja liczebności utwo-rzonych struktur w stosunku do odpowiadających im liczebności zbiorów treningowych waha się w okolicy 50%. Jest to wynikiem regularyzacji obowiązującej w podejściu ε-SVR. Natomiast wartość parametru ε, reprezentująca tzw. pasmo tolerancji, moŜe być interpretowana jako obszar dopuszczalnej bezwładności modelu, w zakresie którego dane wzorcowe wykorzystywane w treningu nie wnoszą Ŝadnej informacji na kształto-wanie przebiegu aproksymatora. W powyŜszym zestawieniu szerokość pasma tolerancji ε moŜna odnieść do aproksymowanej wartości stopnia zuŜycia technicznego sz. Tym samym moŜna stwierdzić, Ŝe pasmo to w jednostkach sz oscyluje wokół wartości 5%, co z praktycznego punktu widzenia pozwala na akceptacje takich modeli do dalszych ba-dań.
Tabela 6.5. Zestawienie podstawowych charakterystyk dla poszczególnych modeli
Parametry modelu Nr
kombinacji Grupa
budyn-ków regularyzacyjny C Parametr Szerokość funkcji jądrowych σ pasma tolerancji ε Szerokość
Liczba wektorów podpierających 1 LGOM+GZW 3,43 1,08 0,04 613 2 LGOM+GZW 1,42 3,38 0,03 694 3 LGOM+GZW 2,01 3,08 0,05 538 4 GZW 1,55 1,48 0,08 268 5 GZW 1,01 0,68 0,08 292 6 GZW 2,57 0,31 0,05 376 7 LGOM 2,08 0,99 0,03 227 8 LGOM 3,88 0,62 0,03 280 9 LGOM 1,58 0,99 0,01 384 10 LGOM+asg 0,79 0,82 0,04 200 11 LGOM+asg 10,83 1,06 0,03 275 12 LGOM+asg 0,64 1,07 0,03 253
Weryfikacja utworzonych modeli obejmowała analizę jakości dopasowania oraz kontrolę własności modeli w kontekście uogólniania nabytej wiedzy w procesie adapta-cji. Kontrola ta polegała na konfrontacji wyników predykcji dla zbioru treningowego z wynikami otrzymanymi dla zbioru testowego. W przypadku gdy jakość predykcji mo-delu dla zbioru treningowego znacznie przewyŜsza jakość predykcji dla danych z nie-obciąŜonego w procesie adaptacji zbioru testowego, ujawnia się negatywna cecha
mo-pomimo dobrego dopasowania predykcji do danych treningowych, nie uogólnia nabytej wiedzy na przypadki, które nie były wykorzystywane w trakcie uczenia.
Dla weryfikacji utworzonych modeli przeprowadzono analizę jakości dopasowa-nia predykcji poszczególnych modeli do danych wzorcowych. Analizę tę przeprowa-dzono zarówno dla zbiorów treningowych, jak równieŜ dla zbiorów testowych, które nie były wykorzystywane na etapie budowy modeli. NieobciąŜone zbiory testowe stanowią weryfikację jakości modeli w kontekście własności generalizacyjnych.
Jako reprezentatywną miarę obrazującą jakość dopasowania wykorzystano śred-nią z bezwzględnych wartości błędu pomiędzy odwzorowaniem modelu, a danymi rze-czywistymi Ver. Wyniki dla wszystkich modeli zestawiono w tab. 6.6.
Tabela 6.6. Zestawienie wartości błędów Ver dla zbiorów treningowych i testowych
Nr
kombinacji Grupa budyn-ków
Średnia z bezwzględnych wartości błędu dla zbioru treningowego wyraŜona w jednostkach zuŜycia
technicznego sz [%]
Ver= (│ypred-yrzecz│)/N
Średnia z bezwzględnych wartości błędu dla zbioru testowego wyraŜona w jednostkach zuŜycia
technicznego sz[%]
Ver= (│ypred-yrzecz│)/N
1 LGOM+GZW 6,05 6,28 2 LGOM+GZW 5,66 6,99 3 LGOM+GZW 6,07 5,83 4 GZW 9,31 9,75 5 GZW 9,34 9,71 6 GZW 9,39 9,72 7 LGOM 3,16 2,67 8 LGOM 3,14 3,34 9 LGOM 2,90 3,64 10 LGOM+asg 3,08 3,05 11 LGOM+asg 3,09 3,05 12 LGOM+asg 3,16 3,24
Jak wynika z tabeli 6.6 dla tak przeprowadzonej analizy, róŜnica pomiędzy błę-dami Ver dla zbiorów treningowych i testowych jest nieznaczna. Tym samym moŜna uznać, Ŝe Ŝaden z analizowanych modeli nie został przeuczony w trakcie adaptacji i zachowuje dobre własności generalizacyjne. RóŜnice pomiędzy wartościami błędów Ver
dla modeli utworzonych rozłącznie dla obszaru LGOM i GZW wynikają z róŜnicy prze-krojowej struktury wartości stopnia zuŜycia zabudowy na tych obszarach (por. rys. 6.1).
sz sz
LGOM GZW
Rys. 6.1. Rozkład wartości stopnia zuŜycia sz zabudowy dla rejonów LGOM i GZW Rozkłady predykcji poszczególnych modeli względem danych wzorcowych za-równo dla zbiorów treningowych, jak i testowych zestawiono w formie graficznej w załączniku I (rys. ZI-1 do ZI-24). W celu dodatkowej weryfikacji jakości dopasowa-nia poszczególnych modeli wykorzystano miarę błędu MSE oraz wartość współczynnika korelacji liniowej R pomiędzy danymi wzorcami a wartościami predykcji. Uwzględnie-nie miary MSE było podyktowane faktem, iŜ właśUwzględnie-nie tak sformułowana funkcja celu była wykorzystywana w trakcie przyjętej procedury doboru optymalnych parametrów ε, σ, C. Z drugiej strony wartość współczynnika korelacji R świadczy o stopniu współli-niowości pomiędzy predykcją poszczególnych modeli a danymi wzorcowymi, ponadto umoŜliwia interpretację wyników, przedstawionych w formie graficznej w załączniku I (rys. ZI-1 do ZI-24). Wartości powyŜszych miar zostały zestawione w tab. 6.7.
Jak widać w poniŜszym zestawieniu, podobnie jak w przypadku analizy błędu Ver, ujawnia się wpływ zróŜnicowania wartości zuŜycia technicznego dla rejonów LGOM oraz GZW. Natomiast konfrontacja wyników dla zbiorów treningowych i testowych potwierdza, Ŝe Ŝaden model nie wykazuje oznak przeuczenia, co pozwala uznać, Ŝe cha-rakteryzują się one dobrymi własnościami generalizacyjnymi.
Aby wyeliminować wpływ zróŜnicowania struktury wartości stopnia zuŜycia technicznego dla analizowanych rejonów, który ujawniał się w dotychczasowej analizie błędów, wykorzystano dodatkową względną miarę błędu pomiędzy predykcją poszcze-gólnych modeli a danymi wzorcowymi. W pracy wykorzystano miarę w postaci tzw. procentu sukcesu (Succes Ratio) SR [%] w funkcji błędu względnego ep [%] [Kuźniar
Tabela 6.7. Zestawienie wartości błędu MSE i współczynnika korelacji R
pomiędzy predykcją modeli a wzorcami rzeczywistymi
Nr
kombinacji Grupa budynków Zbiory danych Wartość błędu MSE
Współczynnik korelacji liniowej pomiędzy predykcją modelu
a danymi wzorcami Zbiór treningowy 0,0084 0,92 1 LGOM+GZW Zbiór testowy 0,0093 0,90 Zbiór treningowy 0,0077 0,92 2 LGOM+GZW Zbiór testowy 0,0107 0,89 Zbiór treningowy 0,0082 0,92 3 LGOM+GZW Zbiór testowy 0,0082 0,92 Zbiór treningowy 0,0151 0,77 4 GZW Zbiór testowy 0,0162 0,77 Zbiór treningowy 0,0152 0,76 5 GZW Zbiór testowy 0,0169 0,71 Zbiór treningowy 0,0156 0,75 6 GZW Zbiór testowy 0,0163 0,72 Zbiór treningowy 0,0028 0,98 7 LGOM Zbiór testowy 0,0020 0,98 Zbiór treningowy 0,0028 0,98 8 LGOM Zbiór testowy 0,0033 0,98 Zbiór treningowy 0,0026 0,98 9 LGOM Zbiór testowy 0,0036 0,98 Zbiór treningowy 0,0027 0,98 10 LGOM+asg Zbiór testowy 0,0026 0,99 Zbiór treningowy 0,0027 0,98 11 LGOM+asg Zbiór testowy 0,0026 0,98 Zbiór treningowy 0,0027 0,98 12 LGOM+asg Zbiór testowy 0,0031 0,98
Jak wskazują wyniki zestawione w załączniku I (tab. ZI-1 do ZI-13), wartość SR wyraŜona w funkcji błędu ep (która to miara w pewien sposób eliminuje wpływ róŜnic w rozkładzie wartości stopnia zuŜycia technicznego w obrębie odrębnych grup budyn-ków objętych analizą) pokazuje, Ŝe dla wszystkich modeli, zarówno dla zbiorów trenin-gowych, jak i testowych, procent przypadków szacowanych przy poziomie błędu ep ≤ 30% stanowi 68,9 – 87,1 % wszystkich prezentowanych wzorców (tabela 6.8).
Tabela 6.8. Zestawienie wartości miar błędu SR przy ep < 30%
dla wszystkich przypadków obliczeniowych
Zbiór treningowy Zbiór testowy Nr
kombinacji Grupa budynków SR [%]- skumulowany
dla ep < 30% SR [%]- skumulowany dla ep < 30%
1 GZW+LGOM 76,9 76,5 2 GZW+LGOM 78,6 76,7 3 GZW+LGOM 76,3 75,7 4 GZW 72,0 68,9 5 GZW 71,2 71,0 6 GZW 70,3 73,5 7 LGOM 85,6 84,2 8 LGOM 84,8 87,0 9 LGOM 87,3 87,0 10 LGOM+asg 83,4 86,3 11 LGOM+asg 87,1 87,0 12 LGOM+asg 85,4 86,9
Wykorzystanie jako dodatkowej miary SR w dziedzinie błędu względnego ep (bardzo wraŜliwego w przypadku oceny małych wartości aproksymowanej zmiennej zaleŜnej) było spowodowane zaburzeniem, jakie pojawiło się w zestawieniu średnich wartości błędu bezwzględnego (Ver) dla wszystkich kombinacji (tab. 6.6). Widać, Ŝe dla wszystkich modeli opisujących przebieg zuŜycia technicznego na obszarze górniczym GZW (kombinacje 4, 5 i 6), wartość tego błędu jest zdecydowanie większa niŜ dla pozo-stałych przypadków i wynosi około 9%. Wyjaśnieniem tego faktu są róŜnice w rozkła-dzie wartości stopnia zuŜycia technicznego budynków zebranych w bazie danych po-między obszarem górniczym LGOM i GZW. Dla obszaru LGOM dominują budynki o wartości stopnia zuŜycia do 40%, dlatego miara błędu Ver, wyraŜona średnią z bez-względnych róŜnic pomiędzy predykcją a wartościami rzeczywistymi zuŜycia technicz-nego, przejawiała tendencję malejącą. Odwrotnie w przypadku obszaru GZW, gdzie wartości stopnia zuŜycia technicznego sz dla danych rozkładają się równomiernie w zakresie od 20 do 70%, stąd miara błędu Ver odniesiona do modelu opisującego prze-bieg zuŜycia na tym obszarze jest zawyŜona.
po-wyników dla zbiorów treningowych i testowych w kontekście wszystkich zestawionych w tej części pracy miar weryfikujących potwierdza, Ŝe uzyskane modele nie przejawiają oznak przeuczenia (overfitting).