Walidacja przez przewidywanie

Walidacja dwóch wybranych modeli przez przewidywanie umożliwia wybór lepszego modelu. Zastosowana tutaj procedura oparta jest na podwójnej walidacji krzyżowej i pozwala stwierdzić czy wybrane podzbiory (plany ortogonalny i rotalny – jako próbki) dają podobne modele o zbliżonych charakterystykach. Weryfikacji poddawano zdolność predykcji poszczególnych modeli na podstawie wartości parametrów wejściowych, pochodzących z innych podzbiorów. Każdy podzbiór wyników posiada inną wariancję i dlatego może mieć wpływ na wybór różnych zmiennych i w konsekwencji na otrzymywanie różnych modeli.

Przed wykonaniem obliczeń założono, że układy planów rotalnego (próbka 1) i ortogonalnego (próbka 2) traktowane są jak próbki pobrane losowo z tej samej populacji, w której znajdują się wszystkie możliwe kombinacje układów zmiennych wejściowych. Obliczenia wykonano na modelach zbudowanych z nienormowanych wartości wielkości wejściowych. W Tab. 64 i 65 przedstawiono wyniki walidacji krzyżowej dla wybranych modeli otrzymanych z planów ortogonalnego i rotalnego.

Z wyników w Tab. 64 można zauważyć wpływ jakości porównywanych modeli na dokładność predykcji wartości aproksymowanych. Wymiana współczynników b^rot z modelu rotalnego na współczynniki ortogonalne b^ort (podstawienia 1 i 3) w modelach konwersji CDT i wydajności ECDD/CDT, powoduje w przyjętych układach planu rotalnego X^rot obniżenie średniego kwadratu reszt MSR odpowiednio z 9,1 do 6,6 i z 5,6 do 4,9. Podobne zmiany obserwuje się przy wymianie modeli ortogonalnych 14 i 16 na modele rotalne (podstawienia 4 i 6), gdzie wartość MSR dla konwersji obniżyła się z 19,4 na 11,3 a dla wydajności z 11,8 na 8,1. Najmniejsze obciążenia wartości przewidywanych (MSR=6,6 i 4,9) w układach planu rotalnego generują modele ortogonalne konwersji i wydajności, Bardziej istotne w tym przypadku jest porównanie wpływu ustawień wartości wielkości wejściowych na dokładność aproksymacji. W planie rotalnym rzeczywiste wartości wielkości wejściowych w układach w jądrze planu są położone bliżej centrum planu niż w planie ortogonalnym i wpływa to na dokładność aproksymacji. Z tego względu należy spodziewać się, że wartości aproksymowane przez modele rotalne 11 i 13 w podstawieniach 4 i 6 będą miały nieco gorsze średnie kwadraty reszt. Jak widać, nie są to duże różnice. Świadczy to o ich większej odporności i lepszym oszacowaniu współczynników b w modelach rotalnych konwersji CDT i wydajności.

Podstawienie w modelu ortogonalnym 14 konwersji CDT w miejsce planu ortogonalnego X^ort planu rotalnego X^rot (podstawienie 1) daje największą zmianę średniego kwadratu reszt z 19,4 do 6,6 (różnica 12,8). Z kolei aproksymacja konwersji za pomocą modelu rotalnego 11 w

układach planu ortogonalnego X^ort (podstawienie 4) daje niewielki przyrost MSR z 9,1 do 11,3 (różnica 2,2).

Tabela 64. Wyniki walidacji przez przewidywanie. Porównanie średnich kwadratów reszt MSR ortogonalnym 16 w przypadku wydajności ECDD/CDT, gdzie zmiana ustawień wartości wejściowych z planu ortogonalnego X^ort na ustawienia z planu rotalnego X^rot wpływa na obniżenie MSR z 11,8 do 4,9, co daje różnicę w wysokości 6,9. Aproksymacja wydajności za pomocą modelu rotalnego 13 w układach z planu ortogonalnego X^ort (podstawienie 6) powoduje przyrost MSR z 5,6 do 8,1 (różnica 2,5). Z punktu widzenia stałości niedokładności wartości aproksymowanych modele ortogonalne 14 i 16 konwersji i wydajności nie są najlepsze, ponieważ zmiana wartości wielkości wejściowych z X^ort na X^rot prowadzi do zbyt dużych różnic w MSR w wartościach aproksymowanych. Wskazuje to na większą zależność tych modeli od ustawień parametrów wejściowych.

Inaczej zachowuje się model rotalny i ortogonalny selektywności ECDD/CDT.

Wprowadzenie modelu ortogonalnego selektywności (podstawienie 2) w miejsce modelu rotalnego 12 w układach z planu rotalnego X^rot powoduje nieduży wzrost średniego kwadratu reszt (MSR) z 7,5 do 10,7. Pomiędzy wartościami 7,5 i 10,7 też nie ma zbyt dużej różnicy i można przyjąć, że w układach rotalnych oba modele aproksymują z podobną dokładnością.

Jednak aproksymacja w układach ortogonalnych X^ort przez model ortogonalny 15 i rotalny (podstawienie 5) prowadzi do jeszcze większych różnic w wartościach MSR odpowiednio 4,7

i 21,1. Te wyniki wskazują na mniejszą elastyczność estymatorów współczynników b w modelu rotalnym. Model ortogonalny selektywności w układach rotalnych X^rot przewiduje mniej dokładnie (MSR=10,7) niż w układach ortogonalnych X^ort (MSR=4,7) (model 15 i podstawienie 2). W tym zestawieniu model rotalny zachowuje się jeszcze gorzej przy zmianie zmiennych niezależnych. Przejście z układów rotalnych X^rot (model 12) na układy ortogonalne X^ort (podstawienie 5) zwiększa niedokładność modelu prawie trzykrotnie z MSR=7,5 do 21,7.

Drugie porównanie modeli w walidacji krzyżowej jest związane z analizą współczynnika korelacji wielokrotnej R² i współczynników korelacji liniowych R_k²_rot i R_k²_ort. Współczynnik korelacji liniowej Rk2

rot opisuje stopień zgodności dopasowania wartości rzeczywistych yort z planu ortogonalnego z wartościami aproksymowanymi ~y_rot^ort przez model rotalny w układach planu ortogonalnego. Analogicznie wyznaczono wartości współczynnika Rk2

ort, który opisuje stopień zgodności dopasowania wartości rzeczywistych yrot, otrzymanych z planu rotalnego z wartościami ~y_ort^rot aproksymowanymi przez model ortogonalny dla wartości wejściowych z planu rotalnego. Porównanie statystyki Rk2

dla wybranego modelu (np. rotalnego) z wartością R² wyznaczoną dla drugiego modelu (np. ortogonalnego) pozwala sprawdzić z jaką dokładnością przewidują te dwa różne modele w jednakowych układach z tego samego planu (ortogonalnego) i dokonać oceny podobieństwa obu modeli.

W większości omawianych przypadków wartości przewidywane nie odpowiadają idealnie wartościom rzeczywistym (Tab. 65). Duże podobieństwo w statystykach R² i Rk2

ort widoczne jest w modelu 17 i podstawieniu 7 dla konwersji CDT, w modelu 19 i podstawieniu 9 dla wydajności ECDD/CDT w układach wartości wejściowych dla planu rotalnego X^rot oraz w modelach 20 i 22 i odpowiadających im podstawieniach 10 i 12 w układach z planu ortogonalnego. Na podstawie tego podobieństwa można stwierdzić, że modele rotalne i ortogonalne konwersji CDT i wydajności ECDD/CDT nie różnią się w sposób istotny. Niska wartość statystyki Rk2

ort=85,4% w podstawieniu 8 dla modelu ortogonalnego dla selektywności ECDD/CDT oznacza, że wartości aproksymowane przez model ortogonalny nakładają się w mniejszym stopniu na wartości rzeczywiste, otrzymane z planu rotalnego. Z drugiej strony „niewydolność” modelu rotalnego jest podobna (model 18). Współczynnik korelacji wielokrotnej dla tego modelu wynosi 89,5% i analogicznie wartości aproksymowane przez ten model są zgodne z wynikami tylko w 89,5%. Zatem oba modele w układach rotalnych przewidują z niewielką różnicą 89,5%-85,4%=4,1%. Szczególnie dużą niezgodność predykcyjną obu modeli dla selektywności ECDD/CDT ujawnia słaba korelacja wartości aproksymowanych przez model rotalny w układach ortogonalnych z wynikami z planu

porównywanych zbiorów danych (wyników i wartości aproksymowanych). W tym przypadku model ortogonalny jest jednak dużo lepszy w aproksymacji w układach ortogonalnych, gdyż jego współczynnik korelacji jest dużo wyższy (R²=96,5%). A wiec różnica w przewidywaniu w układach ortogonalnych pomiędzy porównywanymi modelami wynosi aż 96,5%-86,8%=9,7%.

Tabela 65. Porównanie współczynników korelacji wielokrotnej R² ze współczynnikami korelacji liniowej R_k²

ort rot rot

ort b

y 

~ ^{rot rot}

rot b

y 

Nr

podstawienia Rk 2

ort [%] Nr modelu R² [%]

Konwersja CDT 7 97,8 17 96,6

Selektywność

ECDD/CDT 8 85,4 18 89,5

Wydajność

ECDD/CDT 9 96,2 19 96,5

rot ort ort

rot b

y 

~ ^{ort ort}

ort b

y  Nr

podstawienia Rk 2

rot [%] Nr modelu R² [%]

Konwersja CDT 10 98,1 20 97,8

Selektywność

ECDD/CDT 11 86,8 21 96,5

Wydajność

ECDD/CDT 12 97,4 22 97,4

4.15.8. Porównanie nałożonych powierzchni odpowiedzi wyznaczonych dla konwersji