Dla jednostki leku j = 50 mg, najlepszą uzyskaną sie-cią była sieć trójwarstwowa z dwoma warstwami ukrytymi o wymiarach odpowiednio 50 i 100 neuronów oraz 20 neu-ronami na wyjściu.
T a b e l a 2. wartość średnie i odchylenie standardowe błędu bezwzględnego dla danych uczących, testujących i wszystkich
razem zbiorczo Maksymalny
błąd ujemny w mg
Maksymalny błąd dodatni
w mg
Wartość średnia w mg
Odchylenie standardowe
w mg Dane
uczące −200 100 −20,3 70,4
Dane
testujące −150 150 7,4 69,2
Wszystkie
dane −200 150 −9,0 70,9
W tabeli 2 przedstawiono wartości średnie i odchylenia standardowe błędu bezwzględnego dla danych uczących,
testujących i wszystkich razem zbiorczo, a w tabeli 3 – war-tości maksymalnych błędów względnych, oraz warwar-tości średnie tych błędów. Z danych zawartych w tabeli 2 wynika, że NN generuje większe błędy w kierunku ujemnym. War-tości średnie błędu są niewielkie, mniejsze od połowy jed-nostki leku. Znaczne jest natomiast odchylenie standardowe, co dotyczy zarówno danych uczących, jak i testujących.
Większy błąd średni i maksymalny ujemny dla danych uczących niż dla danych testujących wynika z procedury uczenia NN. Proces uczenia uruchamiano wielokrotnie star-tując z różnych warunków początkowych. Jako najlepiej nauczoną sieć wybrano tę, która dawała najmniejsze błędy maksymalne zarówno dla zbioru uczącego, jak i testującego.
Tym samym, jako najlepszą uznano tę NN, która posiada najlepszą zdolność uogólniania.
T a b e l a 3. wartości maksymalnych błędów względnych oraz ich wartości średnie
Maksymalny błąd względny
Wartość średnia błędu
względnego
Odchylenie standardowe
błędu względnego Dane
uczące 22% −2% 9%
Dane
testujące 50% 4% 17%
Wszystkie
dane 50% 0% 13%
Wartości błędu względnego podane w tabeli 3 potwier-dzają efektywność działania NN. Błąd średni jest niewielki i wręcz zeruje się w przypadku uwzględnienia wszystkich danych zarówno uczących, jak i testujących. Odchylenie standardowe błędu względnego jest mniejsze od 20%. Tylko dla dwóch pacjentów, o małej dawce leku, błąd ten wynosi 50%. Na rycinie 10 przedstawiono wartości błędu względ-nego, a na rycinie 11 – dawkę leku wyznaczoną przez NN, oraz przypisaną przez lekarza, dla wszystkich pacjentów.
Jak widać, największy błąd względny równy 50% jest dla pacjentów nr 77 i 95, dla których przypisana przez leka-rza dawka leku wynosi tylko 300 mg, a obliczona przez NN – 450 mg. W tabeli 4 przedstawiono objawy oraz dawki przypisane przez lekarza dla powyższych pacjen-tów. Widać wyraźnie, iż po drugiej serii badań objawy nie uległy pogorszeniu, więc sugerowane przez NN zwiększanie dawki leku i to szczególnie o tak dużą wartość, nie wydaje się być uzasadnione. W tej sytuacji bardzo łatwo dostrzec, iż dawka wyznaczona przez NN jest błędna i wymaga sko-rygowania. Przykład ten pokazuje, iż wyniki obliczone przez sieć neuronową nie powinny być stosowane bez-krytycznie i w sposób automatyczny. Mogą być natomiast traktowane jako podpowiedź sugerowanej dawki dla leka-rza, który powinien je przed zastosowaniem zweryfikować.
Przykładowe przypadki wskazujące na błędną odpowiedź sieci i wymagające weryfikacji lekarza w oparciu o wiedzę niedostępną NN zawarto w tabeli 5.
Ryc. 8. Odpowiedź NN dla wybranego pacjenta. Odpowiedź sieci wskazuje na zerową zmianę dawki, co dokładnie odpowiada sygnałowi uczącemu
(wartość pogrubiona)
Ryc. 9. Odpowiedź NN dla wybranego pacjenta. Odkodowana wartość dawki obliczona przez NN jest o dwie jednostki większa od dawki
przypisanej przez lekarza
T a b e l a 4. dane dla pacjentów z największym błędem względnym
Nr pacjenta badanie kliniczne 1 badanie kliniczne 2 Badanie kliniczne 3 Dawka obliczona T1 R1 PD1 H1 dawka 1 T2 R2 PD2 H2 dawka 2 T3 R3 PD3 H3 dawka 3
77 1 1 1 1 300 1 0 1 1 300 1 0 1 1 300 450
95 2 2 1 1 100 3 2 1 1 300 2 1 1 1 300 450
Ryc. 10. Błąd względny dla poszczególnych pacjentów ze zbioru uczącego i testującego
Ryc. 11. Dawka leku przepisana przez lekarza i wyliczona przez NN dla danych uczących i testujących
Na rycinie 12 przedstawiono histogram, a na rycinie 13 dystrybuantę rozkładu błędu bezwzględnego, otrzymanego dla całego zbioru pacjentów. Widać na nich, iż dla połowy pacjentów dawka leku wyznaczona przez NN jest iden-tyczna z dawką przypisaną przez lekarza. Jeżeli błąd dopusz-czalny przyjąć równy dwóm jednostkom, czyli ± 100 mg, to prawie 90% pacjentów otrzyma dawkę leku z błędem nie większym od dopuszczalnego. Równocześnie, tylko dla 5%
pacjentów błąd wyznaczenia dawki przez NN jest maksy-malny i wynosi ± 200 mg. Otrzymane wyniki wskazują, iż NN mogą z powodzeniem wspomagać mniej doświad-czonych lekarzy w doborze odpowiedniej dawki leku.
T a b e l a 5. Przykładowe przypadki odpowiedzi sieci wymagające korekty lekarza
Zmiana objawów w dwóch ostatnich badaniach
Dawka leku po dwóch
ostatnich badaniach
Odpowiedź sieci
Korekta odpowiedzi
sieci
Zwiększenie
(+) bez zmian
(0) zmniejszenie (−)
wymaga weryfikacji
diagnosty Zmniejszenie
(−) bez zmian
(0) zwiększenie (+)
wymaga weryfikacji
diagnosty
Ryc. 12. Histogram błędu bezwzględnego dla danych uczących i testujących
Ryc. 13. Dystrybuanta rozkładu modułu błędu bezwzględnego
T a b e l a 6. Porównanie wyników otrzymanych przy użyciu sieci neuronowej z wynikami badania, wykorzystującymi modelowanie oparte o logikę rozmytą, dla poszczególnych pacjentów [4, 5]
Sieć neuronowa Logika rozmyta (źródło: [3, 4])
Lp. dawka lekarza po 3. badaniu
dawka wyznaczona
przez sieć neuronową
błąd bezwzględny
∆ (mg)
błąd względny δ (%)
dawka leku wyznaczona
przez logikę rozmytą
błąd bezwzględny
∆ (mg)
błąd względny δ (%)
1 1100 1100 0 0 1086 −14 −1
2 700 675 −25 3,6 684 −16 −2
3 900 900 0 0 987 87 10
4 900 850 −50 5,6 873 −27 −3
5 1000 1000 0 0 910 −90 −9
6 450 425 −25 5,6 436 −14 −3
W tabeli 6 przedstawiono wartości błędów względnych i bezwzględnych dla poszczególnych pacjentów uzyskanych przy zastosowaniu sieci neuronowej, oraz logiki rozmytej (na podstawie [5]). Z tabeli tej wynika, iż dla wielu pacjen-tów wyliczone dawki, a co za tym idzie i błędy, są podobne, dotyczy to szczególnie tych pacjentów, dla których błędy
są nieduże. Dla niektórych pacjentów, szczególnie dla tych, dla których któraś z metod daje duże błędy, różnica w warto-ści wyliczonych dawek jest znacząca (dotyczy to np. pacjenta 8, 16, 33…). Są to pacjenci, z którymi poszczególne metody mają duży problem.
7 1000 825 −175 17,5 1124 124 12
8 1600 1600 0 0 1414 −186 −12
9 900 900 0 0 924 24 3
10 900 900 0 0 822 −78 −9
11 600 600 0 0 600 0 0
12 900 700 −200 22,2 734 −166 −18
13 800 700 −100 12,5 692 −108 −13
14 800 800 0 0 808 8 1
15 550 400 −150 27,3 561 11 2
16 600 600 0 0 600 0 0
17 600 600 0 0 670 70 12
18 900 900 0 0 929 29 3
19 800 800 0 0 768 −32 −4
20 800 800 0 0 784 −16 −2
21 900 900 0 0 854 −46 −5
22 900 900 0 0 878 −22 −2
23 600 600 0 0 600 0 0
24 600 650 50 −8,3 600 0 0
25 900 750 −150 16,7 832 −68 −8
26 450 425 −25 5,6 356 −94 −21
27 600 600 0 0 640 40 7
28 1000 1000 0 0 945 −55 −5
29 1400 1500 100 −7,1 1418 18 1
30 800 800 0 0 801 1 0
31 600 600 0 0 640 40 7
32 700 650 −50 7,1 696 −4 −1
33 450 550 100 −22,2 410 −40 −9
34 1000 1100 100 −10 967 −33 −3
35 900 900 0 0 758 −142 −16
36 300 325 25 −8,3 354 54 18
37 350 375 25 −7,1 347 −3 −1
38 900 700 −200 22,2 871 −29 −3
39 1100 1175 75 −6,8 1052 −48 −4
40 700 700 0 0 636 −64 −9
41 1400 1400 0 0 1500 100 7
42 600 600 0 0 678 78 13
43 900 800 −100 11,1 782 −118 −13
44 600 575 −25 4,1 507 −93 −16
45 800 800 0 0 818 18 2
46 800 600 −200 25 742 −58 −7
47 1000 1000 0 0 897 −103 −10
48 700 800 100 −14,2 764 64 9
49 1000 900 −100 10 908 −92 −9
50 700 700 0 0 683 −17 −2
51 800 700 −100 12,5 722 −78 −10
52 450 450 0 0 580 130 29
53 800 750 −50 6,25 801 1 0
54 450 475 25 −5,56 566 116 26
55 600 650 50 −8,33 606 6 1
56 400 400 0 0 473 73 18
57 600 600 0 0 600 0 0
58 450 425 −25 5,56 541 91 20
59 700 700 0 0 775 75 11
60 1300 1100 −200 15,38 1294 −6 0
61 1000 1000 0 0 1113 113 11
62 600 600 0 0 662 62 10
63 0 0 0 0 0 0 0
64 0 0 0 0 0 0 0
65 0 0 0 0 0 0 0
66 0 0 0 0 0 0 0
67 650 600 −50 7,69 600 −50 −8
68 600 600 0 0 634 34 6
69 600 600 0 0 600 0 0
70 500 550 50 −10 581 81 16
71 600 700 100 −16,67 591 0 0
72 600 450 −150 25 640 40 7
73 450 500 50 −11,11 528 78 17
74 1000 950 −50 5 978 −22 −2
75 700 700 0 0 687 −13 −2
76 450 500 50 −11,11 528 78 17
77 300 450 150 −50 403 103 34
78 450 550 100 −22,22 581 131 29
79 600 600 0 0 600 0 0
80 1000 950 −50 5 897 −103 −10
81 850 850 0 0 827 −23 −3
82 900 900 0 0 941 41 5
83 550 550 0 0 599 49 9
84 500 375 −125 25 679 179 36
85 800 800 0 0 850 50 6
86 500 500 0 0 525 25 5
87 1100 1050 −50 4,55 1055 −45 −4
88 350 350 0 0 482 132 38
89 750 750 0 0 738 −12 −2
90 550 600 50 −9,09 581 31 6
91 550 550 0 0 663 113 21
92 1100 1050 −50 4,55 1210 110 10
93 750 750 0 0 738 −12 −2
94 300 350 50 −16,67 426 126 42
95 300 450 150 −50 414 114 38
96 400 400 0 0 580 180 45
97 550 650 100 −18,18 483 −67 −12
98 300 350 50 −16,67 366 66 22
99 900 850 −50 5,56 919 19 2
100 600 500 −100 16,67 786 186 31
101 1400 1350 −50 3,57 1300 −100 −7
102 350 350 0 0 381 31 9
103 450 550 100 −22,22 513 63 14
104 300 400 100 −33,33 455 155 52
105 450 550 100 −22,22 550 100 22
106 450 300 −150 33,33 471 21 5
107 450 450 0 0 464 14 3
108 300 300 0 0 331 31 10
Zestawienie zbiorcze wartości błędu względnego dla sieci neuronowych i logiki rozmytej przedstawiono w tabeli 7. Wartości uzyskane przez sieć neuronową są lep-sze. Może to wynikać ze sposobu wykorzystania danych wejściowych, a tym samym struktury uzyskanego modelu.
W logice rozmytej jako sygnał wejściowy wykorzystano stan pacjenta z ostatniej – trzeciej serii badań, a model rozmyty miał wyznaczyć wartość dawki leku. W sieci neutrono-wej, jako sygnał wejściowy wykorzystano wyniki z wszyst-kich trzech kolejnych badań oraz odpowiednie dawki leku, a model neuronowy miał określić, o ile zmieni się dawka leku po trzecim badaniu. Model ten wykorzystuje więc więcej danych wejściowych i inaczej zdefiniowane zadanie
identyfikacji, co mogło pozwolić na uzyskanie dokładniej-szego modelu.
T a b e l a 7. Ilościowe porównanie metody opartej o sieci neuronowe oraz logiki rozmytej [4, 5]
δ (%)
≤ 10 10 ≤ 20 20 ≤ 30 30 ≤ 40 40 ≤ 50 > 50 Liczba
pacjentów
NN 85 15 4 2 2 0
Liczba pacjentów
FL 73 18 6 7 2 2
korekta uzyskanych wyników
Dawki leku przypisane przez lekarza uwzględniają wiele czynników. Lekarz, za każdym razem badając pacjenta, robi również wywiad lekarski, który pozwala na skorygowanie dawki leku ze względu na dodatkowe objawy występujące u chorego, np. wiek chorego, zaparcia itd. W zbiorze danych wykorzystywanych przez NN można uwzględnić korektę wynikającą z dodatkowych objawów na dwa sposoby:
Przez podanie na wejście sieci neuronowej dodatko-wego współczynnika korekty dawki, czyli przez powięk-1.
szenie wektora wejściowego NN.
Przez wprowadzenie korekty do już wyznaczonej odpowiedzi NN.2.
Dla obu tych przypadków wyznaczono skorygowane wartości leku dla najlepszej uzyskanej NN, a wyniki umiesz-czono w tabeli 8. Tabela ta zawiera wartości błędów dla wszystkich danych ze zbioru uczącego i testującego, dla NN bez korekty oraz z wprowadzoną korektą. Widać, iż żaden ze sposobów wprowadzenia korekty nie poprawił wyników. Może to być spowodowane tym, iż NN wypraco-wują na wyjściu nie bezwzględną wartość dawki leku, ale jej przyrost. Równocześnie, dodatkowe objawy występu-jące u pacjenta, które skutkują skorygowaniem dawki, nie są objawami występującymi tylko w ostatnim badaniu, ale są rozłożone w czasie i bardzo często obejmują wszystkie trzy serie badań (np. wiek chorego). Nie istnieje w bazie danych żadna informacja co do czasu ich trwania. Tym samym trzeba się liczyć z tym, iż lekarz, po pierwszej bądź drugiej serii, odpowiednio skorygował dawkę. Uwzględ-nienie jej ponowne w odpowiedzi NN tym samym skut-kuje często pogorszeniem zamiast poprawieniem wyniku.
Być może poprawę jakości działania NN możnaby uzy-skać, jeżeli korektę przeprowadzonoby względem tylko tych pacjentów, dla których dodatkowe objawy wystąpiły dopiero w ostatnim badaniu. Do tego potrzebna jest jednak dodatkowa informacja.