Badanie kompletności medycznej bazy wiedzy

16 Streszczenie

Budowanie systemu ekspertowego wymaga pozyskania wiedzy dziedzinowej, a na-stĊpnie przeprowadzenia procesu weryfikacji i walidacji zakodowanej wiedzy. W artykule omówiono przebieg weryfikacji kompletnoĞci medycznej bazy wiedzy, two-rzonej w celu opracowania systemu ekspertowego wspomagającego podejmowanie decyzji w kardiochirurgii. Ze wzglĊdu na specyfikĊ Ĩródeá wiedzy w tym obszarze, ba-danie kompletnoĞci peáni szczególną rolĊ. Autorka proponuje dwuetapową weryfikacjĊ bazy wiedzy, traktując etap wstĊpnej oceny kompletnoĞci i indeterminizmu jako istotny element wspomagający kodyfikacjĊ wiedzy. Podczas realizacji wymienionych zadaĔ autorka wykorzystaáa napisany przez siebie program, dokonujący statycznej weryfika-cji kompletnoĞci bazy wiedzy.

Sáowa kluczowe: weryfikacja i walidacja bazy wiedzy, weryfikacja kompletnoĞci Wprowadzenie

W pracach [3] i [6] przedstawiono koncepcjĊ reguáowej bazy wiedzy dla systemu ekspertowego w obszarze kardiochirurgii. Jeden z planowanych etapów prac obejmowaá kodyfikacjĊ wiedzy w zakresie operacyjnego leczenia zastawkowych chorób serca na podstawie wytycznych Europej-skiego Towarzystwa Kardiologicznego. Autorzy projektu w pierwszej kolejnoĞci podjĊli siĊ zadania opracowania bazy wiedzy, która bĊdzie stanowiáa moĪliwie dokáadne odwzorowanie wykorzysta-nych Ĩródeá wiedzy. Ogranicza to walidacjĊ tworzonego systemu ekspertowego do sprawdzenia poprawnoĞci wzglĊdem wytycznych. Dopiero w dalszych krokach planowane są dziaáania mające na celu wzbogacenie bazy wiedzy o dane pochodzące z rejestrów medycznych, co umoĪliwi kon-frontacjĊ zaleceĔ zawartych w wytycznych z tym, co dzieje siĊ w rzeczywistym Ğwiecie klinicznym.

Wytyczne Europejskiego Towarzystwa Kardiologicznego1 _{mają doĞü przejrzystą formĊ,} po-szczególne zalecenia zostaáy czytelnie przedstawione w tabelach i diagramach. StopieĔ formalizacji zawartej tam wiedzy jest wyĪszy niĪ przykáadowo w obszarze prawa. Niemniej przystąpienie do budowy bazy wiedzy pozwoliáo odkryü szereg nieĞcisáoĞci natury formalnej. Weryfikacja bazy wie-dzy peáni tu podwójną rolĊ, bowiem czĊĞü zlokalizowanych nieĞcisáoĞci ma swoje Ĩródáo w treĞci wytycznych. Druga, dodatkowa rola polega zatem na weryfikacji samych wytycznych. Eksperci dziedzinowi, w tym przypadku lekarze kardiochirurdzy, dokonają analizy wykrytych nieĞcisáoĞci od strony medycznej. W niniejszej publikacji autorka skupiáa siĊ jedynie na aspektach z zakresu inĪy-nierii wiedzy, w szczególnoĞci weryfikacji kompletnoĞci bazy wiedzy.

17 1. Weryfikacja bazy wiedzy

Pozyskana wiedza powinna byü poddana procesowi ewaluacji, w tym walidacji oraz weryfika-cji. Walidacja polega na okreĞleniu stopnia zgodnoĞci bazy wiedzy z przyjĊtą specyfikacją, czyli z okreĞlonym modelem fragmentu Ğwiata rzeczywistego. Natomiast w ramach weryfikacji spraw-dzana jest baza wiedzy pod kątem formalnej poprawnoĞci. Jak sáusznie wskazują Adelman i Riedel [1, 210–216] wiĊkszoĞü reguáowych baz wiedzy stanowi rozszerzenie logiki pierwszego rzĊdu. Tak-sonomiĊ logicznych anomalii, mogących wystąpiü w bazach wiedzy opracowano na początku lat 90. Preece i Shinghal wymieniają cztery podstawowe anomalie [10]: redundancja (nadmiarowoĞü), ambiwalencja (sprzecznoĞü), rekurencja oraz niekompletnoĞü. LigĊza [5, 197–198] proponuje roz-szerzoną taksonomiĊ, którą przedstawia Tabela 1.

Tabela 1. Taksonomia anomalii w reguáowych bazach wiedzy

Redundancja

- reguáy identyczne - reguáy pocháaniające siĊ - reguáy równowaĪne - reguáy nieuĪywane

SpójnoĞü

- reguáy niejednoznaczne (indeterminizm) - reguáy sprzeczne (konflikt)

- logiczna niespójnoĞü

Redukcja

- redukcja reguá

- kanoniczna redukcja reguá - specyficzna redukcja reguá - usuwanie zbĊdnych warunków

KompletnoĞü

- logiczna kompletnoĞü

- specyficzna (fizyczna) kompletnoĞü - wykrywanie niekompletnoĞci - identyfikacja reguá brakujących

ħródáo: opracowano na podstawie [5, 197–198].

Redundancja utrudnia analizĊ i modyfikacjĊ bazy wiedzy. Szczególnym przypadkiem reguá nadmiarowych są reguáy pocháaniające. Reguáa pocháania inną reguáĊ w dwóch przypadkach: gdy czĊĞü warunkowa tej reguáy jest bardziej ogólna oraz gdy czĊĞü konkluzji jest bardziej specyficzna. W poniĪszym przykáadzie wystĊpują oba wymienione przypadki, tj. zarówno czĊĞü warunkowa re-guáy r1 jest bardziej ogólna niĪ czĊĞü warunkowa rere-guáy r2, jak i konkluzja rere-guáy r1 jest bardziej specyficzna niĪ w drugiej regule. Oznacza to, Īe reguáa r1 pocháania reguáĊ r2, a tym samym reguáa

r2 jest zbĊdna [5]:

r1 : p(X) ר q(b) ĺ h(X) ר g(b),

r2 : p(a) ר q(b) ר s(Y ) ĺ h(a).

Redukcja reguá w prezentowanej taksonomii nie oznacza usuwania reguá redundantnych (iden-tycznych czy pocháanianych), ale dąĪenie do minimalnej reprezentacji wiedzy bez wpáywu na proces wnioskowania. Podstawowym mechanizmem stosowanym w redukcji wiedzy jest áącznie (skleja-nie) dwóch lub wiĊcej reguá w jedną bardziej ogólną.

W ramach badania spójnoĞci badany jest indeterminizm, czyli niejednoznacznoĞü w zbiorach reguá. Taka sytuacja ma miejsce, gdy dany przypadek jest pokrywany przez reguáy dające odmienne konkluzje. JeĞli owe odmienne konkluzje stanową wzglĊdem siebie negacje, to wówczas taka nie-jednoznacznoĞü prowadzi do sprzecznoĞci. Dwie reguáy r1 i r2, gdzie r1: ȥ1 ĺ h1 oraz r2: ȥ2 ĺ h2, są niejednoznaczne, gdy istnieje stan opisany przez ij, tak Īe równoczeĞnie ij |= ȥ1 oraz ij |= ȥ2 i h1  h2 [5, 207–208].

18

MoĪna powiedzieü, Īe trzy pierwsze grupy anomalii, tj. redundancja, redukcja i spójnoĞü doty-czą sprawdzania logicznej poprawnoĞci i optymalnoĞci tego, co jest w bazie wiedzy. Natomiast rolą badania kompletnoĞci jest zlokalizowanie tego, czego w niej nie ma (czego brakuje). Weryfikacja kompletnoĞci zostanie omówiona dokáadniej niĪ pozostaáe anomalie, w kolejnym punkcie. 2. Weryfikacja kompletnoĞci bazy wiedzy

Weryfikacja kompletnoĞci polega na sprawdzeniu, czy kaĪda z moĪliwych kombinacji atrybu-tów wejĞciowych jest pokrywana przez co najmniej jedną reguáĊ. Jak wskazują Michalik [7, 132– 133] oraz LigĊza [5, 219–220] brak kompletnoĞci nie musi oznaczaü sytuacji báĊdnej, niemniej wy-stĊpują grupy zadaĔ, związanych m.in. ze wspomaganiem podejmowania decyzji, w których luki w bazie wiedzy ewidentnie Ğwiadczą o jej nieodpracowaniu.

Wymieniü moĪna cztery podstawowe zagadnienia dotyczące kompletnoĞci [5, 219–220]: logiczna kompletnoĞü, specyficzna (fizyczna) kompletnoĞü, wykrywanie niekompletnoĞci oraz identyfikacja reguá brakujących.

Logiczna kompletnoĞü oznacza, Īe dysjunkcja wszystkich reguá tworzy tautologiĊ, czyli bez wzglĊdu na to jakie dane bĊdą na wejĞciu, znajdzie siĊ przynajmniej jedna reguáa, która wyznaczy dla nich konkluzjĊ. Popatrzmy na zbiór reguá:

r1 : ij1 ĺ h1,

r2 : ij2 ĺ h2,

...

rm: ijm ĺ hm.

Zbiór reguá R = {r1, r2, . . . , rm} jest logicznie kompletny, jeĞli |= ij1 vij2 v... vijm, czyli gdy zbiór warunków jest tautologią (np. jak w zadaniu, które jest zawsze prawdziwe: „Ma ĞrednicĊ aorty poniĪej normy lub ma ĞrednicĊ aorty w normie lub ma ĞrednicĊ aorty powyĪej normy”). W praktyce wymóg logicznej kompletnoĞci jest zbyt restrykcyjny, poniewaĪ nie wszystkie kombinacje danych wejĞciowych wystĊpują w modelowanym obszarze Ğwiata rzeczywistego.

W przypadku specyficznej (fizycznej) kompletnoĞci za pomocą okreĞlonych warunków ogra-niczających definiowana jest dopuszczalna przestrzeĔ wejĞü. I tak zbiór reguá R = {r1, r2, . . . , rm} jest fizycznie kompletny dla rozpatrywanego kontekstu Ȍ, jeĞli Ȍ |= ij1vij2v... vijm, czyli zbiór warunków jest tautologią w ramach kontekstu Ȍ. Brak speánienia warunków kompletnoĞci prowadzi do koniecznoĞci wykrycia niekompletnoĞci oraz identyfikacji reguá brakujących.

Wymienia siĊ dwa gáówne podejĞcia do weryfikacji kompletnoĞci. Pierwsze, wykonywane w ramach statycznej weryfikacji, polega na wygenerowaniu zbioru wszystkich moĪliwych kombi-nacji danych wejĞciowych i sprawdzeniu, czy w bazie wiedzy jest choü jedna reguáa, która obejmuje dany przypadek. To rozwiązanie moĪe byü wykonywane w wariancie uwzglĊdniającym ogranicze-nia warunków, czyli kontekstu realnej przestrzeni wejĞü. Drugie podejĞcie polega na testowaniu dziaáania systemu ekspertowego w oparciu o odpowiednio przygotowany zbiór przypadków testo-wych, co stanowi element dynamicznej weryfikacji. AlternatywĊ dla wymienionych podejĞü przedstawia w swoich pracach LigĊza [4, 132–133], [5, 220–221], który proponuje rozwiązanie oparte na logice (rezolucji dualnej). Rozwiązanie to nie wymaga badania wszystkich moĪliwych przypadków.

19 3. NarzĊdzia weryfikacji kompletnoĞci bazy wiedzy

Zagadnienia związane z ewaluacją wiedzy byáy rozwijane równolegle z powstającymi syste-mami ekspertowymi. Mycin, jeden z pierwszych systemów ekspertowych powstaáy w latach 70. takĪe zawieraá moĪliwoĞü oceny poprawnoĞci bazy wiedzy. Historyczny przegląd narzĊdzi wyko-rzystywanych do weryfikacji bazy wiedzy moĪna znaleĨü w pracach: [5, 283–286][11, 590– 595][10], gdzie wymienia siĊ m.in. KRUST, COVER, IN-DEPTH, COVADIS, IMPROVER. W dalszej czĊĞci zostaną przedstawione dwa narzĊdzia – programy Prologa oraz CAKE, ze szcze-gólnym uwzglĊdnieniem funkcjonalnoĞci w zakresie badania kompletnoĞci.

Michalik przedstawia w pracach [7, 130–134] oraz [8, 210–212] system do komputerowego wspomagania inĪynierii wiedzy CAKE (Computer Aided Knowledge Engineering). System CAKE umoĪliwia wspomaganie procesu tworzenia i rozbudowy baz wiedzy, w tym pozwala na przepro-wadzenie weryfikacji bazy wiedzy w zakresie nastĊpujących anomalii: reguáy nadmiarowe, reguáy pocháaniające, reguáy sprzeczne, reguáy niespójne, niekompletnoĞü reguá, reguáy brakujące, nieuĪy-wane atrybuty, nieuĪynieuĪy-wane wartoĞci atrybutów oraz rekurencja.

System CAKE wspiera badanie kompletnoĞci poprzez testowanie, czy dla kaĪdej kombinacji atrybutu decyzyjnego i jego wartoĞci istnieje przynajmniej jedna reguáa posiadająca dany atrybut i jego wartoĞü w konkluzji reguáy. W obecnej wersji nie posiada jednak moĪliwoĞci weryfikacji kompletnoĞci, która uwzglĊdniaáaby wszystkie moĪliwe kombinacje warunków.

MoĪliwoĞü tĊ posiada program Prologa2_{. System Prologa (PROcedural LOGic Analyzer) to} in-teraktywne narzĊdzie projektowe wspierające budowĊ tablic decyzyjnych, generowania reguáowej bazy wiedzy oraz jej weryfikacjĊ. Program umoĪliwia weryfikacjĊ podstawowych anomalii (redun-dancja, niejednoznacznoĞü, rekurencja i kompletnoĞü) wewnątrz tablic decyzyjnych oraz pomiĊdzy tablicami [12]. KompletnoĞü jest badana w ramach jednej tablicy. W systemie zaáoĪono, Īe gdy kaĪda z tablic speánia kryterium kompletnoĞci oraz gdy nie wystĊpuje rekurencja to caáoĞü bazy wiedzy jest kompletna [13]. Nie zawsze jednak moĪna orzekaü o kompletnoĞci caáej bazy wiedzy na podstawie kompletnoĞci poszczególnych tablic, o czym bĊdzie mowa w dalszej czĊĞci artykuáu. Ponadto w systemie Prologa ograniczono rozmiar tablic. Wymienione zaáoĪenia nie pozwoliáy au-torce na wykorzystanie tego programu do wszystkich koniecznych prac związanych z weryfikacją budowanej medycznej bazy wiedzy, co zostanie szerzej wyjaĞnione w kolejnym punkcie.

4. Weryfikacja kompletnoĞci kardiochirurgicznej bazy wiedzy

Jak zapowiedziano w pracach [3] i [6] system ekspertowy dla kardiochirurgii zostanie opraco-wany przy pomocy dziedzinowo niezaleĪnego narzĊdzia sáuĪącego do budowy systemów ekspertowych PC-Shell z pakietu Aitech Sphinx. Prace nad weryfikacją bazy wiedzy bĊdą prowa-dzone w dwóch etapach, co jest konsekwencją przyjĊcia dwuetapowej kodyfikacji wiedzy (zob. Rysunek 1). Pierwszy etap obejmuje kodowanie wiedzy (na podstawie wytycznych) w postaci tablic decyzyjnych, a takĪe statyczną weryfikacjĊ kompletnoĞci bazy wiedzy oraz wstĊpną analizĊ niejed-noznacznoĞci. NastĊpnie baza wiedzy jest automatycznie kodowana do formatu PC-Shell. Drugi etap prac nad formalizacją bazy wiedzy odbywaü siĊ juĪ bĊdzie w Ğrodowisku Aitech Sphinx, gdzie

20

w programie CAKE dokonywana bĊdzie pogáĊbiona weryfikacja bazy wiedzy oraz zostanie prze-prowadzona walidacja systemu ekspertowego w programie PC-Shell. Niniejszy artykuá, poĞwiĊcony tematyce badania kompletnoĞci bazy wiedzy, opisuje pierwszy etap formalizacji.

Rysunek 1. Etapy formalizacji wiedzy

ħródáo: opracowanie wáasne.

Ze wzglĊdu na czytelnoĞü, zdecydowano siĊ na zastosowanie atrybutowych tablic decyzyjnych [5, 130–131], w wersji rozszerzonej, áączącej poszczególne tablice w strukturĊ drzewiastą, zbliĪonej do koncepcji XTT (ang. eXtended Tabular Trees) [14, 174–175]. Początkowo rozwaĪano wykorzy-stanie programu Prologa. W programie tym tablice decyzyjne mają postaü klasyczną, czytelnoĞü takich tablic niestety maleje wraz z ich rozmiarem. Ponadto tablice generowane są tu na podstawie skróconych zapisów reguá, co nie stanowi uáatwienia we wspóápracy z ekspertami dziedzinowymi. Autorka, w ramach tymczasowego rozwiązania, zaprojektowaáa rozszerzone atrybutowe listy decy-zyjne wraz z opisem dziedziny atrybutów w arkuszu Excela. Tworzona baza wiedzy wymaga staáej wspóápracy inĪyniera wiedzy z lekarzami, którzy są niezbĊdni przy interpretacji zapisów zawartych w wytycznych. Przygotowane arkusze uáatwiáy takĪe pracĊ zespoáową (prowadzoną w czĊĞci zdal-nie) przy uzgadnianiu zawartoĞci tablic poprzez moĪliwoĞü nanoszenia komentarzy (notatek) bezpoĞrednio na planszy z poszczególnymi tablicami.

Wytyczne dotyczące leczenia zastawkowych chorób serca, w ramach kaĪdej jednostki choro-bowej, wyznaczają poszczególne metody leczenia: operacyjne, nieoperacyjne zabiegi inwazyjne, leczenie zachowawcze lub kontrolĊ. Nie opisują jednak kompletnej przestrzeni moĪliwych wejĞü, ani w rozumieniu kompletnoĞci logicznej, ani fizycznej. Rysunek 2 przedstawia przykáadowy sche-mat przestrzeni moĪliwych wejĞü dla wybranej jednostki chorobowej. Peáne koáo oznaczaáoby, Īe zbiór reguá pokrywa wszystkie moĪliwe kombinacje atrybutów wejĞciowych. Wytyczne precyzują

Tablice decyzyjne

- WstĊpne kodowanie bazy wiedzy - Uáatwienie pracy grupowej z

eksper-tami dziedzinowymi

System ekspertowy w pakiecie Aitech Sphinx

- Weryfikacja bazy wiedzy w module CAKE (redundancja, sprzecznoĞci, rekurencja, kompletnoĞü)

- Walidacja bazy wiedzy w programie PC-Shell

Etap I Etap II

Program do badania komplet-noĞci i zarządzania tablicami

- Weryfikacja kompletnoĞci

- WstĊpna weryfikacja niejednoznacz-noĞci

- Generator reguá do formatu PC-Shell

21

zasady postĊpowania oznaczone na rysunku jako wycinki koáa w kolorze szarym (róĪnych odcie-niach szaroĞci). Wycinek biaáy obrazuje przestrzeĔ wejĞü, dla której w wytycznych brak zasad postĊpowania. Przed przystąpieniem do szczegóáowej analizy kompletnoĞci, przyjĊto zaáoĪenie, Īe obszar „biaáy” (luk) obejmuje przypadki pacjentów zdrowych, chorych na inną chorobĊ lub przy-padki niemoĪliwe (nie wystĊpujące realnie).

Rysunek 2. Schemat przestrzeni wejĞü dla przykáadowej jednostki chorobowej

ħródáo: opracowanie wáasne.

Pacjenci zdrowi generalnie nie powinni siĊ pojawiü na tym etapie diagnostyki, ale budowany system ekspertowy moĪe byü wykorzystywany takĪe w celach dydaktycznych (dla studentów me-dycyny lub doksztaácających siĊ lekarzy), w zawiązku z czym powinien przewidywaü wprowadzenie danych dla zdrowych pacjentów, a takĪe danych nieprawidáowych.

Postanowiono w pierwszej kolejnoĞci zakodowaü tylko te reguáy, które wynikają bezpoĞrednio z wytycznych, nastĊpnie zbadaü kompletnoĞü, wyáoniü brakujące reguáy i po analizie dokonanej wspólnie z lekarzami ustaliü konkluzje dla brakujących reguá: czy jest to pacjent zdrowy, chory na inną chorobĊ lub przypadek niemoĪliwy. Otrzymane wyniki wykazaáy jednak, Īe niekompletnoĞü wystĊpuje takĪe po stronie wytycznych, tzn. wykryto przypadki, mające szanse realnego zaistnienia, które nie są ujĊte w wytycznych, a wedáug lekarzy powinny. Analizą medyczną tego problemu zajmą siĊ lekarze. Na potrzeby budowy systemu przyjĊto dla takich luk w wytycznych proponowane przez lekarzy konkluzje, a system ekspertowy bĊdzie zawieraá stosowne wyjaĞnienia odnoĞnie problema-tycznego udokumentowania Ĩródeá dla tych konkluzji.

Początkowo badanie kompletnoĞci przeprowadzono w programie Prologa, gdzie brakujące re-guáy moĪna zlokalizowaü na planszy tablic decyzyjnych oraz w graficznej lub tekstowej reprezentacji drzewa decyzyjnego:

?^initialindicationAVsurgery:Y ?severeAR:Y

?symptomsAR:Y ?marfansyndrom:Y

22 ?aortaasc.:<=30 !treatmentAR:=AVsurgery ?aortaasc.:>30 !treatmentAR:=AVs.andAAs.cons. ?aortaasc.:>=50 !NoneLUKA 

Na podstawie przedstawionego fragmentu drzewa decyzyjnego moĪna odczytaü, Īe brakuje de-cyzji dla przypadku, gdy pacjent ma wstĊpne wskazania do operacji aorty, ponadto ma objawową ciĊĪką niedomykalnoĞü zastawki aortalnej (AR), syndrom Marfana oraz ĞrednicĊ aorty wiĊkszą lub równą 50 mm. Ze wzglĊdu na ograniczenia programu Prologa na rozmiar tablic nie moĪna byáo przeprowadziü analizy kompletnoĞci dla tych jednostek chorobowych, dla których tablica gáówna, z konkluzją koĔcową odnoĞnie proponowanego przez system sposobu leczenia, przekraczaáa do-zwolony rozmiar.

Autorka zdecydowaáa siĊ napisaü wáasny program do weryfikacji kompletnoĞci bazy wiedzy, pozbawiony ograniczeĔ na rozmiar tablicy. Napisany przez autorkĊ program (w jĊzyku C#) doko-nuje takĪe wstĊpnej analizy pod kątem niejednoznacznoĞci reguá. Ponadto posiada funkcjonalnoĞü kodowania tablicy decyzyjnej zapisanej w arkuszu Excela do reguáowej postaci wymaganej w sys-temie PC-Shell.

Na potrzeby przetwarzania, program koduje zapisane w tablicy decyzyjnej reguáy (zob. Tabela 2) do postaci wektorowej, stosownej takĪe w indukcji reguá.

Tabela 2. Fragment jednej z tablic decyzyjnych dla wybranej jednostki chorobowej Konkluzja

(skrót)

Nr

reguáy Initial AV^ AR

Symp-toms AR Significant AAA^ Marfan syndrom Sever e LV LVEF Aorta ascendens AV surgery 1 yes no

AV surgery 2 yes yes <=30

AV surgery cons. 3 AV cons. no

AV surgery cons. 4 AV cons. yes <=30

... ... ... ... ... ... ... ... ... ...

ħródáo: opracowanie wáasne.

Dwie pierwsze reguáy zawarte w Tabeli 2, tj.:

decyzja = operacja aorty if wstĊpne wskazania, brak syndromu Marfana;

decyzja = operacja aorty if wstĊpne wskazania, syndrom Marfana, Ğrednica aorty <= 30;

po zapisaniu w postaci wektorowej dla atrybutów uporządkowanych wedáug kolejnoĞci (z umiesz-czonym na koĔcu atrybutem decyzyjnym) wyglądają nastĊpująco:

yes * * * no * * * AV surgery

yes * * * yes * * <=30 AV surgery

Wektory to kompleksy záoĪone z selektorów, gdzie kompleks to pojedyncza reguáa, a selektor to pojedynczy warunek [2, 118–119]. Symbolem gwiazdki (*) oznaczone są selektory uniwersalne (dla warunków pominiĊtych w danej regule). Po przekodowaniu reguá oraz wczytaniu atrybutów wraz z dozwolonymi wartoĞciami program generuje plik zawierający wszystkie moĪliwe przypadki,

23

jakie mogą wystąpiü dla zdefiniowanej dziedziny (po uwzglĊdnieniu przypadków nierealnych, o czym bĊdzie mowa w dalszej czĊĞci artykuáu).

Selektory dla atrybutów nominalnych nie stanowią problemu podczas generowania moĪliwych przypadków, uwzglĊdniane są wszystkie kombinacje ich wartoĞci. Specjalnego przygotowania wy-magaáy jedynie atrybuty o wartoĞciach ciągáych, dla których naleĪaáo okreĞliü dopeániające siĊ przedziaáy liczbowe. W reguáach wystĊpują atrybuty liczbowe, które nie posiadają dopeániających przedziaáów. Przykáadowy atrybut x moĪe w reguáach wystĊpowaü w postaci przedziaáów x <= 50;

x > 50; x > 55. Wynika to z róĪnych progów (górnych lub dolnych) w zaleĪnoĞci od innych

niepra-widáowoĞci, jakie dotyczą danego pacjenta. Dla takiego atrybutu okreĞla siĊ trzy przedziaáy dopeániające: (–’, 50]; (50, 55]; (55, +’), które bĊdą uwzglĊdnione podczas generowania moĪli-wych przypadków. I tak przypadek pacjenta z atrybutem x z przedziaáu lewostronnie otwartego (50,55] moĪe zostaü pokryty przez reguáy z warunkiem x > 50. Natomiast przypadek dla x z prze-dziaáu (55, +’) moĪe zostaü pokryty zarówno przez reguáy z warunkiem x > 50, jak i z warunkiem

x > 55 (w zaleĪnoĞci od innych warunków, zgodnie z zasadami ujĊtymi w wytycznych). Przedziaáy

uwzglĊdniane w generowanych przypadkach muszą byü tak ustalone, aby w caáoĞci zawieraáy siĊ w przedziaáach okreĞlonych w reguáach lub w ogóle.

Wektorowy zapis reguá jest wykorzystywany podczas testowania pokrycia przypadków przez reguáy. Program generuje zbiór wszystkich moĪliwych przypadków z wyáączeniem przypadków nierealnych w systemie. WyróĪniono dwa rodzaje przypadków nierealnych: nierealne z powodu niespójnych faktów oraz nierealne ze wzglĊdu na logiczne powiązania w tablicach decyzyjnych. Dla tych pierwszych bardziej odpowiednie byáoby okreĞlenie „maáo realne” lub „maáo prawdopodobne” – przypadki takie są mogą zaistnieü systemie ekspertowym, ale przez lekarzy uwaĪane są jako nie-moĪliwe lub maáo prawdopodobne w Ğwiecie rzeczywistym. Drugi rodzaj dotyczy przypadków nierealnych w systemie i tylko te przypadki są odrzucane podczas generowania zbioru wymaganego do testowania pokryü.

OdnoĞnie niespójnych faktów autorka przyjĊáa rozwiązanie podobne do przedstawionego w pracy [9, 267–280], gdzie omówiono program Commander, sáuĪący do weryfikacji kompletnoĞci medycznej bazy wiedzy opartej na wytycznych, dotyczących szczepieĔ dzieci. Program Comman-der pozwala na zdefiniowanie semantycznych ograniczeĔ, uwzglĊdnianych podczas badania kompletnoĞci. W koncepcji autorki definiuje siĊ podobne ograniczenia, ale w ramach bazy wiedzy, w osobnej tablicy decyzyjnej przewidzianej na „kuriozalne” zestawy faktów. Uáatwi to zarówno przebieg weryfikacji kompletnoĞci (poprzez niewykazywanie luk w obrĊbie zdarzeĔ nierealnych) jak i wnioskowania systemu ekspertowego. Przypadki takie bĊdą kwalifikowane przez system jako maáo prawdopodobne, co powinno zmobilizowaü uĪytkownika do sprawdzenia poprawnoĞci da-nych. Nie przewiduje siĊ jednak zbyt wiele ograniczeĔ takiego rodzaju. Taka sytuacja dotyczyü moĪe atrybutów ze sobą skorelowanych. Przykáadowo wytyczne stosowane w kardiochirurgii opi-sują piĊü róĪnych kryteriów rozpoznania ciĊĪkiego zwĊĪenia zastawki aortalnej, w tym pole powierzchni ujĞcia zastawki oraz zindeksowane pole powierzchni ujĞcia zastawki (uwzglĊdniające powierzchniĊ ciaáa pacjenta). Nie wszystkie jednak te parametry bada siĊ u kaĪdego pacjenta. Oma-wiane wytyczne, wykorzystywane w wiĊkszej czĊĞci Europy, opisują kryteria najczĊĞciej stosowane, ale w poszczególnych krajach, a nawet jednostkach medycznych lekarze uĪywają tylko niektórych z nich. Tworzony system ekspertowy ma takĪe uwzglĊdniaü intencje twórców wytycz-nych, tzn. dokonywaü rozpoznania na podstawie tylko wybranych spoĞród moĪliwych kryteriów,

24

preferowanych w danym oĞrodku medycznym. A ewentualne raĪące sprzecznoĞci dla podanych kry-teriów, rozpoznane dziĊki zdefiniowanym ograniczeniom, zostaną uwzglĊdnione zarówno podczas weryfikacji bazy wiedzy jak i eksploatacji systemu.

W programie uwzglĊdniane są takĪe (w sposób automatyczny) ograniczenia wynikające z logicznych powiązaĔ miĊdzy tablicami w drzewiastej strukturze (odzwierciedlającej zagnieĪdĪa-nie reguá). Jak wspomniano, takie przypadki są wyáączone ze statycznego badania kompletnoĞci, poniewaĪ nie mają szansy zaistnienia zarówno w Ğwiecie rzeczywistym, jak i systemie eksperto-wym. W poprzednim punkcie nadmieniono, Īe nie zawsze moĪna orzekaü o kompletnoĞci caáej bazy wiedzy na podstawie kompletnoĞci poszczególnych tablic (jak to zaáoĪono w programie Prologa). Przyczyną takiej sytuacji moĪe byü uĪycie danego atrybutu w dwóch powiązanych tablicach, gdzie konkluzja jednej stanowi warunek dla drugiej. Taka sytuacja generalnie nie jest poĪądana, ale bywa czasem nieunikniona. Ocena niektórych jednostek chorobowych opisanych przez wytyczne prze-biega dwuetapowo. Najpierw dokonuje siĊ wstĊpnego wskazania do zabiegu, ignorując ewentualne nieprawidáowoĞci wspóáistniejące, a nastĊpnie decyzje z pierwszego etapu oceny są dalej weryfiko-wane w oparciu o dodatkowe atrybuty oraz niektóre te same, jakie byáy w pierwszym etapie, ale porównywane są one z innymi progami. MoĪna by ten problem obejĞü poprzez poáączenie obu ta-blic, czyli rezygnacji z zagnieĪdĪenia reguá na danym poziomie. Nie jest to jednak dobre rozwiązanie z dwóch powodów. Po pierwsze, zgodnie z przyjĊtymi zaáoĪeniami, baza wiedzy ma moĪliwie wier-nie odtwarzaü zapisy wytycznych, tak aby przyszáy uĪytkownik systemu ekspertowego miaá dostĊp do przejrzystych wzglĊdem wytycznych uzasadnieĔ dla sugerowanych decyzji. Po drugie, poáącze-nie tablic wiązaáoby siĊ z utworzepoáącze-niem reguá o duĪym stopniu záoĪonoĞci, co zmpoáącze-niejszyáoby czytelnoĞü systemu zarówno dla twórców jak i uĪytkowników.

5. WstĊpne wyniki weryfikacji kompletnoĞci

Dla wygenerowanych przypadków program sprawdza, czy są one pokrywane przez zdefinio-wane reguáy. Program podpowiada reguáy dla niepokrytych przypadków, ale ostateczna postaü brakujących reguá (oraz ustalenia konkluzji dla nich) wymaga analizy i wspóápracy z lekarzami. Natomiast przypadki, dla których program wykryá wiĊcej niĪ jedną reguáĊ pokrywającą są analizo-wane pod kątem niejednoznacznoĞci.

Pierwszy etap formalizacji dokonano dla piĊciu jednostek chorobowych opisanych w wytycz-nych dla zastawkowych chorób serca. Bazy wiedzy dla poszczególwytycz-nych jednostek chorobowych róĪnią siĊ stopniem záoĪonoĞci. Najmniej záoĪona baza wiedzy dotyczy zwĊĪenia zastawki mitralnej (MS), zawiera ona 47 reguá w 8 powiązanych tablicach decyzyjnych. Tablica gáówna skáada siĊ z 9 atrybutów wejĞciowych dwuwartoĞciowych. Atrybut decyzyjny posiada 7 wartoĞci. Dla tej jed-nostki ustalono wstĊpnie reguáy dla pacjentów zdrowych i chorych na inną chorobĊ. Program wygenerowaá dla tablicy gáównej 512 (czyli 29_{) wszystkich moĪliwych przypadków. Ze wzglĊdu na}

prostotĊ bazy wiedzy dla tej jednostki oraz wstĊpną kwalifikacjĊ konkluzji dla wejĞü niedefiniowa-nych przez wytyczne, nie spodziewano siĊ wykryü zbyt wiele przypadków niepokrytych przez Īadną reguáĊ.

25

Tabela 3. Przypadki niepokryte przez Īadną reguáĊ dla MS Contra-indicati ons to PMC Symp toms MS Signi-ficant MS Unfavoura-ble clinical char Unfavou-rable anatomi-cal char Contraindi-cations for surgery High risk for surgery High thrombo-embolic risk High risk of haemody-namic dec

no yes yes yes no no no yes yes

no yes yes yes no no no yes no

no yes yes yes no no no no yes

no yes yes yes no no no no no

ħródáo: opracowanie wáasne.

Takich przypadków faktycznie byáo niewiele, bo tylko cztery (zob. Tabela 3). Po analizie eks-pertów okazaáo siĊ, Īe przypadki te stanowią luki w wytycznych, a nie tylko w bazie wiedzy. Przypadki te objĊto jedną reguáą, dla której przypisano konkluzjĊ o rozwaĪeniu operacji lub zabiegu PMC (przezskórnej komisurotomii mitralnej). Jak zapowiedziano we wprowadzeniu, strona me-dyczna takich niekompletnoĞci bĊdzie badana przez lekarzy i moĪliwe, Īe podejmą ten temat w medycznych pracach naukowych.

Zastosowany przez autorkĊ algorytm, weryfikujący pokrycia przypadków przez reguáy, gene-ruje takĪe raport o niejednoznacznych pokryciach. Dla jednostki MS program wykryá 24 takie przypadki, realne w medycznym Ğwiecie rzeczywistym, które są pokrywane przez reguáy o dwóch róĪnych konkluzjach. System ekspertowy moĪe generowaü wiĊcej niĪ jedną konkluzjĊ (w systemie PC-Shell zaleĪy to od ustawienia jednego z parametrów w bloku faset), zwáaszcza w przypadku „pokrewnych” konkluzji traktowane moĪe to byü jako prawidáowe. WstĊpna analiza tych przypad-ków przez lekarzy wykazaáa jednak, ze wszystkie one powinny byü objĊte jedną konkluzją, a nie dwiema. Zrodziáo to kolejny problem, poniewaĪ wykryte niejednoznacznoĞci wynikają takĪe z wy-tycznych. W tej kwestii trudno podjąü ostateczną decyzjĊ, czy naleĪy „poprawiü” wytyczne, czy teĪ system ma wskazaü odpowiedzi wedáug wytycznych, nawet jeĞli jest ich wiĊcej niĪ jedna.

Baza wiedzy dla innej jednostki chorobowej, niedomykalnoĞci zastawki aortalnej (AR), zawiera 8 tablic decyzyjnych, a w nich 56 reguá. Tablica gáówna posiada 8 atrybutów wielowartoĞciowych dających 1152 przypadki. PoniewaĪ jednostka ta byáa formalizowana jako pierwsza i byáa juĪ we-ryfikowana przez program Prologa posiadaáa juĪ komplet reguá, co program autorki potwierdziá. W generowanym raporcie byáy jedynie przypadki oznaczone jako „logicznie niemoĪliwe” (niemoĪ-liwe ze wzglĊdu na logiczne powiązania miĊdzy tablicami). Dla tej jednostki byáo moĪ(niemoĪ-liwe przejĞcie do kolejnego etapu formalizacji i weryfikacji bazy wiedzy. Na podstawie tablic decyzyjnych zostaáy automatycznie wygenerowane reguáy w formacie PC-Shell (blok faset, blok reguá oraz blok control). Dwie pierwsze reguáy mają postaü:

0001:treatment_of_aortic_regurgitation="AVsurgery"if initial_indication_AV_surgery="yes", marfan_syndrom="no"; 0002:treatment_of_aortic_regurgitation="AVsurgery"if initial_indication_AV_surgery="yes", marfan_syndrom="yes", aorta_ascendens<=30;

26

Weryfikacja dla tej jednostki w module CAKE nie wykazaáa anomalii, a wstĊpna walidacja w programie PC-Shell przebiegáa pomyĞlnie (zob. Rysunek 3).

Rysunek 3. Wynik przykáadowej konsultacji w systemie ekspertowym PC-Shell dla AR

ħródáo: opracowanie wáasne przy uĪyciu programu PC-Shell z pakietu Aitech Sphinx [7].

Pozostaáe trzy jednostki chorobowe – zwĊĪenie zastawki aortalnej, niedomykalnoĞü zastawki mitralnej oraz wady zastawki trójdzielnej – w wyniku weryfikacji kompletnoĞci i wykrycia duĪej przestrzeni niepokrytych wejĞü musiaáy wróciü do etapu szczegóáowej analizy wytycznych. Przy-káadowo dla zwĊĪenia zastawki aortalnej (AS) program wykryá 30 000 niepokrytych przypadków. Kilka nowych reguá objĊáo zdecydowaną wiĊkszoĞü z nich, ale pozostaáo ponad 2 000 takich, któ-rych nie moĪna pokryü nieduĪym zbiorem generycznych reguá. Przyczyną jest zbyt specyficzna postaü kilku istniejących reguá (w zapisie wektorowym takie reguáy mają niewiele selektorów uni-wersalnych). Autorka zasugerowaáa uogólnienie tych reguá, co powinno byü moĪliwe. Omawiane reguáy dotyczą konkluzji „kontrola za 6 miesiĊcy”, które jako nieliczne zostaáy opisane w wytycz-nych poza sformalizowanymi diagramami i tabelami. Ustalanie treĞci takich reguá w wiĊkszym stopniu wymagaáo doprecyzowania ze strony lekarzy.

6. Podsumowanie

Wytyczne w kardiochirurgii nie wymuszają na lekarzach Ğcisáego stosowania siĊ do zawartych w nich zaleceĔ. Kardiochirurdzy mają odpowiedni margines swobody przewidziany na przypadki nietypowe, nie ujĊte w wytycznych. TakĪe i budowany system ekspertowy nie bĊdzie wyznaczaá ostatecznej decyzji. Jego rolą bĊdzie okreĞlenie „co mówią wytyczne” dla danego przypadku, tak aby lekarze mogli przed podjĊciem decyzji moĪliwie szybko przeanalizowaü zawartoĞü wytycznych pod kątem danego pacjenta.

Ze wzglĊdu na specyfikĊ Ĩródeá wiedzy wykorzystywanych do budowy bazy wiedzy dla kar-diochirurgii badanie kompletnoĞci peáni szczególną rolĊ. Wytyczne dotyczące leczenia zastawkowych chorób serca nie opisują kompletnej przestrzeni moĪliwych wejĞü. Ponadto, o ile zasady dotyczące operacji i zabiegów charakteryzują siĊ duĪym stopniem sformalizowania, o tyle decyzje dotyczące leczenia alternatywnego (leczenie zachowawcze oraz okresowe kontrole) zostaáy opisane w sposób mniej precyzyjny. Autorka zaproponowaáa wykorzystanie badania weryfikacji w trakcie tworzenia bazy wiedzy, uĪywając programu badającego kompletnoĞü jako dodatkowego

27

wsparcia dla inĪynierów wiedzy i ekspertów dziedzinowych. Upraszczając, moĪna by proponowane podejĞcie ująü w sáowach „zakodujmy najpierw to co jest pewne, czyli to, co w sposób oczywisty wynika z wytycznych, a nastĊpnie sprawdĨmy, czego brakuje i wrócimy do analizy Ĩródeá wiedzy”.

PodejĞcie to, zgodnie z zaáoĪeniami, okazaáo siĊ bardzo pomocne, co wykazano w niniejszym artykule. Niemniej przeprowadzone dotychczas badania ujawniáy pewne problemy dotyczące spój-noĞci samych wytycznych. Oznacza to pojawienie siĊ niepewspój-noĞci w obszarze „pewnym”. Dla inĪynierów wiedzy taka sytuacja nie jest niczym nowym czy zaskakującym. Ale w tym konkretnym zadaniu, które miaáo polegaü na wiernym odtworzeniu wytycznych, rodzi trudnoĞci. Badanie kom-pletnoĞci pozwoliáo rozpoznaü ten problem i zlokalizowaü wątpliwie miejsca w Ĩródáach wiedzy. Obecnie wydaje siĊ, Īe optymalne bĊdzie „poprawienie” wytycznych tam, gdzie jest to jest wyraĨnie konieczne, a w dodatkowych wyjaĞnieniach systemu ekspertowego (w systemie PC-Shell typu „co to” oraz „metafory”) opisanie napotkanych trudnoĞci.

Kolejnym celem przeprowadzanego badania kompletnoĞci jest odpowiednia reakcja systemu na niespójne fakty. System ekspertowy wspomagający podejmowanie decyzji w obszarze medycyny powinien udzielaü konkretnych odpowiedzi. W przypadku wprowadzenia przez uĪytkownika nie-prawidáowych faktów (sprzecznych) powinien zgáosiü, które fakty uniemoĪliwiają wnioskowanie i wyprowadzenie poprawnej konkluzji. Podobnego zachowania oczekuje siĊ takĪe od konwencjo-nalnych systemów. W koncepcji, jaką przyjĊáa autorka moĪna uwzglĊdniü ograniczenia opisujące niemoĪliwe (w rzeczywistoĞci medycznej) zestawy faktów i dziĊki temu usprawniü weryfikacjĊ kompletnoĞci. W warunkach kolejnego prototypowania bazy wiedzy ma miejsce takĪe zaleĪnoĞü odwrotna, tzn. wykrycie niektórych braków lub niejednoznacznoĞci pomaga w ustalaniu koniecz-nych ograniczeĔ (poniewaĪ zdarza siĊ, Īe dopiero analiza takich braków uzmysáawia tĊ koniecznoĞü). Ustalone ograniczenia są zapisywane w osobnej tablicy decyzyjnej (powiązanej z ta-blicą gáówną), dającej konkluzjĊ na temat sprzecznych wejĞü. Pozwoli to uĪytkownikowi uzyskaü stosowne informacje o niespójnoĞci danych podczas przebiegu wnioskowania. MoĪna takĪe rozwa-Īyü weryfikacjĊ spójnoĞci faktów jeszcze przed wnioskowaniem, zwáaszcza, Īe docelowo budowany system ekspertowy ma pobieraü dane o pacjencie ze szpitalnej bazy danych.

Omawiany w pracy program, wykorzystywany do wstĊpnej weryfikacji kompletnoĞci bazy wie-dzy bĊdzie rozwijany o kolejne funkcjonalnoĞci. W sformalizowanych dotąd jednostkach chorobowych áącznie wykorzystanych jest 125 atrybutów i ich liczba wraz z rozwojem bazy wiedzy bĊdzie rosáa. Przewiduje siĊ dodanie moduáu usprawniającego porządkowanie wykorzystywanych w bazie wiedzy pojĊü z moĪliwoĞcią mapowania ontologii terminów medycznych SNOMED3_. Po-nadto autorka rozwaĪa rozbudowanie programu w zakresie wizualnego projektowania tablic decyzyjnych.

28 Bibliografia

[1] Adelman L., Riedel S. L., Handbook for Evaluating Knowledge-Based Systems: Conceptual

Framework and Compendium of Methods, Springer Science + Business Media New York,

1997.

[2] Cichosz P., Systemy uczące siĊ, Wydawnictwo Naukowo-Techniczne, Warszawa 2000. [3] Hrapkowicz T., Kempa A., Michalik K, Zacny B., Maruszewski M., Decision Making

Process in Cardiac Surgery – Concept of Building an Expert System. In: Management

Systems in Production Engineering, Scientific and Technology Quarterly, No 1, pages 26– 30, 2013.

[4] LigĊza A., A Note on Backward Dual Resolution and Its Application to Proving

Completeness of Rule-Based Systems, Technical Report of Laboratoire d'Automatique et

d'Analyse des Systemes, No. 92214, Toulouse, France, 1992.

[5] LigĊza A., Logical Foundations for Rule-Based Systems, Studies in Computational Intelligence, Volume 11, Springer 2006.

[6] Maruszewski M., Kempa A., Michalik K., Zacny B., Koncepcja bazy wiedzy system

ekspertowego dla kardiochirurgii. W: Sobczak A. (red.) Technologie informatyczne

w administracji publicznej i sáuĪbie zdrowia. Zarządzanie cyfrową transformacją organizacji publicznych, Roczniki Kolegium Analiz Ekonomicznych 29/2013, str. 659–673.

[7] Michalik K., Systemy ekspertowe we wspomaganiu procesów zarządzania wiedzą

w organizacji, Wydawnictwo Uniwersytetu Ekonomicznego w Katowicach, 2014.

[8] Michalik K., Kwiatkowska M., Kielan K., Application of Knowledge-Engineering Methods

in Medical Knowledge Management. In: Seising R., Tabacchi M.E (eds), Fuzziness and

Medicine: Philosophical Reflections and Application Systems in Health Care, Studies in Fuzziness and Soft Computing, Springer, 2013.

[9] Miller D., Frawley S., Miller P., Using Semantic Constraints to Help Verify the Completeness

of a Computer-based Clinical Guideline for Childhood Immunization, Elsevier, Computer

Methods and Programs in Biomedicine 58,1999, pages 267–280.

[10] Preece A.D., Shinghal R., Foundation and Application of Knowledge Base Verification, International Journal of Intelligent Systems, Volume 9, Issue 8, pages 683–701, 1994. [11] Rybina G.V., Smirnov V.V., Methods and Algorithms for Verification of Knowledge Bases

in Integrated Expert Systems, Journal of Computer and Systems Sciences International, 2007,

Vol. 46, No. 4, pages 590–601.

[12] Vanthienen J., Mues C., Aerts A., An Illustration of Verification and Validation in the

Modelling Phase of KBS Development, Data & Knowledge Engineering, Volume 27, Issue

3, 1 October 1998, pages 337–352.

[13] Vanthienen J., Mues C., Wets G., Delaere K., A Tool-supported Approach to Inter-tabular

Verification, Expert Systems with Applications, Volume 15, Issues 3–4, October–November

1998, pages 277–285.

[14] Wojnicki I., Od Drzew Tablicowych do Sieciowych Tablic Decyzyjnych: ewolucja

zmodularyzowanych reprezentacji wiedzy, Pomiary automatyka Robotyka 12/2011, str. 173–

29

STUDY OF THE COMPLETENESS OF MEDICAL KNOWLEDGE BASE Summary

Construction of an expert system involves the acquisition of domain knowledge, and then performing the process of verification and validation of the encoded knowledge. The article discusses the process of verifying the completeness of the med-ical knowledge base created to develop the expert system that supports decision-making in cardiac surgery. Due to the special character of knowledge sources in this domain, studying completeness plays a crucial role. The author proposes the two-stage verification of the knowledge base, treating the two-stage of the initial assessment of completeness and indeterminism as an essential element supporting the codification of knowledge. During realization of the mentioned tasks the author used her own pro-gram, performing the static verification of the completeness of the knowledge base.

Keywords: Verification and validation of knowledge base, V&V, verification of completeness Anna Kempa

Katedra InĪynierii Wiedzy

Wydziaá Informatyki i Komunikacji Uniwersytet Ekonomiczny w Katowicach ul. 1 Maja 50, 40-287 Katowice