Streszczenie
Celem artykułu jest dokonanie próby budowy taksonomii dostpnych metod i na-rzdzi oceny jakoci ontologii. We wstpie przedstawiono szczegółow analiz do-stpnych rozwiza. W oparciu o ich charakterystyki dokonano budowy taksonomii poszczególnych metod. Stanowiło to jednoczenie podstaw do konstrukcji autorskiej ontologii metod i narzdzi wspomagajcych ocen ontologii. Cało kocz wnioski z przeprowadzonych bada.
Słowa kluczowe: ontologia, taksonomia, COTS, systemy informatyczne zarzdzania, metody i narzdzia oceny ontologii.
1. Wprowadzenie
Ogromna ilo informacji dostpnych w sieci powoduje, e uytkownikowi coraz trudniej jest odnale odpowied na zadane przez siebie zapytanie. Zastosowanie semantycznych mechani-zmów wyszukiwania w zdecydowany sposób przyspiesza proces pozyskiwania informacji z rozle-głych zasobów sieciowych. Jednocze nie istnienie coraz wikszej liczby ontologii obejmujcych wiele dziedzin wymaga zastosowania odpowiednich mechanizmów wspomagajcych ich ocen zarówno pod wzgldem stosowalno ci dla danej dziedziny, obszarów wykorzystania, moliwo ci uycia przez konkretne podmioty czy oferowanych aspektów oceny.
Głównym załoeniem dokonania oceny ontologii jest przede wszystkim sprawdzenie jej sto-sowalno ci w danej dziedzinie oraz weryfikacja moliwo ci adaptacji oraz ponownego uycia przez przedsibiorstwa oraz społeczno WWW [1]. Obecnie wskaza naley na istnienie wielu metod i narzdzi wspomagajcych ocen ontologii. Celem niniejszego artykułu jest dokonanie charakterystyki dostpnych rozwiza wspomagajcych ocen ontologii, a take próba budowy taksonomii wybranych metod i narzdzi oceniajcych ontologie ze szczególnym uwzgldnieniem kryteriów weryfikujcych ocen jako ci złoonych ontologii dziedzinowych.
2. Wybrane podejcia do oceny ontologii
Oparcie Internetu najnowszej generacji na koncepcji Web 3.0 (okre lanym czsto w literaturze jako Sie Semantyczna) stwarza nowe moliwo ci standaryzacji i systematyzacji wiedzy z rónych dziedzin. Sie Semantyczna opiera si na tym samym protokole komunikacyj-nym, co Internet, jednak przesyłane pakiety danych s przekazywane w postaci pozwalajcej na dokonanie powiza znaczeniowych pomidzy sob, uwzgldniajc przy tym odpowiedni kontekst [19]. Pozyskiwana w ten sposób wiedza ma zastosowanie w tworzeniu lub powikszaniu istniej-cych ontologii. Sama koncepcja Sieci Semantycznej ma za zadanie równie uporzdkowanie in-formacji w rozległych zasobach Internetu.
W literaturze przedmiotu nie istnieje obecnie jednoznaczna definicja okre lajca proces oceny ontologii [6]. Podczas procesu oceny ontologii okre lana jest zarówno jej jako jak i adekwatno do jej zastosowania w przypadku konkretnej dziedziny, wraz ze ci le sprecyzowanym celem zastosowania [5]. Tym samym, stanowi to opini techniczn dotyczc zawarto ci danej ontologii, obejmujcej jej szczegółow specyfikacj wymaga, tre , meta-ontologi oraz moliwo ci stoso-wania zapyta [6, 7, 8, 10]. Jako główne załoenie procesu dokonania oceny ontologii wskaza naley przede wszystkim sprawdzenie jej stosowalno ci w danej dziedzinie oraz moliwo ci adap-tacji oraz ponownego wykorzystania. Ponadto, istotnym ograniczeniem jest brak dostatecznej wiedzy odno nie własno ci dotyczcych wymaga uytkownika celem wskazania najbardziej odpowiedniej ontologii w odniesieniu do danego zadania [1]. Obecnie istniejce podej cia do oceny ontologii opieraj si na analizie rónych aspektów oraz przeprowadzaj ocen na rónych poziomach złoono ci.
W oparciu o podział przedstawiony przez Gangemi i in. [6] mona wyróni trzy typy oceny ontologii: funkcjonaln, opart na uyteczno ci oraz opart na strukturze. Ocena funkcjonalna uwzgldnia jak dobrze dana ontologia uwzgldnia załoony cel. Z kolei ocena uyteczno ci opiera si na meta-danych i adnotacjach. Natomiast ocena oparta na strukturze wskazuje na wła ciwo ci strukturalne danej ontologii. Z kolei taksonomia podej oceny zaproponowana przez Brank i in. [3] opiera si na typie oraz zamiarze, których zadaniem jest przystosowanie poszczególnych po-ziomów słownika, taksonomii, semantycznych relacji, aplikacji, składni, struktury oraz projektu. Brank wskazuje na cztery typy podej : podej cie oparte na wzorcach, podej cie oparte na zada-niach, podej cie oparte na sterowaniu danymi lub całym zbiorem oraz podej cie oparte na opinii uytkowników [3].
W poniszej tabeli (Tabela 1) przedstawiono wybrane podej cia do oceny ontologii: podej cie oparte na wzorcach, podej cie oparte na zadaniach, podej cie oparte na sterowaniu danymi lub całym zbiorem oraz podej cie oparte na opinii uytkowników. Poszczególne podej cia w znaczcy sposób róni si midzy sob. Pierwsze z zaprezentowanych podej – podej cie oparte na wzor-cach dokonuje porównania ontologii do uprzednio zdefiniowanego standardu (wzorca) lub innej reprezentacji danej dziedziny problemu, dla której wymagane jest zastosowanie wzorca [8, 10]. Zastosowanie słownikowych porówna umoliwia wykorzystanie podobiestwa pomidzy danymi słownikami dwóch ontologii. Wykorzystanie struktury taksonomicznej oraz relacji ma za zadanie dostarczy porówna na poziomie pojciowym [17]. Celem podej cia opartego na zadaniach jest wykorzystanie danych ontologii w odniesieniu do ich uyteczno ci dla konkretnych zada oraz dokonaniu oceny uzyskanych wyników [16]. Jako główne ograniczenia zwizane z zastosowaniem tego podej cia wskaza naley przede wszystkim trudno ci zwizane z oszacowaniem jako ci wspieranego zadania, a take utworzenia neutralnego otoczenia eksperymentalnego, w którym nie ma adnych innych czynników wpływajcych na przekształcenie aplikacji. Kolejne z podej , oparte na sterowaniu danymi lub całym zbiorem, ma na celu dokonanie oceny przydatno ci danej ontologii dla danego zbioru w celu okre lenia stopnia odpowiednio ci danej reprezentacji wiedzy w odniesieniu do danej dziedziny reprezentowanej przez tekst [4]. Ostatnie z podej , oparte na opinii uytkowników pozwala na ukazanie w jakim stopniu dana ontologia odpowiada zbiorowi uprzednio zdefiniowanych standardów kryteriów [9, 12] oraz równo ci pogldów [22].
Tabela 1. Charakterystyka wybranych podej do oceny ontologii
Nazwa podej cia Cechy Ocena
Oparcie na wzorcach Porównanie ontologii do
uprzednio zdefiniowanego wzor-ca bd innej dostpnej repre-zentacji danej dziedziny.
Niewła ciwe zdefiniowanie wzorca przekłada si bezpo red-nio na jako uzyskanych wyni-ków.
Oparcie na zadaniach Ocena zastosowania ontologii do konkretnych zada.
Trudno ci z oszacowaniem jako- ci danego zadania. Konieczno zapewnienia neutralnego otocze-nia podczas procesu oceny ekspe-rymentalnego, w którym nie ma adnych innych czynników wpływajcych na przekształcenie aplikacji.
Oparcie na sterowaniu danymi lub całym zbiorem
Ocena stosowno ci danej onto-logii do danych zbiorów w celu okre lenia stopnia odpowiednio- ci danej reprezentacji wiedzy w odniesieniu do danej dziedziny reprezentowanej przez tekst.
Aplikacja tre ci nie jest moliwa.
Oparcie na opinii uytkowników Wymagania s uprzednio defi-niowane przez grup uytkowni-ków.
Weryfikacja wymaga zaley od ich uprzedniego zdefiniowania przez uytkowników. Im wyszy stopie szczegółowo ci, tym trudniej bdzie sprosta okre lo-nym kryteriom.
ródło: Opracowanie własne na podstawie: [3, 7]. 3. Dostpne metody i narzdzia oceny jakoci ontologii
Obecnie istnieje wiele metod i technik wspierajcych ocen ontologii. Poszczególne podej cia róni si w znaczcy sposób midzy sob podobne pod wzgldem ich zastosowania, moliwo ci wykorzystania przez okre lone grupy odbiorców, oferowanych moliwo ci poprzez dostarczenie aplikacji czy przypadków uycia. Wybrane metody opieraj si na m.in. zmierzeniu jako ci onto-logii, szeregowaniu poszczególnych ontoonto-logii, dopasowaniu danej ontologii do okre lonego pro-jektu, oceniajce reprezentacj wiedzy dla danej ontologii oraz stosowalno ci (wiarygodno ci) danej ontologii w odniesieniu do konkretnej dziedziny, jak i dostarczeniu zautomatyzowanej pro-cedury do oceny poszczególnych ontologii. Celem zastosowania kadego z narzdzi jest dostar-czenie odpowiednich informacji na temat stosowalno ci danej ontologii do danego projektu bd danej dziedziny. Ponisza tabela (Tabela 2) zawiera wybrane metody i techniki wspierajce ocen ontologii (OntoQA, AKTiveRank, OntoMetric, ODEval, OntoManager, Natural Language Appli-cation Metrics, OntoClean oraz EvaLexon).
Tabela 2. Charakterystyka wybranych metod i narzdzi oceny ontologii.
Nazwa Charakterystyka metody
AKTiveRank Narzdzie wspomagajce szeregowanie ontologii przy uyciu odpo-wiednich metryk: Miary Doboru Klas (Class Match Measure – CMM), Miary spoisto ci (Denisity measure – DM), Semantycznego podobie-stwa (Semantic similarity – SS) oraz Rónic miar (Betweeneness measu-res – BM). Dokonuje szeregowania ontologii wykorzystujc liczb metryk klasyfikacji oraz porównuje wyniki z kwestionariuszem sporz-dzonym przez uytkownika.
CORE Dostarczenie automatycznych miar podobiestw poprzez porównywanie
wzorcowych standardów do kolejnych ontologii. Stosuje techniki poł-czenia rankingów do pozyskiwania list rankingowych ontologii dla kadego z kryteriów.
CleanONTO Celem jest sprawdzenie niespójno ci w danej ontologii oraz nastpnie jego uporzdkowanie do stanu spójno ci. Zapewnia pozyskanie opisu dla kadego z konceptów, usuwa niewła ciwe połczenia oraz porzdku-je ontologi do postaci spójnego drzewa.
EvaLexon Celem jest dostarczenie prostej, obiektywnej oraz zautomatyzowanej procedury oceny dla podmiotów wydobywajcych ontologie z tekstu. Natural Language Application
Metrics
Zastosowanie do oceny zawarto ci poszczególnych ontologii z uwzgldnieniem aplikacji opartych na jzyku naturalnym. Wyróni mona nastpujce metody: metryki odwołania i dokładno ci (Precision and Recall Metrics), metryki oparte na ocenie kosztów (Cost-based evaluation metrics), Tennis Measure oraz miar opart na poziomie porównywania leksykalnego (Lexical comparison level measure). ODEval Jest wykorzystywany przez projektujcych ontologie w celu dokonania
oceny reprezentacji wiedzy dla ontologii zaimplementowanych w jzykach Sieci Semantycznej, zanim zostan one uyte w aplikacjach. Umoliwia wskazanie niespójno ci w reprezentacji wie-dzy, niekompletno ci oraz nadmiarowo ci w konceptach w kadym z rozwaanych jzyków. Wymaga znacznego zaangaowania uytkow-nika w proces oceny.
OntoMetric Celem jest zapewnienie wsparcia podczas wyboru ontologii do nowego
projektu. Jest to metoda wspomagajca inynierów wiedzy w okre leniu dopasowania danej ontologii okre lonego projektu. Zastosowanie meto-dy AHP wymaga od inyniera wiedzy porównania wano ci celów projektu oraz dokładnego zbadania charakterystyk poszczególnych ontologii.
OntoClean Opiera si na filozoficznych pojciach dla oceny formalnej struktur taksonomicznych. Skupia si na „czyszczeniu” taksonomii oraz jest stosowana w celu oczyszczania wyszych poziomów taksonomii WorldNet. Sedno metodologii stanowi cztery podstawowe ontologicz-ne pojcia: niezmienno , jedno , identyczno oraz zaleno . Po-przez załczenie ich jako meta-relacji do konceptów w taksonomii s wykorzystywane do przedstawienia zachowania poszczególnych kon-ceptów.
Nazwa Charakterystyka metody
OntoManager Jest wykorzystywany przez administratorów, ekspertów dziedzinowych oraz analityków biznesowych celem okre lenia wiarygodno ci ontologii w odniesieniu do problemów danej dziedziny. Ponadto wspiera pół-zautomatyzowany proces ulepszania ontologii uwzgldniajc analiz potrzeb uytkownika.
OntoQA Narzdzie ma na celu zmierzenie jako ci ontologii przy uyciu odpo-wiednich schematów i stałych metryk. Umoliwia inynierom wiedzy oraz podmiotom badajcym na znalezienie i analiz uyteczno ci onto-logii w Sieci Semantycznej. Narzdzie moe by zatwierdzone poprzez porównanie otrzymanych rezultatów do innych podej oraz do wiedzy eksperckiej.
OntoKBEval Celem jest dokonanie oceny ontologii OWL przy uyciu wsparcia za pomoc logiki opisowej (ang. DL – Description Logic). Ocena ontologii poprzez budow całkowitych struktur hierarchicznych od TBoxów i ABoxów wraz ze szczegółow informacj w postaci referencji oraz analizy statystycznej w celu ponownej klasyfikacji elementów DL KBE.
ródło: Opracowanie własne na podstawie: [1, 5, 7, 9, 10, 11, 12, 13, 14, 18, 20, 21, 23].
Ocenie poddano 11 wybranych metod i narzdzi wspomagajcych ocen ontologii. Na pod-stawie dostpnych charakterystyk poszczególnych rozwiza został sformułowany zbiór kryteriów charakteryzujcych dane mechanizmy oceniajce ontologie. Ponisza tabela prezentuje zestawie-nie kryteriów oraz poziom ich spełzestawie-nienia przez poszczególne metody i narzdzia: AKTiveRank, OntoKBEval, CleanONTO, OntoMetric, CORE, Natural Language Application Metrics, OntoQA, OntoManager, OntoClean, ODEval oraz EvaLexon (Tabela 3, Tabela 4).
Wybrane zostały nastpujce rozwizania: AKTiveRank, OntoKBEval, CleanONTO, On-toMetric, CORE, Natural Language Application metrics, OntoQA, OntoManager, OntoClean, ODEval oraz EvaLexon. Kade z przedstawionych metod i narzdzi w znaczcy sposób róni si midzy sob, uwzgldniajc niekiedy odmienne aspekty podczas procesu oceny. W oparciu o charakterystyki poszczególnych rozwiza sformułowany został zbiór kryteriów oraz podkryte-riów charakteryzujcych metody i narzdzia oceny ontologii. Zostało wskazanych 7 krytepodkryte-riów głównych oraz 29 podkryteriów. W zwizku z tym, e pomidzy wybranymi metodami wystpuj znaczce rónice, koniecznym było wskazanie wikszej liczby kryteriów szczegółowych. Przed-stawione metody i narzdzia kład nacisk na róne aspekty w procesie oceny ontologii.
Tabela 3. Charakterystyka metod i narzdzi wspomagajcych ocen ontologii
ródło: Opracowanie własne.
Nazwa AKTiveRank CORE CleanONTO EvaLexon NLA Podkryterium
Dodatkowe metryki - - - - tak
Dostarczenie miar
ilociowych tak - - - tak
Porównywanie do wzorca - tak - - - Zastosowanie AHP - - - - Zastosowanie logikiopisowej - - - - - Analiza potrzeb uytkownika - - - - -
Pomiar jakoci tak - tak -
Pomiar uytecznoci ontologii w S ieci S emantycznej - - - - - Problematyka dziedzinowa - - - - tak S zeregowanie
ontologii tak tak tak - -
Usprawnienie
ontologii - - - - -
Wsparcie leksykalne - tak tak tak
Wsparcie przy wyborze ontologii do
projektu - - - - -
Zestawienie z
innymi systemami tak - - - tak
Ocena poprawnoci i
identyfikacji - - - - tak
Ocena taksonomii - tak tak tak
Ocena wiarygodnoci
ontologii - - - - tak
Ocena zawartoci - - - tak tak
Analityk
dziedzinowy - - - - -
Inynier wiedzy tak - - - tak
Uytkownik kocowy tak - - - tak
Projektant - - - - - Wskazanie nadmiarowoci - - tak - - Wskazanie niekompletnoci - - tak - - Wskazanie niespójnoci - - tak - - Nauka - - - - -
Przemysł - - - tak tak
Gotowa ontologia tak tak tak tak -
Projektowana
ontologia - tak - tak -
Wskazanie błdów ontologii Wykorzystanie Zastosowanie Kryterium Dodatkowe metody i techniki Dodatkowe usprawnienia Ocena Uytkownik
Tabela 4. Charakterystyka metod i narzdzi wspomagajcych ocen ontologii
ródło: Opracowanie własne.
Nazwa ODEval OntoClean OntoKBEval OntoManager OntoMetric OntoQA Podkryterium
Dodatkowe metryki - - - -
Dostarczenie miar
ilociowych - - - - tak tak
Porównywanie do
wzorca - - - -
Zastosowanie AHP - - - - tak
Zastosowanie
logikiopisowej - - tak - - -
Analiza potrzeb
uytkownika - - - tak - -
Pomiar jakoci - tak - - - tak
Pomiar uytecznoci ontologii w S ieci
S emantycznej - - - - - tak
Problematyka
dziedzinowa - tak - tak - tak
S zeregowanie
ontologii - - - -
Usprawnienie
ontologii - - - tak - -
Wsparcie leksykalne tak tak tak - - -
Wsparcie przy wyborze ontologii do projektu - - - - tak - Zestawienie z innymi systemami - - - - Ocena poprawnoci i identyfikacji - tak - - - -
Ocena taksonomii tak tak - - -
Ocena wiarygodnoci
ontologii - - - tak - -
Ocena zawartoci - - - -
Analityk
dziedzinowy - tak - tak - tak
Inynier wiedzy - tak - tak tak tak
Uytkownik kocowy tak - tak tak -
Projektant tak - - tak
Wskazanie
nadmiarowoci tak tak - - - -
Wskazanie
niekompletnoci tak tak - - - -
Wskazanie
niespójnoci tak tak - - - tak
Nauka - - tak - - -
Przemysł tak tak tak - - -
Gotowa ontologia - - tak tak tak
Projektowana ontologia - - tak - - - Wskazanie błdów ontologii Wykorzystanie Zastosowanie Kryterium Dodatkowe metody i techniki Dodatkowe usprawnienia Ocena Uytkownik
W oparciu o przedstawione kryteria oraz podkryteria wybranych metod i technik została do-konana próba budowy modelu taksonomii rozwiza wspomagajcych ocen ontologii. Kada z metod spełnia minimum 6 podkryteriów. Najmniejsz liczb kryteriów spełniaj: CORE oraz OntoKBEval. rednio poziom spełnienia kryteriów wyniósł 7 dla podej : AKTiveRank, Clea-nONTO, EvaLexon, ODEval, OntoMetric oraz OntoQA. Wyszym poziomem spełnienia kryte-riów charakteryzuj si metody: NLA oraz OntoManager. Najwysza liczba krytekryte-riów wystpuje w podej ciu OntoClean. Poniej w sposób graficzny zostały przedstawione kryteria oraz podkryte-ria charakteryzujce metody i narzdzia oceny ontologii (Rys. 1).
Rysunek 1. Model taksonomii metod i narzdzi oceny ontologii ródło: Opracowanie własne.
Istnieje moliwo przedstawienia szczegółowych charakterystyk spełnienia poszczególnych kryteriów przez wybrane rozwizania. Poniszy rysunek (Rys. 2) przedstawia scharakteryzowane metody i narzdzia wspomagajce ocen ontologii z uwzgldnieniem przykładowo (z uwagi na ograniczone moliwo ci przedstawienia w niniejszym artykule) jednego z kryteriów: Dodatkowe metody i techniki oraz podkryteriów: Dodatkowe metryki, Porównywanie do wzorca, Dostarcze-nie miar ilo ciowych, ZastosowaDostarcze-nie AHP, ZastosowaDostarcze-nie logiki opisowej. Poniszy schemat ilu-struje, które z rozwiza spełniaj dane podkryteria w oparciu o kryterium główne: Dodatkowe metody i techniki.
Rysunek 2. Charakterystyka metod i narzdzi oceny ontologii w oparciu o spełnienie kryterium: Dodatkowe metody i techniki oraz przypisane podkryteria
ródło: Opracowanie własne.
Ponadto, dla danego narzdzia czy metody istnieje moliwo zaprezentowania spełnianych przez dane rozwizanie cech charakterystycznych. Szczegółowe przedstawienie kryteriów oraz podkryteriów zostało zaprezentowane graficznie na przykładzie podej cia OntoManager. OntoMa-nager jest jedn z metodologii uwzgldniajc problemy danej dziedziny podczas procesu oceny ontologii. Jego uycie ma na celu dokonanie weryfikacji wiarygodno ci danej ontologii z uwzgldnieniem jej zastosowania do konkretnych problemów w danej dziedzinie dostarczajc tym samym odpowiedzi na pytanie: czy dana ontologia reprezentuje we wła ciwy sposób dany wycinek rzeczywisto ci oraz wymagania uytkownika [21]. Poniszy schemat (Rys. 3) wskazuje na te podkryteria, które s spełnione przez wybrane podej cie. S to kryteria: Ocena (podkryteria: Ocena wiarygodno ci ontologii), Zastosowanie (Zastosowanie gotowa ontologia), Dodatkowe usprawnienia (Problematyka dziedzinowa, Analiza potrzeb uytkownika, Usprawnienie ontologii) oraz Uytkownik (Uytkownik analityk dziedzinowy, Uytkownik kocowy, Uytkownik inynier wiedzy).
Rysunek 3. Szczegółowa charakterystyka rozwizania OntoManager w oparciu o poziom spełnienia poszczególnych kryteriów. ródło: Opracowanie własne.
4. Analiza dostpnych metod i narzdzi oceny ontologii w do ontologii dzidzinowych
Przedstawione metody i narzdzia dokonuj oceny ontologii w oparciu o róne kryteria. Jed-nocze nie nie mona wskaza metody uniwersalnej. W przypadku zastosowania i oceny ontologii dziedzinowych istotnym jest wskazanie odbiorcy – uytkownika, dla którego dane rozwizanie jest dedykowane, a take jak uzasadnienie potrzeby zastosowania takiego rozwizania oraz zaan-gaowania uytkowników w jego dalszy rozwój. Proces budowy złoonej ontologii dziedzinowej wymaga spełnienia szeregu załoe. Przede wszystkim cały proces budowy ontologii jest proce-sem czasochłonnym, wymagajcym od podmiotu budujcego szczegółowej wiedzy merytorycznej. Istotnym jest uwzgldnienie przez budujcego wymaga stawianych przez przyszłych uytkowni-ków ontologii. Dodatkowo, istotnym problemem pozostaje sposób aktualizacji ontologii o nowo-powstałe elementy oraz moliwo zastpienia nimi starszych elementów. Proces ten jest zdecy-dowanie trudniejszy w przypadku rozbudowanych ontologii ogólnych, ni dla ontologii budowa-nych dla okre lonej dziedziny.
Teoretycznie, istnieje moliwo zastosowania kadego z przedstawionych rozwiza do oce-ny złoooce-nych ontologii dziedzinowych, jednake poszczególne metody i narzdzia mog dostar-cza rónych wyników. Z praktycznego punktu widzenia najwła ciwszym moe wydawa si zastosowanie takich podej jak przedstawiony w niniejszym artykule OntoManager oraz metodo-logie: OntoClean, OntoQA czy NLA. Watro zaznaczy, e wanym czynnikiem jest zapewnienie takiego podej cia do oceny ontologii, które byłoby proste w uyciu i nie wymagało szczegółowej wiedzy od uytkownika kocowego, a takim rozwizaniem jest niewtpliwie OntoManager.
5. Wnioski
W artykule podjto prób budowy taksonomii dostpnych metod i narzdzi wspomagajcych ocen ontologii. Przedstawiono analiz poszczególnych rozwiza, w oparciu o któr dokonano okre lenia kryteriów oraz podkryteriów charakteryzujcych poszczególne podej cia. W ten sposób usystematyzowano i uporzdkowano charakterystyki poszczególnych technik. Ponadto, wskazano metody i narzdzia weryfikujce jako złoonych ontologii dziedzinowych.
W artykule przedstawiono równie przykłady spełnienia wybranego kryterium oraz podkryte-riów przez poszczególne rozwizania. Dodatkowo zaprezentowano szczegółow charakterystyk kryteriów dla podej cia OntoManager. Warto jednocze nie zaznaczy, e moliwo taka istnieje dla wszystkich przedstawionych metod oraz narzdzi.
Bibliografia
[1] Alani H., Brewster C.,: Metrics for Ranking Ontologies, In Proceedings of the 4th Interna-tional Conference on Evaluation of Ontologies for the Web, EON Workshop, Edinburgh In-ternational Conference Center, Edinburgh, UK 2006.
[2] Basili, V.R., Boehm, B.,: COTS-Based Systems Top 10 List, IEEE Computer, Vol. 34, No. 5, May 2001.
[3] Brank J. (red.),: A Survey of Ontology Evaluation Techniques, At the conference on Data Mining and Data Warehouses, SiKDD 2005.
[4] Brewster C. (red.),: Data Driven Ontology Evaluation, Proceedings of the Language Re-sources and Evaluation Conference (LREC 2004), Lisbon, Portugal 2004.
[5] Feranandez M., Cantandor I., Castells P.,: CORE: A Tool for Collaborative Ontology Reuse and Evaluation, 4th International EON Workshop, 2006.
[6] Gangemi A. (red.),: A theoretical framework for ontology evaluation and validation, In Pro-ceedings of SWAP 2005.
[7] Gilbert M.,: A Flexible Biomedical Ontology Selection Tool, International Journal of Com-puting and ICT Research, Special Issue Vol. 3, No. 1, 2009.
[8] Gomez-Perez A.,: Ontology Evaluation, Handbook on Ontologies 2004.
[9] Gomez-Perez A.,: Some ideas and Examples to Evaluate Ontologies, Technical Report KSL-94-65, Knowledge System Laboratory, In Proceedings of the 11 the Conference on Artificial Intelligence for Applications – CAIA94, Stanford University 1994.
[10] Guarino N., Welty C.,: Evaluating Ontological Decisions with OntoClean, Communications of the ACM, Vol. 45, No. 2, 2002.
[11] Hartmann J. (red.),: Methods for ontology evaluation, EU-IST Network of Excellence, NoE IST-2004- 507482 KWEB 2005.
[12] Lozano-Tello A., Gomez-Perez A., Sosa A.,: Selection of Ontologies for the Semantic Web, LNCS, Vol. 2722, 2004.
[13] Lu Q., Haarslev V.,: OntoKBEval: DL-based Evaluation of OWL Ontologies, IEEE, In Pro-ceedings OWLED, 2006.
[14] Maedche, A., Staab, S.,: Measuring Similarity between Ontologies, In: Proc. Of the Europe-an Conference on Knowledge Acquisition Europe-and MEurope-anagement - EKAW-2002, Madrid, Spain, LNCS/LNAI 2473, Springer 2002.
[15] Morisio M., Torchiano M.: “Definition and classification of COTS: a proposal”, Accepted at ICCBSS, Orlando (FL) February 4–6, 2002.
[16] Porzel R., Malaka R.,: A task-based approach for ontology evaluation, Proc. of the 16th Eu-ropean Conf. on Artificial Intelligence (ECAI 2004), Valencia, Spain 2004.
[17] Sabou M. (red.),: Ontology Selection: Evaluation on the Real Semantic Web, Fourth Interna-tional Evaluation of Ontologies for the Web Workshop (EON2006), Edinburgh, UK 2006. [18] Sleeman D.,: Quentin R., CleanONTO: Evaluating Taxonomic Relationships in Ontologies,
4th International EON Workshop, Edinburgh International Conference Center, Edinburgh, United Kingdom 2006.
[19] Smith B., Ontology, Preprint version of chapter “Ontology”, [w:] Floridi L. (red.):, Blackwell Guide to the Philosophy of Computing and Information, Oxford: Blackwell 2003.
[20] Spyns P. (red.):, Evaluating DOGMA-lexons generated automatically from a text corpus, [w:] Cimiano P. (red.):, Proceedings of the EKAW 2004 Workshop on Language and Seman-tic Technologies to support Knowledge Management Processes, 2004.
[21] Stojanovic N. (red.):, The OntoManager – a system for the usage-based ontology manage-ment, In Proceedings of FGML Workshop, SIG of German Information Society, Springer Verlag 2003.
[22] Supekar K.:, A peer-review approach for ontology evaluation, Proc.8th Intl. Protégé Confer-ence, Madrid, Spain 2005.
[23] Tartir S. (red.):, OntoQA: Metric-Based Ontology Quality Analysis, In IEEE Workshop on Knowledge Acquisition from Distributed, Autonomous, Semantically Heterogeneous Data and Knowledge Sources, Houston, TX, USA, IEEE Computer Society 2005.
A TAXONOMY MODEL OF METHODS AND TECHNIQUES FOR QUALITY ONTOLOGY EVALUATION OF COTS COMPONENTS IN MANAGEMENT
INFORMATION SYSTEMS DOMAIN Summary
The general aim of this paper is an experiment of building a taxonomy model of available methods and tools for quality ontology evaluation. The analysis of selected solutions was provided as well. On base of the characteristics of presented methods the taxonomy was built. It was a basis for the author’s ontology structure of methods and tools for quality ontology evaluation supporting COTS components selection and evaluation in management information systems domain. The conclusions finish this article.
Keywords: ontology, taxonomy, COTS, management information systems, methods and tools for ontology evaluation
Agnieszka Konys
Katedra Inynierii Systemów Informacyjnych Wydział Informatyki
Zachodniopomorski Uniwersytet Technologiczny w Szczecinie ul. ołnierska 49, 71-210 Szczecin
