Weryfikacja praktyczna ontologii metod i technik wspomagających dobór i ocenę składników COTS

Utworzona ontologia metod i technik wspomagających wybór i ocenę składników COTS powstała w oparciu o analizę dostępnych rozwiązań w tym zakresie, szczegółowo opisanych w Rozdziale 2 niniejszej pracy. Dostępne charakterystyki stanowiły podstawę do sformułowania zbioru kryteriów oraz podkryteriów (5 kryteriów głównych oraz 51 podkryteriów) charakteryzujących analizowane metody i techniki, jak również określenie 54 klas zdefiniowanych, przedstawionych w Rozdziale 4. Ocenie jest poddawany zbiór 38 metod i technik wspomagających wybór i ocenę składników COTS (APCS, CAP, CARE, CBCPS, CDSEM, CEP, CSID, COSTUME, COTS-Agent Based System, CRE, Cil, Colombo i Francalanci, DBCS, Erol_Ferrel, FCS, GOThIC, IusWare, Jung i Choi, Lai, MAS, MRETS, Merad i Lemos, MiHOS, Morera, OTSO, PECA, PORE, RCPEP, SCARLET, SMI, STACE, Scenario-based technique, SedighAli, StoryBoard, Teltumbde, Wang, Wei i Wang, WinWin Spiral Model). Szczegółowe charakterystyki przedstawionych rozwiązań zamieszczono w Załączniku 1. W niniejszym podrozdziale zostaną zaprezentowane wybrane przykładowe możliwości zastosowania ontologii metod i technik wspomagających wybór i ocenę składników COTS. Część z utworzonych przykładów stanowi załącznik do niniejszej pracy (Załącznik 5).

W niniejszym studium zostaną zaprezentowane przykładowe możliwości zapewnienia wsparcia podczas procesu oceny COTS. Bazując na dokonanej analizie metod technik wspomagających wybór i ocenę składników COTS, podczas procesu oceny zidentyfikowano następujące możliwości: zapewnienie powtarzalności procesu, wykorzystanie niefunkcjonalnych atrybutów, wykorzystanie technicznych atrybutów oraz zastosowanie celowo zorientowanego podejścia. Poniższy schemat przedstawia w sposób graficzny wybrane możliwości wsparcia procesu oceny (Rys. 5.1.).

163 Rys. 5.1. Wybrane możliwości wsparcia procesu oceny oferowane przez metody i techniki wspomagające wybór i ocenę składników COTS. Źródło: Opracowanie własne.

Dla ontologii metod i technik wspomagających wybór i ocenę składników COTS przyjęto następujące założenia: użytkownik poszukuje takich rozwiązań, które zapewniałyby powtarzalność przeprowadzonego procesu oceny składników COTS. Zastosowanie mechanizmu wnioskującego dostarczyło zbioru rozwiązań spełniających to kryterium, identyfikując 7 metod i technik wspomagających wybór i ocenę składników COTS: Win Win Spiral model, RCPEP, APCS, CBCPS, OTSO, IusWare oraz metodę autorstwa Wei i Wang.

Rys. 5.2. Zbiór rozwiązań spełniających kryterium: powtarzalność procesu oceny składników COTS.

Źródło: Opracowanie własne.

Poniższy schemat prezentuje w sposób graficzny uzyskane wyniki.

164 Rys. 5.3. Prezentacja graficzna rozwiązań spełniających kryterium: powtarzalność procesu oceny składników COTS. Źródło: Opracowanie własne.

Weryfikacji praktycznej poddano także dostępne możliwości określenia ważności kryteriów podczas procesu oceny składników COTS. Analiza dostępnych rozwiązań pozwoliła na wskazanie takich alternatyw jak: zastosowanie grupowego AHP, zastosowanie narzędzia, rozmyta teoria zbiorów, nadanie wag globalnych i lokalnych, hierarchiczny model decyzyjny, szczegółowy opis oprogramowania, klastry i mechanizmy DSS, wielokryterialna metoda wspomagania decyzji czy rozmyte QFD (Rys. 5.4.).

Rys. 5.4. Możliwości określenia ważności kryteriów oferowane przez wybrane metody i techniki wspomagające wybór i ocenę składników COTS Źródło: Opracowanie własne.

165 Zakłada się, że decydent-użytkownik poszukuje takich metod i technik, które podczas procesu określenia ważności kryteriów uwzględniają zarówno szczegółowy opis oprogramowania, bądź klastrowanie i mechanizmy wspomagania decyzji lub wielokryterialną metodę wspomagania decyzji. Zastosowanie mechanizmu wnioskującego dostarczyło zbioru rozwiązań uwzględniających założone przez decydenta wymagania (CARE, Cil, FCS, IusWare, MIHOS, MRETS, PORE, SCARLET, Win Win Spiral model).

Rys. 5.5. Zbiór rozwiązań umożliwiających określenie ważności kryteriów przy uwzględnieniu szczegółowego opisu oprogramowania, bądź klastrowania i mechanizmów wspomagania decyzji lub wielokryterialnej metody wspomagania decyzji. Źródło: Opracowanie własne.

Poniższy schemat przedstawia w sposób graficzny uzyskane wyniki przy wykorzystaniu narzędzia OWLViz.

Rys. 5.6. Prezentacja graficzna zbioru rozwiązań umożliwiających określenie ważności kryteriów przy uwzględnieniu szczegółowego opisu oprogramowania, bądź klastrowania i mechanizmów wspomagania decyzji lub wielokryterialnej metody wspomagania decyzji. Źródło: Opracowanie własne.

Dokonując weryfikacji przyjętego założenia o konieczność spełniania tylko kryteriów:

klastrowanie i mechanizmy DSS oraz zastosowanie wielokryterialnej metody wspomagania decyzji podczas procesu określenia ważności kryteriów, zawężono zbiór rozwiązań do jednej metody (FCS), spełniającej powyższe wymagania.

166 Rys. 5.7. Zbiór rozwiązań umożliwiających określenie ważności kryteriów przy uwzględnieniu szczegółowego opisu oprogramowania, klastrowania i mechanizmów wspomagania decyzji oraz wielokryterialnej metody wspomagania decyzji. Źródło: Opracowanie własne.

Rysunek 5.8. ilustruje w sposób graficzny uzyskane wyniki.

Rys. 5.8. Prezentacja graficzna zbioru rozwiązań umożliwiających określenie ważności kryteriów przy uwzględnieniu szczegółowego opisu oprogramowania, klastrowania i mechanizmów wspomagania decyzji oraz wielokryterialnej metody wspomagania decyzji. Źródło: Opracowanie własne przy zastosowaniu aplikacji Protégé, mechanizmu wnioskującego HermiT 1.3.5.oraz narzędzia OWLViz.

Poddając analizie dostępne sposoby określenia ważności kryteriów do procesu oceny oferowane przez metody i techniki wspomagające dobór i ocenę składników COTS, zidentyfikowano następujące możliwości: sposób określenia kryteriów wykorzystujący NGT, sposób określenia kryteriów wykorzystujący szczegółową analizę wymagań, burzę mózgów, wywiad lub kwestionariusz, identyfikację wymagań, arkusz kalkulacyjny modelu, porównywanie elementów CBS, ustalenie celów i specyfikacji, kryteria określane przez decydenta, mechanizmy DSS czy określenie szablonu kryteriów.

167 Rys. 5.9. Prezentacja graficzna dostępnych sposobów określenia ważności kryteriów do procesu oceny.

Źródło: Opracowanie własne.

Zakłada się, że decydent-użytkownik poszukuje rozwiązań spełniających takie kryteria jak:

szczegółowa analiza wymagań, bądź porównywanie elementów CBS lub kryteria określane przez decydenta. W wyniku zastosowania mechanizmu wnioskującego otrzymano następujący zbiór rozwiązań: APCS, CAP, CDSEM, COTS Agent-based System (COTS ABS), CRE, DBCS, GOThIC, Merad i Lemos, PECA, PORE, RCPEP, Semantic-based Technique (SBT), SCARLET, SMI, STACE, StoryBoard, Wei i Wang.

168 Rys. 5.10. Zbiór rozwiązań umożliwiających określenie ważności kryteriów do procesu oceny przy uwzględnieniu: szczegółowej analizy wymagań, bądź porównywania elementów CBS lub kryteriów określanych przez decydenta. Źródło: Opracowanie własne.

Graficzna prezentacja wyników została przedstawiona na Rysunku 5.11.

Rys. 5.11. Prezentacja graficzna zbioru rozwiązań umożliwiających określenie ważności kryteriów do procesu oceny przy uwzględnieniu: szczegółowej analizy wymagań, bądź porównywania elementów CBS lub kryteriów określanych przez decydenta. Źródło: Opracowanie własne.

W oparciu o przeprowadzoną analizę metod i technik wspomagających dobór i ocenę składników COTS wskazano na występowanie następujących podejść formalnych do oceny oprogramowania, obejmujących: ocenę poprzez zastosowanie AHP, zastosowanie technik inżynierii wymagań, zastosowanie oceny socjotechnicznej, zastosowanie agentów, zastosowanie pierwowzorów, zastosowanie modeli jakości, zdefiniowanie wymagań łączących

169 przypadki użycia i screenshooty, zastosowanie technik scenariuszowych, zastosowanie oceny sterowania ryzykiem, zastosowanie opisu oprogramowania z bazy wiedzy lub repozytorium, zastosowanie algorytmu heurystycznego, zastosowanie narzędzi wspomagających ocenę, zastosowanie MCDA, zastosowanie współczynników weryfikujących, zastosowanie teorii gier, zastosowanie metod eksperckich, zastosowanie taksonomii, zastosowanie użyteczności dziedziny modelu, zastosowanie technik programowania celowego, zastosowanie teorii zbiorów rozmytych, zastosowanie WSM, zastosowanie technik programowania liniowego.

Rys. 5.12. Wybrane możliwości oceny oprogramowania. Źródło: Opracowanie własne.

170 Zakłada się, że użytkownik posiada wiedzę na temat zastosowania podczas procesu oceny składników COTS metody AHP lub MCDA. Stąd, chce znaleźć tylko takie rozwiązania, które podczas procesu oceny pozwalają na zastosowanie minimum jednej spośród tych metod.

W efekcie zastosowanie mechanizmu wnioskującego wskazało na spełnienie tych założeń przez 14 rozwiązań (CAP, Cil, Colombo i Francalanci, IusWare, Lai, MAS, Morera, OTSO, PORE, SCARLET, STACE, Teltumbde, Wang, Win Win Spiral model).

Rys. 5.13. Zbiór rozwiązań umożliwiających zastosowanie podczas procesu oceny składników COTS metody AHP lub MCDA. Źródło: Opracowanie własne.

Rysunek 5.14. prezentuje w sposób graficzny uzyskane rezultaty.

Rys. 5.14. Prezentacja graficzna zbioru rozwiązań umożliwiających zastosowanie podczas procesu oceny składników COTS metody AHP lub MCDA. Źródło: Opracowanie własne.

171 Założono, że liczba rozwiązań spełniających uprzednio zdefiniowane przez użytkownika kryteria, zwrócona przez mechanizm wnioskujący jest zbyt duża. Tym samym podjęto decyzję o zweryfikowaniu przyjętych kryteriów, ograniczając zbiór rozwiązań tylko do tych metod, które dokonują oceny składników COTS wykorzystując metodę AHP. W rezultacie zbiór rozwiązań został zmniejszony do 9 rozwiązań spełniających założone kryterium (CAP, Colombo i Francalanci, Lai, MAS, Morera, OTSO, STACE, Teltumbde, Wang).

Rys. 5.15. Zbiór rozwiązań umożliwiających zastosowanie podczas procesu oceny składników COTS metody AHP. Źródło: Opracowanie własne.

Poniższy schemat ilustruje w sposób graficzny uzyskane wyniki przy wykorzystaniu narzędzia OWLViz .

Rys. 5.16. Prezentacja graficzna zbioru rozwiązań umożliwiających zastosowanie podczas procesu oceny składników COTS metody AHP. Źródło: Opracowanie własne.

Jednocześnie istotną kwestią dla użytkownika było uwzględnienie przez daną metodę czynników socjotechnicznych podczas procesu oceny. Użycie mechanizmu wnioskującego wskazało na istnienie jednego rozwiązania spełniającego te założenia (metoda STACE).

172 Rys. 5.17. Zbiór rozwiązań umożliwiających zastosowanie podczas procesu oceny składników COTS metody AHP oraz czynników socjotechnicznych. Źródło: Opracowanie.

Rysunek 5.18. prezentuje w sposób graficzny uzyskane wyniki.

Rys. 5.18. Prezentacja graficzna zbioru rozwiązań umożliwiających zastosowanie podczas procesu oceny składników COTS metody AHP oraz czynników socjotechnicznych. Źródło: Opracowanie własne.

Ontologia metod i technik wspomagających dobór i ocenę składników COTS dostarcza również możliwości określenia typu informacji preferencyjnej (typ: kardynalny, deterministyczny, niedeterministyczny, porządkowy i rozmyty).

Rys. 5.19. Prezentacja graficzna dostępnych możliwości określenia typu informacji preferencyjnej.

Źródło: Opracowanie własne.

Przyjęto założenie, że proces wyszukiwania metod i technik wspomagających wybór i ocenę składników COTS powinien objąć te rozwiązania, które cechuje zarówno deterministyczny jak i kardynalny typ informacji preferencyjnej. Proces wyszukiwania przy użyciu mechanizmu wnioskującego dostarczył następujących rezultatów: CAP, Colombo i Francalanci, Jung i Choi, MAS, Morera, OTSO, STACE, Teltumbde, Wang).

173 Rys. 5.20. Zbiór rozwiązań uwzględniający deterministyczny i kardynalny typ informacji preferencyjnej.

Źródło: Opracowanie własne.

Poniższy schemat prezentuje w sposób graficzny dostarczone przez narzędzie OWLViz rezultaty.

Rys. 5.21. Prezentacja graficzna zbioru rozwiązań uwzględniającego deterministyczny i kardynalny typ informacji preferencyjnej. Źródło: Opracowanie własne.

Przykładowo zwiększono liczbę kryteriów koniecznych do spełnienia o rozmyty typ informacji preferencyjnej. W efekcie uzyskano następujący zbiór rezultatów: CAP, Colombo i Francalanci, MAS, Morera, OTSO, STACE, Teltumbde, Wang). Jak wykazano, liczba rozwiązań zmniejszyła się.

174 Rys. 5.22. Zbiór rozwiązań uwzględniający deterministyczny, kardynalny i rozmyty typ informacji preferencyjnej. Źródło: Opracowanie własne.

Rysunek 5.23. prezentuje w sposób graficzny uzyskane wyniki.

Rys. 5.23. Prezentacja graficzna zbioru rozwiązań uwzględniającego deterministyczny, kardynalny i rozmyty typ informacji preferencyjnej. Źródło: Opracowanie własne.

Utworzona ontologia zawiera również metaopis dla każdej z analizowanych metod i technik wspomagających wybór i ocenę składników COTS. Rysunek 5.24. prezentuje wybraną metodę (COSTUME) wraz z krótką jej charakterystyką.

175 Rys. 5.24. Przykład utworzenia metaopisu dla rozwiązania COSTUME. Źródło: Opracowanie własne.

5.3. Weryfikacja praktyczna ontologii narzędzi informatycznych wspomagających