Etap I eksperymentu

Realizację celów kontrolnych badano z punktu widzenia domen organizacji. Stworzono środowisko pozyskania wiedzy (zgodnie ze strukturą modelu MPPW) obejmujące zaangażowane ze strony badanej organizacji kierownictwo, zastrzegając, by byli to pracownicy (lub grono pracowników) posiadający wiedzę o jej procesach, ich przebiegu, jakości, problemach. Zasugerowano, by raczej była to osoba zatrudniona na średnim lub wyższym szczeblu. Należy podkreślić wagę tego wyboru — reprezentant organizacji miał pełnić rolę eksperta zasilającego model wiedzą (zgodnie z koncepcja modelu MPPW)..

Trzeba przy tym ponownie wskazać na wspomniany wcześniej subiektywny charakter badania — zależny od wybranego pracownika. Zgodnie z potrzebą gromadzenia wiedzy w postaci faktów pewnych i niepewnych, proszono pracownika o podanie dla każdego pytania kompetencyjnego danych odniesionych do stopnia spełnienia warunków określonych pytaniem kompetencyjnym. Zastosowano w tym przypadku następującą skalę:

− 1 — warunek określony pytaniem kompetencyjnym nie jest spełniony,

− 2 — warunek określony pytaniem kompetencyjnym jest niewystarczająco spełniony,

− 3 — warunek określony pytaniem kompetencyjnym jest dostatecznie spełniony,

− 4 — warunek określony pytaniem kompetencyjnym kontrolny jest w całości spełniony, Pytania obejmowały szeroki zakres działania organizacji. Przykładowe pytania przedstawione ekspertom:

− Czy stworzony jest Plan Bezpieczeństwa? (proces DS5 COBIT),

− Czy analizowane są wydatki na IT? (proces DS6),

− Czy do konkretnych projektów przypisane są role i obowiązki poszczególnych członków projektu? (proces PO10),

− Czy są osiągane cele biznesowe poprzez implementację nabytego wcześniej oprogramowania? (proces AI2),

− Czy starsze systemy są porównywane z nowymi? (proces AI7).

Przyjęto także, z uwagi na uwarunkowania modelu, skalę wag ważności tych pytań. Dla potrzeb modelu zastosowano następującą skalę:

− 1 — cel kontrolny jest mało istotny dla potrzeb organizacji — jego niespełnienie nie powoduje poważniejszych problemów w funkcjonowaniu organizacji w dłuższym okresie,

− 2 — cel kontrolny jest istotny — brak jego realizacji w organizacji spowoduje poważne problemy w dłuższym horyzoncie czasowym,

− 3 — cel kontrolny jest niezbędny — brak realizacji procesów w jego obszarze spowoduje poważne problemy w bieżącym funkcjonowaniu organizacji.

Przyjęto także, że użytkownik może nie ocenić dowolnych pytań kompetencyjnych, jeżeli uzna, że:

− nie są one zasadne w realiach jego organizacji (w szczególności: cel kontrolny opisuje taki aspekt funkcjonowania organizacji, który nie występuje w rzeczywistości),

− nie zna odpowiedzi na dane pytanie, czyli nie jest w stanie dokonać oceny.

Fakty wprowadzane do bufora trafiają tam w celu ponownej weryfikacji. Może się zdarzyć, iż słaba ocena wynika ze nieznajomości procesu, co wskazuje na konieczność analizy faktów przez innego eksperta. Jeżeli prawdziwość faktów określających dane procesy jako ważne zostanie potwierdzona, zostają one w buforze. W taki sposób zostają odseparowane (poddane „kwarantannie”) i w ten sposób wyznaczają priorytety działania dla decydentów. Organizacja powinna skoncentrować swoje wysiłki dotyczące procesu uczenia się na poprawie właśnie tych słabych stron i w wielu iteracjach ustawicznie eliminować je (co będzie w konsekwencji powodowało opróżnianie bufora i przenoszenie kolejnych faktów do bazy produkcyjnej).

Trzeba także dodać, że w opisanym podejściu nie występuje koncepcja niepewności. Na tym etapie stosuje się podejście dwuwartościowe, a nie wielowartościowe. Użytkownik podaje odpowiedź na pytanie kompetencyjne wyłącznie, jeżeli jest jej pewien. W innym wypadku nie podaje jej wcale. Takie założenie sprawia, że ograniczony zostaje potencjalny zakres dostępnej wiedzy. Od ekspertów oczekuje się wobec tego dyscypliny w formułowaniu sądów.

Szczegółowy przebieg samooceny został przedstawiony w załączeniu do niniejszej pracy (patrz rozdział „Załączniki”). Przedstawiono tam potrzebę, która zainicjowała badanie oraz dokładne jego założenia. Zawarto tam również tabele zawierające komplet wyników (odpowiedzi dla każdego pytania kompetencyjnego).

Uzyskane odpowiedzi na pytania kompetencyjne zostały wykorzystane do zasilania baz wiedzy. Stąd też każda sesja z systemem powinna spełnić jego oczekiwania co do odpowiedzi na predefiniowane pytania. Podzielono je na następujące dwie grupy:

− diagnoza stanu obecnego:

• Jaki jest poziom dojrzałości organizacji?

• Jaki jest poziom dojrzałości domen?

• Jaki jest poziom dojrzałości danego procesu?

• Które domeny/procesy są najsłabsze/najlepsze?

− prognoza, analiza potencjalnych scenariuszy rozwoju:

• Które procesy należy usprawnić, by osiągnąć wyższy etap?

• Które domeny wymagają najwięcej uwagi?

Podczas eksperymentu założono, że zebrana wiedza o stanie organizacji wynika wyłącznie z odpowiedzi na pytania kompetencyjne. Każda odpowiedź na pytanie stanowi wobec tego z punktu widzenia procesów pozyskiwania wiedzy fakt, który powinien zostać dodany do bazy. Strukturę faktu określono następująco:

DD(id_p, id_c, id_pk, o, w) (27)

gdzie:

DD — domena (PO, AI, DS, ME) id_p — numer procesu,

id_c — numer celu kontrolnego,

id_pk — numer pytania kompetencyjnego w ramach celu, o — ocena procesu (1,2,3,4)

w — waga procesu (1,2,3)

Poniżej pokazano przykładowy fakt zapisany zgodnie z podaną powyżej notacją:

AI(2,3,1,4,1) (28)

co oznacza pierwsze pytanie kompetencyjne dla procesu 2.3 z dziedziny AI ocenione jako spełnione, ale nieważne. W obu eksperymentach wykorzystano mechanizm bufora. Został on użyty w celu kategoryzacji napływającej wiedzy. Poszczególne fakty kategoryzowano ze względu na kryterium dojrzałości opisywanych procesów z uwzględnieniem ich subiektywnej oceny ważności. Założono, że każdemu ocenionemu pytaniu kompetencyjnemu przypisuje się wagę i ocenę. Wobec tego każdy nowo pozyskany fakt może należeć do jednej z grup wyodrębnionych, jak pokazano w tabeli 9 poniżej.

Tab. 9 Grupowanie faktów ze względu na ich ocenę i wagę

w a g a

o c e n a

1 2 3

1 A B B

2 A C B

3 A C C

4 A A A

Źródło: opracowanie własne

Przy takich założeniach przyjętych dla skali ocenowej obu parametrów (ocena i waga), fakt można zakwalifikować do jednej z dwunastu grup. Proponuje się grupy te powiązać w ramach trzech kategorii ocenowych. Kategorie te wskazują na trzy różne podejścia do pozyskiwanego faktu:

− Kategoria A — to fakty związane z tymi procesami, które nie wymagają poprawy, gdyż:

• Dany proces jest spełniony lub

• Proces został określony jako nieważny (bez względu na to czy jest spełniony, czy nie),

− Kategoria B — to fakty wskazujące na procesy wymagające pilnego działania, udoskonalenia, gdyż:

• Oznaczono go jako ważny oraz

• Jest niespełniony

− Kategoria C — to procesy, które wymagają interwencji, ale powinna mieć ona średni priorytet.

Taka kategoryzacja determinuje odpowiednio inne podejście do każdej z tych trzech grup faktów:

− Fakty z kategorii A trafiają bezpośrednio do bazy produkcyjnej.

− Fakty z kategorii B i C trafiają do bufora — jako te, którym organizacja będzie musiała poświęcić wiele uwagi, przeanalizować i po podjęciu odpowiednich czynności ponownie ocenić.

Graficzne ujęcie wymienionych powyżej zasad (czyli algorytm działania systemu w zakresie pozyskiwania nowych faktów) zaprezentowano poniżej na rysunku 54.

Źródło: opracowanie własne

Rys. 54 Eksperyment VI - algorytm pozyskiwania i przetwarzania faktów na podstawie pytań kompetencyjnych dotyczących celów kontrolnych z wykorzystaniem mechanizmów modelu MPPW

Takie podejście do klasyfikacji wiedzy prowadzi do identyfikacji słabych stron organizacji — zarówno na poziomie domen procesowych, jak i poszczególnych procesów.

Trzeba jednak zwrócić uwagę, iż wprowadzenie faktu do bufora wiedzy nie wynika wyłącznie z intencji oddzielenia wiedzy o mocnych stronach organizacji od wiedzy na temat procesów wymagających działania naprawcze. Taki podział jest w pewnym sensie skutkiem ubocznym działania mechanizmów kontrolujących jakość wiedzy. Koncepcja bufora wiedzy zakłada dokładniejszą analizę wiedzy potraktowanej wstępnie jako nieprawdziwa, bądź niezweryfikowana. Założono, że taką wiedzą w tym modelu są fakty wskazujące na problemy organizacji. Ze względu na to, że słaba ocena może wynikać z wielu czynników, należy potraktować ją jako niepewną i sprawdzić przyczyny takiego stanu rzeczy. Wiedza będąca z buforze podlega okresowym analizom i może migrować do bazy produkcyjnej po spełnieniu stawianych jej warunków.

użytkownik

ekspert fakt Czy fakt należy do

kategorii A?

BAZA FAKTÓW PRODUKCYJNA

BUFOR Czy fakt należy do

kategorii A?

NIE TAK

TAK

NIE

Z przedstawionego w załączniku 2 badania wyniknęła bezpośrednio ocena poszczególnych domen procesowych COBIT oraz całości organizacji. W tabeli 10 zawarto zagregowane wyniki badania.

Tab. 10 Badanie COBIT w organizacji dostawcy usług informatycznych - wyniki

Domena COBIT

Ilość procesów

Ilość pytań

kompeten-cyjnych

Uzyskana suma ocen

Maksymalna suma ocen

Uzyskany wynik –

poziom dojrzałości

[%]

PO 62 80 217 320 67,81%

AI 36 51 183 204 89,71%

DS. 65 96 318 384 82,81%

ME 21 35 81 140 57.86%

ORGANI-ZACJA 184 262 799 1048 76,24%

Źródło: opracowanie własne