wsparcia informatycznego
9.4 Ocena efektywności wdrożenia BI .1 Wybór wskaźników do oceny
Z wywiadów przeprowadzonych przez autorów wynika, że kierownictwo Aveny na pewnym etapie rozwoju firmy stwierdziło, że nie jest w stanie dłużej podejmować trafnych decyzji. Dlatego zdecydowano się na wdrożenie BI na początku 2011 roku. Organizacja między badanymi okresami zmieniała się pod wpływem działań wynikających z wyciągniętych wniosków na podstawie danych zgromadzonych i przeanalizowanych przez system BI (przynajmniej w jakiejś części). Mimo, iż nieznane są poszczególne pojedyncze decyzje, moż-na zmierzyć ich wpływ poprzez szereg parametrów. Dzięki wypracowanym wskaźnikom (opisanych wcześniej) można ocenić, czy wdrożenie BI było uza-sadnione, czy firma na podstawie uzyskiwanych informacji podjęła decyzje, które zwiększyły efektywność firmy.
Do oceny autorzy wybrali osiem wskaźników, które można zaliczyć jednej do dwóch kategorii:
⎯ kierunkowe - mówią o kierunku zachodzących zmian, najważniejsza w nich nie jest wartość, ale znak.
Pomiar skutków wdrożenia narzędzi Business Intelligence w organizacji… 193
⎯ wartościowe - w ich przypadku najważniejsza jest sama liczba, która powinna mieścić w określonym przedziale. Ten przedział został wyzna-czony subiektywnie przez autorów.
Wszystkie te wskaźniki zostały zebrane w tabeli 9.3, wraz z wyliczonymi wartościami oraz sugerowanymi normami dla każdego.
Tabela 9.3. Wartości wskaźników oceny
Lp Wskaźnik
ΔKlient kierunkowy + 24,13% Brak górnego
limitu
194 Inżynieria oprogramowania – badania i praktyka
Wartość każdego ze wskaźników należy pokrótce skomentować i uzasadnić, oceniając jej charakter (pozytywny/negatywny). Każda wartość została przez autorów oceniona w skali 1-5 (gdzie 5 to wynik bardzo dobry, 1 – mierny).
W kolumnie "komentarz" przedstawione zostało krótkie uzasadnienie, dlaczego wskaźnik uzyskał właśnie taką ocenę. Ocena wdrożenia systemu BI i efektów działań przeprowadzanych Avenę będzie średnią arytmetyczną ocen poszcze-gólnych wskaźników.
Tabela 9.4. Ocena wartości wskaźników.
Wskaź-nik
Komentarz Ocena
ΔSR Wzrost liczby zgłoszeń aż o 56% w ciągu roku świadczy o znacznym
tempie rozwoju firmy. 5
ΔAAT Wzrost o 1h (albo o 25,64%) mówi o tym, że administratorzy faktycznie pracują o godzinę więcej w ciągu dnia. To zmiana w dobrym kierunku, o
ile AAT nie zostanie przekroczony. 5
AAT
Średni dzienny czas pracy administratora wynosi 4,9h. Przy założeniu, że dzień pracy trwa 8 godzin, 4,9h stanowi tylko 61,25% dnia roboczego.
Wartość wskaźnika jest stanowczo zbyt niska; administratorzy nie wyko-rzystują w pełni swojego czasu pracy.
2
Δ SR - Δ t
Wartość wskaźnika Δ SR - Δ t równa 30,15% oznacza, że administrato-rzy, którzy pracowali w firmie w O1 i O2 nieproporcjonalnie podnieśli swoją wydajność w stosunku do oczekiwanej aż o ponad 30%. To bardzo
dużo.
5
CZiS/M TTR
Wielkość wskaźnika CZiS/MTTR wynosząca 113,10% wskazuje, że firma nie mieści się w wyznaczonych czasach obsługi SR.. Z drugiej strony, MTTR był w O1 wyraźnie nieoszacowany (zawyżony).
Zaostrze-nie MTTR to zmiana pozytywna, ale Zaostrze-nie przy zwiększającej się liczbie SR. Avena nie jest w stanie dotrzymać rygorystycznych MTTR
określo-nych w SLA.
2
ΔKlient Avena przy zatrudnieniu tylko jednego dodatkowego pracownika
obsłu-żyła w O2 24,13% więcej klientów, niż w O1. To spory wzrost. 5
ΔO-ΔZ
Firma zamknęła o 19 więcej zgłoszeń niż przyjęła w O2, co znaczy, że musiała zamykać i sprawdzać zaległe zgłoszenia. Z drugiej strony, war-tość 38 w O1 świadczyła o zbyt wolnej pracy i nadmiernym rozłożeniu
zadań w czasie. Kierunek zmian pozytywny, ale wartość wskaźnika w dalszym ciągu nieprawidłowa.
3
%SRC
Ponad połowa (55%) klientów zgłosiła w O2 mniej SR niż w O1. Może to wynikać z sytuacji panującej u klientów, albo z poziomem świadczonych
usług. Choć większość firm korzysta z usług w Aveny w mniejszym stopniu, żaden z klientów nie zaprzestał współpracy. Konieczne jest
zba-danie ekstremów i ustalenie przyczyn występującego zjawiska.
2
Ocena:
3,63 (72,6%)
Pomiar skutków wdrożenia narzędzi Business Intelligence w organizacji… 195 Średnia arytmetyczna z przyjętych ocen wyniosła 3,63 co stanowi 72,6%
wartości maksymalnej (5). Ostatecznie efektywność zmian, jakie zaszły w Ave-nie w badanych okresach została wyrażona w procentach. Dla celów późAve-niejszej interpretacji i porównań przyjęto następujące referencyjne przedziały ocen (w procentach):
⎯ <0,50>: ocena niedostateczna. Wartości poniżej 50% oznaczają, że zmiana nie niesie ze sobą żadnych, nawet najmniej pozytywnych skut-ków.
⎯ (50,65): ocena dostateczna. Zmiany są niewielkie, ale pozytywne.
⎯ <65,80): ocena dobra. Zmiany są raczej pozytywne, aczkolwiek nie wszystkie rozwiązania są dostatecznie dopracowane.
⎯ <80,100>: ocena bardzo dobra. Zmiany wyraźnie pozytywne, niewiele elementów można poprawić.
Na podstawie tej skali można powiedzieć, że wynik 72,6% jest na tyle do-bry, że daje podstawy do uznania wdrożenia systemu BI opłacalnym. Jednocze-śnie zindentyfikowane zostały te obszary działalności firmy, które nie działają dostatecznie efektywnie. Na podstawie przeprowadzonych analiz i porównań oraz wiedzy autorów o firmie można wskazać kilka trafnych i nietrafnych decy-zji podjętych przez kierownictwo. Możliwe jest także wskazanie decydecy-zji podję-tych z właściwych przyczyn, które ze względu na zmianę pewnych czynników okazały się nie do końca słuszne:
⎯ Udało się wykryć, którzy pracownicy pracują niewydajnie. Zostali oni zwolnieni i zastąpieni innymi, z których każdy pracuje wydajniej od poprzedników. Decyzja trafna.
⎯ Poprzez grupowanie incydentów udało się zdefiniować pewne powta-rzające się problemy. W firmie została wprowadzona polityka tzw. SI-Pów. Jeżeli jakiś problem się powtarza, któryś z pracowników (często szczebla kierowniczego) otrzymuje polecenie stworzenia SIPa, czyli ar-tykułu trafiającego do bazy wiedzy, opisującego krok po kroku rozwią-zanie problemu. Efektem jest zwiększenie wydajności pracowników i możliwość obsługi większej liczby zgłoszeń przez administratora. De-cyzja trafna.
⎯ Zredukowany został MTTR. Wykryto, że MTTR w O1 były zawyżone, przez co pracownicy mieli za dużo czasu na wykonanie zadania, więc obniżono dopuszczalny czas zamknięcia i sprawdzenia SR. Ponieważ pracownicy dysponowali nadmiarem czasu, możliwe było podpisanie umów z większa liczbą klientów, co miało pozwolić na lepsze wyko-rzystanie czasu pracowników. Niestety, dotychczasowi klienci również stwierdzili, że problemy kierowane do Aveny można rozwiązywać
196 Inżynieria oprogramowania – badania i praktyka
szybciej, więc obniżyli MTTR. W rezultacie Avena obsługuje za dużo klientów w stosunku do swoich możliwości i nie mieści się w MTTR.
Decyzja o wewnętrznym obniżeniu MTTR była zatem słuszna w O1, ale ze względu na zmianę czynników zewnętrznych niesie ze sobą nega-tywne skutki w O2. Decyzja częściowo trafna.
Podsumowując, można powiedzieć, że ocena skuteczności wdrożenia syste-mu BI rzędu 72% jest uzasadniona. Firmie dzięki tej inwestycji udało się wy-kryć kilka problemów i poprzez podjęcie decyzji opartych na konkretnych in-formacjach zareagować na nie. Widać, że w firma od początku wdrożenia na początku O1 do końca O2 znacznie się rozwinęła. Jednakże bardzo szybki rozwój przyniósł ze sobą nowe problemy, którym firma musi teraz sprostać.
Avena jeszcze nie jest w stanie wykorzystać systemu, którym dysponuje w 100%. Świadczy o tym fakt, że kierownictwo przegapiło kilka momentów, w których należało wykryć problem i jakoś na niego zareagować. Przykładowo, zatrudnienie jednego lub dwóch administratorów mogłoby rozwiązać problem przekraczania czasów MTTR, a co za tym idzie ograniczyłoby niezadowolenie klientów. Niemniej, mimo pewnych niedoskonałości w funkcjonowaniu organi-zacji, decyzje podejmowane przez kierownictwo Aveny w większości wypad-ków okazały się trafne.
9.5 Podsumowanie
W rozdziale przedstawiono metodę oceny wdrożenia technologii informa-tycznej – systemu klasy Business Intelligence - w organizacji IT. System wdro-żono, jednak bez wcześniejszych analiz potencjalnych skutków tej zmiany. Au-torzy dokonali takiej analizy poprzez porównanie danych dostępnych dla dwóch okresów. Dało to możliwość określenia, w których aspektach swojego działania firma zyskała, a w których straciła. Okazało się, że niewątpliwym sukcesem jest zwiększenie liczby obsługiwanych SR o ponad połowę, zwiększenie wydajności pracowników o 20-30% poprzez obserwacje, standaryzacje i tworzenie baz wiedzy. Avena obsługuje także 24% klientów więcej niż poprzednio. Te wyniki są efektem podejmowania trafnych decyzji, co stało się możliwe dzięki wyko-rzystaniu narzędzi Business Intelligence. Pojawiło się przy tym kilka zagrożeń:
przekraczanie dopuszczalnych czasów MTTR czy podjęcie współpracy ze zbyt wielką liczbą klientów w odniesieniu do swojego potencjału
Należy podkreślić, że ocena decyzji o wdrożeniu systemu BI została podjęta w oparciu o założenie, że w badanej firmie nic, poza wdrożeniem samego BI, się nie zmieniło. Oczywiście, to założenie jest nie do końca słuszne - każda
Pomiar skutków wdrożenia narzędzi Business Intelligence w organizacji… 197 organizacja zmienia się w czasie. Przeprowadzone analizy zostały w oparciu wyłącznie o konkretne wartości liczbowe pochodzące z odpowiednich tabel baz danych firmy. Jednakże nie wszystko, co zmienia się w firmie, znajduje w nich odwzorowanie. Dlatego przyjęto, że brane pod uwagę są tylko te dane, które znajdują swoje liczbowe odzwierciedlenie, a wszelkie zmiany w firmie są wy-nikiem wdrożenia systemu BI. Przy takim właśnie założeniu można powiedzieć, że zastosowanie systemu BI pozwoliło na ograniczenie problemów związanych z podejmowaniem decyzji i poskutkowało polepszeniem warunków podejmo-wania decyzji, co pozytywnie wpłynęło na pracę całej organizacji. Celem auto-rów jest obecnie weryfikacja działania modelu dla innych organizacji wsparcia, także dla innych technologii niż Business Intelligence.
Bibliografia
[Alt99] Alter S. Information Systems: a management perspective, 1999.
[Gri98] Griffin R. W. Podstawy Zarządzania Organizacjami, 1998.
[Gar12] Gartner - witryna, http://www.gartner.com [2012.11.05].
[Jan08] Januszewski A. Funkcjonalność informatycznych systemów zarządzania Tom 2 System Business Intelligence, 2008.
[Lit12] Litka M. Analiza decyzji o wdrożeniu systemu Business Intelligence w organizacji wsparcia IT -projekt modelu ocenowego. 2012.
[PF12] Panorama Firm, http://panoramafirm.pl/szukaj?k=Helpdesk &l=trójmiasto, [2012.11.16].
[SM98] Samuelson W.F., Marks S.G. Ekonomia menedżerska, 1998.
[Sta11] Stanley S. MTBF, MTTR, MTTF & FIT - Explanation of Terms. 2011.
[Tar86] Targalski J. Podejmowanie decyzji. Organizacja i zarządzanie, 1986.
[Ros01] Radosiński E.. Systemy informatyczne w dynamicznej analizie decyzyjnej, 2001.
[OS10] Orłowski C., Sitek T. Supporting Management Decisions with Intelligent Mechanisms of Obtaining and Processing Knowledge. Knowledge-Based and Intelligent Information and Engineering Systems, 2010.