Metody i techniki oceny efektywności szkoleń

Badanie efektywności szkoleń jest ostatnim etapem procesu szkoleniowego. Stanowi jednak podstawę do tego, by stwierdzić, czy podejmowane przez organizacje działania zakończyły się osiągnięciem zakładanych rezultatów. Z tego powodu, badanie efektywności powinno się odnosić w sposób bezpośredni do celów szkolenia, sformułowanych po etapie analizy potrzeb szkoleniowych. Ocena efektywności szkoleń jest procesem złożonym, długotrwałym i bardzo często generuje dość wysokie koszty. Z tego powodu wiele organizacji nie podejmuje odpowiednich działań, które pozwoliłyby na kompleksową ocenę przydatności zrealizowanego projektu szkoleniowego. W większości wypadków, jeśli ocena efektywności jest realizowana, odnosi się ona wyłącznie do zbadania poziomu satysfakcji.

199 Ibidem, s. 170-171

146 Jednym z zasadniczych kierunków wykorzystania wiedzy pozyskanej z badania efektywności szkoleń jest możliwość zidentyfikowania dalszych obszarów rozwojowych u pracowników. Stanowi to zatem pewnego rodzaju analizę potrzeb, która jest podstawą do wejścia w kolejny cykl szkoleniowy. Niestety jak pokazują liczne badania, możliwość ta nie jest w pełni wykorzystywana. Powodem takiego stanu rzeczy jest w głównej mierze brak odpowiedniej wiedzy i umiejętności u osób odpowiadających w organizacjach (szczególnie w małych i średnich) za szkolenia do tego, by przeprowadzić ten proces w sposób kompleksowy. Należy jednak stwierdzić, że wzrost profesjonalizacji w działalności HR, a także wykorzystywanie coraz częściej rozwiązań informatycznych, wspierających procesy personalne, umożliwia pozyskanie dość precyzyjnych informacji na temat efektywności realizowanych programów szkoleniowych. Jako przykłady można wskazać realizowanie ocen 360 stopni czy badanie satysfakcji pracowników.

Cele badania efektywności szkoleń można podzielić, ze względu na grupy odbiorców, którzy będą lub powinny korzystać z efektów działalności szkoleniowej, a także samych informacji na temat oceny szkoleń. Podział ten obejmuje: cele organizacyjne, cele działu personalnego oraz przełożonych. Do celów organizacyjnych zaliczyć należy w szczególności:

określenie efektywności/zasadności wydatkowania środków, określenie poziomu wiedzy i umiejętności pracowników, zbadanie potencjału pracowników pod kątem dalszych działań kadrowych (przesunięcia, awanse, zwolnienia). Do celów działu personalnego związanych z oceną efektywności szkoleń zalicza się możliwość: identyfikacji dalszych potrzeb szkoleniowych, oceny skuteczności zastosowanych metod szkoleniowych w odniesieniu do tematu i do grupy uczestników, określenia profesjonalizmu trenerów prowadzących szkolenie (ewentualnie firm współpracujących), identyfikacji elementów, których wprowadzenie może podnieść efektywność przyszłych programów szkoleniowych. Ocena efektywności szkoleń jest również źródłem cennych informacji dla bezpośrednich przełożonych (menedżerów liniowych). Pozwala ona bowiem określić poziom wiedzy i umiejętności podległych pracowników, zidentyfikować ich dalsze obszary rozwojowe, określić kierunki i formy wsparcia pracowników w celu korzystania z pozyskanej przez nich wiedzy.

Planując działania związane z oceną efektywności szkoleń możliwe jest zastosowanie dwóch podejść do tego procesu. Pierwsze z nich bazować będzie na analizie porównawczej wyjściowego poziomu kompetencji pracowników i tego, jaki został osiągnięty po szkoleniu, drugie zaś obejmować będzie analizę porównawczą kompetencji pracowników przed i po szkoleniu względem wypracowanego wzorca, docelowego stanu pożądanego.

Charakterystyka obu podejść przedstawiona jest w tabeli 8.

147

Tabela 8 Podejścia do oceny efektywności szkoleń

PORÓWNANIE DO USTALONEGO WZORCA PORÓWNANIE DO STANU WYJŚCIOWEGO

Konieczne do podjęcia działania

• Określenie metod oceny zmiany jaka nastąpiła

• Określenie stanu końcowego

• Porównanie wyników Korzyści

• Pozwala zweryfikować „realny” efekt szkolenia

• Daje wymierne wskazówki względem dalszych programów rozwojowych

• Określa w sposób precyzyjny poziom gotowości pracownika do realizacji zadań

• Łatwiejsze do przeprowadzenia

• Daje większą możliwość wskazania pozytywnego efektu szkolenia

• Jest mniej kosztowne i czasochłonne Ograniczenia

• Wymaga posiadania lub wypracowania pożądanego wzorca, profilu pracownika

• Bazuje na kompleksowej analizie kompetencji pracownika względem zadań

• Jest bardziej czaso i kosztochłonne

• Nie daje precyzyjnej informacji na temat stopnia dopasowania kompetencji pracownika do wymagań organizacji

• Efekt rozwojowy może być zniekształcony wynikami dotyczącymi tylko jednego z obszarów kompetencji

Źródło: opracowanie własne na podstawie literatury przedmiotu

Niezależnie od zastosowanego podejścia, oceny efektywności szkoleń należy dokonać w oparciu o informacje dotyczące samych pracowników (uczestników szkolenia) oraz zmian, jakie miały miejsce na stanowisku pracy. W tym celu wskazane jest wykorzystanie różnych źródeł umożliwiających kompleksową analizę rezultatów podejmowanych działań rozwojowych, które można podzielić na dwie grupy: pierwotne (uczestnicy szkolenia, przełożeni, współpracownicy, trenerzy, klienci wewnętrzni i zewnętrzni) i wtórne (wyniki ocen okresowych, raporty sprzedażowe, raporty z realizacji celów, badania satysfakcji pracowników, badania satysfakcji klientów). Źródła pierwotne pozwalają na pozyskanie informacji, o zmianach w postępowaniu uczestników szkolenia, od osób znajdujących się w ich otoczeniu i mających z nimi bezpośredni kontakt. Źródła wtórne dostarczają informacji o efektach w dłuższej perspektywie, bywają one jednak obarczone błędem, wynikającym z uwzględnienia w nich także innych elementów niż te, które były podstawą procesu szkoleniowego. Dokładne określenie dostępnych źródeł informacji pozwala na dobór odpowiedniej metody oceny efektywności szkoleń i dokonanie ewaluacji realizowanych programów rozwojowych.

Ze względu na złożoność oceny efektywności szkoleń, opracowanych zostało kilka modeli opisujących ten proces. W praktyce najczęściej stosuje się jednak model

148 D. Kirkaptricka opracowany w 1975 roku, który obecnie poszerzany jest o ocenę zwrotu inwestycji w kapitał ludzki według współczynnika ROI. Niemniej jednak, w literaturze przedmiotu występują także inne modele, do których zaliczyć można między innymi Model C-I-R-O, model A.C. Hamblina oraz model ROI.

Model C-I-R-O (Context – Input – Reactions – Outcome)

Został opracowany w 1970 roku²⁰⁰ i zakłada dokonywanie oceny efektywności szkoleń w czterech płaszczyznach:

• kontekstu szkolenia,

• nakładów poniesionych na jego przeprowadzenie,

• reakcji uczestników na szkolenie,

• rezultatów jakie zostały osiągnięte.

Pierwszy obszar (kontekst) obejmuje gromadzenie informacji na temat przeprowadzonego szkolenia z szerszej perspektywy. Na tym etapie diagnozowane jest między innymi: jakie były oczekiwania interesariuszy, czy potrzeby szkoleniowe zostały dobrze zdefiniowane, jak tematyka szkolenia odnosiła się do realizowanych w firmie innych programów szkoleniowych/rozwojowych, czy trenerzy są zadowoleni z poziomu przyswojenia wiedzy przez uczestników, czy uczestnicy są zadowoleni z celu i poziomu merytorycznego szkolenia.

Na drugim etapie analizuje się nakłady poniesione na przeprowadzenie szkolenia w następujących aspektach: adekwatność poniesionych nakładów i kosztów (czy nie można było tego zrobić inaczej), analiza doboru i efektywności wykorzystanych metod i technik szkoleniowych, określenie ilości uczestników, którzy rozpoczęli szkolenie w odniesieniu do tych, którzy je ukończyli i osiągnęli zakładany poziom rozwoju, określenie, czy atmosfera panująca na szkoleniu była odpowiednia.

Reakcje, jako etap trzeci, odnoszą się nie tylko do sytuacji szkoleniowej i odczuć uczestników. Obejmują one także wyobrażenia i spostrzeżenia interesariuszy szkolenia, a szczegółowej analizie podlegają takie elementy jak: reakcje uczestników na zawartość szkolenia i wykorzystywane techniki, reakcje interesariuszy i menedżerów liniowych na pierwsze efekty poszkoleniowe, obserwacje i spostrzeżenia trenerów.

Ostatni poziom, czwarty, obejmuje rezultaty szkolenia. Weryfikacji poddawany jest:

poziom spełnienia oczekiwań względem szkolenia, poziom osiągnięcia zakładanych celów,

200 R. L. Hogan, The historical development of program evaluation: exploring the past and present, Online Journal of Workforce Education and Development, Volume II, Issue 4 – fall 2007, s. 9

149 wzorców, określenie, które ze sformułowanych oczekiwań interesariuszy zostały zaspokojone, a które nie, określenie jakie są ostateczne odczucia na temat zrealizowanego szkolenia.

Model A.C. Hamblina

Został opracowany w roku 1974²⁰¹ i zakłada przeprowadzenie efektywności szkoleń na pięciu poziomach:

• reakcja uczestników,

• nauka,

• zachowanie w pracy,

• organizacja,

• wartość ostateczna.

Na poziomie pierwszym, reakcji uczestników, brane jest pod uwagę osobiste odczucie uczestników dotyczące szkolenia. W szczególności analizowana jest: zawartość szkolenia (czy tematy są przydatne i powiazane ze stanowiskiem pracy, czy należałoby uzupełnić szkolenie o dodatkowe zagadnienia, czy pojawiły się treści, które należałoby usunąć), przebieg szkolenia (czy było interesujące, czy się podobało), prowadzący szkolenie (poziom profesjonalizmu, wiedzy i umiejętności jej przekazywania).

Na poziomie drugim, nauki, oceniane jest, czy szkolenie przyczyniło się do poszerzenia wiedzy lub rozwoju umiejętności uczestników. Określa się to w odniesieniu do poziomu wyjściowego posiadanej wiedzy i umiejętności

Poziom trzeci, zachowanie w pracy, koncentruje się na ocenie, jakie elementy stanowiące przedmiot szkolenia są stosowane przez uczestników w miejscu pracy podczas wykonywania standardowych obowiązków. Analizie podlega wykorzystywana wiedza oraz umiejętności, rozwinięte w trakcie sesji szkoleniowej. Z założenia udział w szkoleniu powinien przyczynić się do modyfikacji zachowań pracowników w zakresie sposobu wykonywania swoich obowiązków.

Poziom czwarty, organizacyjny, odnosi się do korzyści, jakie osiągnęła organizacja z uczestnictwa pracowników w szkoleniu. Przedmiotem oceny jest to, jak zmiana zachowań wpłynęła na efektywność osiągania celów (ich poziom oraz sposób). Oceny tej można dokonywać w odniesieniu do komórek organizacyjnych, działów, a docelowo całej organizacji. Najczęściej stosowane są na tym etapie mierniki ilościowe np. wielkość produkcji, jakość, wielkość sprzedaży, wydajność.

201 A. C. Hamblin, Evaluation and control of training, McGraw-Hill, 1974

150 Ostatni poziom, wartość ostateczna, rozpatrywana jest w dłuższej perspektywie i szerszym kontekście. Głównym celem jest zbadanie, w jaki sposób szkolenia przyczyniły się do podniesienia rentowności czy konkurencyjności przedsiębiorstwa lub też, czy umożliwiły mu rozwój. Niestety ze względu na wielość czynników wpływających na te aspekty trudno jest jednoznacznie wskazać na ich powiazanie z efektami szkolenia.

Model D. Kirkpatricka

Model ten został opracowany w roku 1975²⁰² i obecnie jest najczęściej wykorzystywanym modelem badania oceny efektywności szkoleń. W swojej konstrukcji zbliżony jest do modelu A.C. Hamblina jednak obejmuje cztery poziomy:

1. reakcji, 2. uczenia się, 3. zachowań, 4. wyników.

Model ten daje możliwość przeprowadzenia kompleksowej oceny efektywności szkoleń.

Wymaga jednak posiadania odpowiedniej wiedzy i narzędzi, a także zaangażowania w niego różnych grup osób. Prowadzone badania dotyczące realizacji oceny efektywności szkoleń w polskich przedsiębiorstwach wskazują jednoznacznie, że w większości wypadków ocena ta dokonywana jest wyłącznie na pierwszym poziomie.

Ocena na poziomie reakcji - ukierunkowana jest na poznanie opinii i odczuć uczestników na temat szkolenia, w którym brali udział w odniesieniu do takich aspektów jak np.: treść szkolenia, prowadzący szkolenie, metody szkoleniowe, organizacja szkolenia, miejsce szkolenia, czas szkolenia. Do oceny na tym poziomie najczęściej wykorzystywane są takie techniki jak: obserwacja, wywiad, ankieta. Obserwacja dokonywana jest przez trenera lub/oraz osobę odpowiadająca za proces szkoleniowy. Wywiad prowadzony jest przez osobę odpowiedzialną za organizację szkoleń. Jego celem jest pozyskanie bezpośrednich informacji od uczestników na temat ich odczuć. Niewątpliwą zaletą tej techniki jest możliwość doprecyzowania istotnych zagadnień. Wywiady te mogą przybierać formę „luźnej” rozmowy lub ustrukturyzowanego wywiadu. Ankieta przekazywana jest wszystkim uczestnikom po zakończeniu szkolenia. Poprzez zaznaczenie odpowiedniej oceny w wyszczególnionych kryteriach przekazują oni informacje na temat swoich odczuć. Zaletą tej metody jest możliwość pozyskania w miarę szybkiej i kompleksowej informacji od wszystkich

202 D. L Kirkpatrick D. L., Cztery poziomy oceny efektywności szkoleń, Wydawnictwo Studio Emka, Warszawa 2001

151 uczestników, wadą zaś brak możliwości doprecyzowania pozyskanych informacji.

Ocena na poziomie uczenia się - ukierunkowana jest na określenie poziomu poszerzenia wiedzy uczestników oraz rozwoju ich umiejętności, będących przedmiotem szkolenia. Głównym celem oceny na tym etapie jest określenie czego nauczyli się uczestnicy szkolenia. Do oceny uczenia się stosowane są obserwacje, testy, wywiady, symulacje.

Obserwacja, na tym poziomie oceny, wykorzystywana jest najczęściej w trakcie samej sesji szkoleniowej. Po przekazaniu uczestnikom niezbędnej wiedzy mogą oni realizować ćwiczenia ukierunkowane na praktyczne jej wykorzystanie. Podczas wykonywania tych ćwiczeń prowadzący i inni uczestnicy, obserwują pojawiające się zachowania lub uzyskiwane wyniki.

Na tej podstawie możliwe jest określenie, czy dany uczestnik poszerzył swoją wiedzę i rozwinął umiejętności. Bardzo często metoda ta jest wspierana przez odpowiednio przygotowane arkusze, ułatwiające dokonanie oceny. Testy weryfikują poziom nabytej wiedzy. W wielu sytuacjach testy przeprowadzane są przed szkoleniem i po jego zakończeniu. Wywiady realizowane są najczęściej przez pracowników działu personalnego lub przez bezpośrednich przełożonych. W ich trakcie zadawane są pytania dotyczące tego, czego nowego nauczył się uczestnik w trakcie szkolenia, jakie zagadnienia stanowiły uzupełnienia już posiadanej wiedzy, co było dla niego najbardziej wartościowe oraz co zamierza wykorzystać na stanowisku pracy. Symulacje pozwalają zweryfikować umiejętności uczestników szkolenia w warunkach i sytuacjach analogicznych do tych, jakie występują na stanowisku pracy. Podstawą do opracowania symulacji są zdarzenia, jakie pojawiają się w trakcie wykonywania standardowych obowiązków, a są powiązane z tematyką szkolenia. Dzięki zastosowaniu tej techniki dokonywana jest precyzyjna ocena umiejętności uczestników.

Ocena na poziomie zachowań – przeprowadza się ją w celu pozyskania informacji, czy uczestnicy wykorzystują pozyskaną wiedzę i umiejętności na stanowisku pracy.

Głównym pytaniem, na jakie uzyskuje się odpowiedź jest czy zmienił się sposób pracy uczestników. Najczęściej wykorzystywanymi technikami pozyskiwania informacji na tym etapie są obserwacje i kwestionariusze. Kwestionariusze mają bardzo często formę ankiet, skierowanych do osób znajdujących się w otoczeniu uczestnika szkolenia. Sposób sformułowania ankiety odnosi się do konkretnych zachowań, respondent wypełniając ankietę wskazuje, czy i z jaką częstotliwością pojawiają się one. Dość istotnym źródłem informacji, są bazujące na kompetencjach (i zachowaniach wskaźnikowych) oceny okresowe pracowników. Wykorzystując je, porównuje się wyniki oceny przed szkoleniem i po jego ukończeniu. Obserwacja, na tym poziomie oceny, dokonywana jest najczęściej przez

152 przełożonego. Przeprowadzenie obserwacji przez osobę z zewnątrz, może spowodować zmianę w standardowym zachowaniu uczestnika szkolenia i postępowanie zgodnie z oczekiwaniami obserwatora. Jedną z możliwych form obserwacji stosowanych w odniesieniu do osób zajmujących się obsługą klienta są badania tajemniczy klient.

Ocena na poziomie wyników - przeprowadza się ją w celu pozyskania informacji, dotyczących zmian, jakie wystąpiły w zakresie efektywności pracy uczestnika szkolenia lub poprawy funkcjonowania organizacji jako całości. Oczekiwane na tym etapie wnioski bardzo często zestawiane są ze stroną kosztową programów rozwojowych, w celu uzyskania odpowiedzi na pytanie czy warto było inwestować w rozwój pracowników. Na tym etapie oceny wykorzystywane są w szczególności kwestionariusze oraz analiza dokumentów.

Ankiety ukierunkowane są na pozyskanie wymiernych wyników działalności organizacji (z uwzględnieniem przedmiotu szkolenia). Przykładem mogą być ankiety skierowane do klientów badające poziom obsługi. Innym typem są ankiety ukierunkowane na badanie satysfakcji pracowników w wybranych obszarach np.: współpraca zespołowa, relacje z przełożonym, komunikacja wewnętrzna etc. Po przeprowadzonym szkoleniu należy zweryfikować, czy poziom ocen w tych obszarach zmienił się i w jakim stopniu. Analiza dokumentów obejmuje wszelkiego rodzaju raporty i sprawozdania, dostępne w firmie i dotyczące zakresu szkolenia. Mogą to być: raporty ze sprzedaży w ujęciu wartościowym i ilościowym, średni poziom marż w badanym okresie, ilość skarg klientów, poziom absencji pracowników, ilość pozyskanych i utraconych klientów, poziom kosztów, ilość błędów, jakość wyrobów, usług, poziom fluktuacji kadr.

Na tym poziomie oceny efektywności stosuje się również wskaźnik ROI (return of investment)²⁰³, określający stopę zwrotu z inwestycji w rozwój pracowników. Przyjmuje on następującą formułę:

ROI= Suma oszczędności (korzyści) uzyskanych dzięki szkoleniu – koszty szkolenia

*100 Koszty szkolenia

Do kosztów szkolenia brane są pod uwagę wynagrodzenie trenerów, koszty materiałów, koszty sali, dojazdu, koszty administracyjne, a także w niektórych sytuacjach koszty nieobecności pracownika w pracy (utracone korzyści).

Wskaźnik ten nie jest jednak zbyt często wykorzystywany przez organizacje ze względu na trudności w określeniu sumy oszczędności lub uzyskanych korzyści.

203 P. Pulliam Philips, J. J. Phillips, R. D. Stone, H. Burkett, Zwrot z inwestycji w szkolenia i rozwój pracowników, Oficyna a Wolter Kluwer business, Kraków 2009

153 Powody, dla których nie przeprowadza się oceny efektywności szkoleń na poziomie wyników dotyczą w głównej mierze:

• braku jasnych mierników efektywności organizacji,

• braku standardów wykonania, które mogą być punktem odniesienia,

• problemów z oddzieleniem wyników szkolenia od innych czynników wpływających na jakość pracy,

• funkcjonowania wskaźników, które dotyczą większych jednostek, zespołów, lub całej organizacji - trudno jest oddzielić wpływ jednej osoby na ich poziom.

Ocena efektywności szkoleń jest ostatnim etapem procesu szkoleniowego, jednak wnioski z niej wynikające, stanowią podstawę do opracowania kolejnych programów.

Realizacja procesu rozwoju pracowników z wykorzystaniem opisanych etapów, procesów i technik zwiększa efektywność działań inwestycyjnych zorientowanych na kapitał ludzki.

Umożliwia tym samym budowanie przewagi konkurencyjnej zarówno w obecnych jak i przyszłych warunkach.

154

Rozdział 3 M