się na kilku etapach. Pierwszy, przeprowadza się bezpośrednio po doskonaleniu (na po-ziomie reakcji). Administrator zbiera subiektywne opinie i oceny stopnia zadowolenia uczestników. Ewaluacja zachodzi przy zastosowaniu 6-stopniowej skali ocen, a anonimo-wa ankieta składa się z 4 grup pytań uwzględniających:
· ogólną ocenę szkolenia (np. czy w pozytywny sposób przełoży się na pracę, czy wspiera rozwój personalny, jaka panowała atmosfera),
· zadowolenie uczestników z trenera (np. poziom jego wiedzy, doświadczenie, zaan-gażowanie, metodyka szkolenia),
· ocenę treści i sposobu przekazu szkolenia/seminarium (np. czy treści pokrywały się z opisem w programie),
· rezultaty szkolenia (np. czy spełniło oczekiwania, czy zdobyta wiedza będzie przy-datna w pracy zawodowej).
Uczestnicy oceniają również wielkość grupy, a za pomocą pytań otwartych mogą wnieść uwagi na temat organizacji kursów, bądź dalszej ich rekomendacji.
Do badania efektywności szkoleń na poziomie reakcji, poza ankietą, wykorzysty-wany jest także bezpośredni wywiad poszkoleniowy z uczestnikami, przeprowadzany przez koordynatora Akademii i trenerów.
112
Drugi etap przeprowadzany jest również bezpośrednio po odbytym szkoleniu (na poziomie nauczania), za pomocą testów dokonuje się oceny stopnia osiągnięcia celów dydaktycznych. Testy wiedzy zawodowej (testy merytoryczne) opracowywane są przez trenerów specjalistów, odpowiedzialnych za przeprowadzenie warsztatów. Mierzą po-ziom wiadomości z określonej dziedziny lub dziedzin i weryfikują umiejętność ich wy-korzystywania w różnych sytuacjach. Aby zmierzyć progres szkolenia, stosuje się testy na początku (pretesty), które w połączeniu z testami po ich zakończeniu, dają trenero-wi informację czy forma doskonalenia przyniosła zamierzone rezultaty. Wykorzystuje się zwykle testy jednokrotnego wyboru, rozpoczynające się od najprostszych pytań, aż do takich o dużym stopniu trudności.
W badanym przedsiębiorstwie wykorzystywany jest również cykliczny pomiar wie-dzy produktowej i serwisowej pracowników za pomocą specjalnie skonstruowanego do tego celu narzędzia zwanego ankietą ewaluacyjną. Ciągłe podnoszenie kompeten-cji pracowników, rozwój i doskonalenie zasobów ludzkich, uzyskanie poziomu wiedzy produktowej przez pracowników na poziomie 75%, to cele przeprowadzanej ewaluacji w obszarze szkoleniowym. W opinii pracowników Akademii ważną kwestię stanowi for-ma przekazu inforfor-macji o ankiecie. Jej celem nie powinno być zakomunikowanie, że bę-dzie sprawdzianem poziomu wiedzy, ale raczej wskazaniem obszarów do dalszego do-skonalenia (rozwoju).
Ewaluacja odbywa się co 2 lata, w okresie od stycznia do marca. Ankieta składa się z modułu produktowego i serwisowego i jest przeprowadzana wśród pracowników działów sprzedażowych i wspierających ją (marketing, logistyka, biuro obsługi klienta, dział pokazu). W zależności od zajmowanego stanowiska, pracownicy weryfikują swój poziom wiedzy za pomocą testów jednokrotnego wyboru, które składają się z pytań za-mkniętych i są skonstruowane od najłatwiejszego do najtrudniejszego poziomu trud-ności. Kwestionariusz jest kodowany przez koordynatora, a dokonujący oceny specjali-sta nie wie, czyją ankietę analizuje. W zależności od poziomu wiedzy uzyskanej podczas ewaluacji, uczestnik jest kierowany na dokształcenie według planu rozwoju tzw. „ścieżki szkoleń”, opracowanej na podstawie wyników, przez koordynatora do spraw podnosze-nia wiedzy i umiejętności w cyklu 2-letnim. Plan zostaje przesłany pracownikowi i jego przełożonemu, któremu ułatwia stworzenie zadań rocznych dla podległej sobie kadry. Schemat procedury szkoleniowej stosowanej po ankiecie, przedstawiono na rysunku 1. Dagmara Lewicka, Monika Pec, Aleksandra Wilk
113
Rysunek 1. Schemat procedury szkoleniowej po ankiecie ewaluacyjnej
Poziom po ewaluacji 0% - 40% > ≤ 40 – 75% > ≤ 75% - 100% Certyfikat Szkolenie przypominające Szkolenie podstawowe Tak Tak Tak Nie Nie
Źródło: opracowanie własne.
W zależności od poziomu wiedzy ocenionej na podstawie ankiety ewaluacyjnej, pra-cownik kierowany jest na szkolenie podstawowe (wynik 0–40% >), przypominające (tzw. Refresher) (wynik ≤ 40–75% >) lub otrzymuje certyfikat potwierdzający jego poziom wie-dzy na oczekiwanym poziomie (≤ 75%–100%).
Poniższe wykresy prezentują wyniki ankiety ewaluacyjnej pracowników (w zakresie wiedzy produktowej i serwisowej), uzyskane w latach 2015 i 2017 (kolejny pomiar plano-wany jest na rok 2019). W 2015 roku w ankiecie wzięło udział 80 pracowników, a w 2017 roku 120 pracowników, co było związane z dynamicznym rozwojem badanego przed-siębiorstwa.
Wykres 1 przedstawia wyniki uzyskane przez wszystkich pracowników biorących udział w ankiecie. Obliczono je na podstawie średniej arytmetycznej i zaprezentowa-no w procentach.
114
Wykres 1. Wyniki wiedzy produktowej wszystkich ewaluowanych pracowników
Źródło: opracowanie własne.
Widać na nim, że kolejna ankieta wykazała przyrost poziomu wiedzy o 10% w sto-sunku do pierwszego pomiaru z 2015 roku. Wykres 2 ukazuje wyniki uzyskane przez pra-cowników reprezentujących poszczególne działy firmy. W większości z nich odnotowa-no znaczne wzrosty poziomu wiedzy produktowej.
Wykres 2. Wyniki wiedzy produktowej pracowników w poszczególnych działach firmy (wyrażone w %)3
Źródło: opracowanie własne.
115
Wykres 3 przedstawia przyrost wiedzy odnotowany podczas drugiego pomiaru w 2017 roku, w stosunku do pierwszego z 2015 roku. Tylko w przypadku dwóch działów odnotowano nieznaczny spadek poziomu wiedzy.
Wykres 3. Progres (wyrażony w %) w wynikach wiedzy produktowej pracowników w poszczególnych działach firmy (2017 w stosunku do 2015)
Źródło: opracowanie własne.
Trzeci poziom badania efektywności szkoleniowej realizowany jest podczas wyko-nywania zadań wynikających ze stosunku pracy (na poziomie zachowań). Określa się wtedy wpływ programów szkoleniowych na modyfikację zachowań na stanowisku pra-cy. Odbywa się to za pomocą sesji coachingowych. W roli coachów występują trene-rzy, którzy dokonują obserwacji pracownika na stanowiskach pracy, np. towarzysząc mu podczas wizyt u klienta. Pewnego rodzaju analizy zachowań dokonuje się także podczas szkoleń sprzedażowych, podczas których trener przeprowadza testy sytuacyjne (zada-niowe), tzw. symulacje (np. symulacja zarządzania obiekcjami ze strony klienta), podczas których pracownik funkcjonuje w rzeczywistych lub przypominających je warunkach pracy. Najczęściej ćwiczenia symulacyjne obejmują: podział na role, studium przypad-ku, pokazy i prezentacje. Ich celem jest ocena poziomu wybranych kompetencji na pod-stawie obserwacji zachowania. Trenerzy przeprowadzają także interaktywne wywiady sytuacyjne z uczestnikami szkoleń, aby dowiedzieć się, w jaki sposób pracownik zacho-wałby się w hipotetycznej sytuacji.3
3 W organizowanym corocznie w firmie konkursie, nagradzane są tzw. „dobre praktyki”. Wyróżnia się m.in. pra-cowników wykazujących w pracy inicjatywę, czy podnoszących kwalifikacje zawodowe. Jedną z kategorii kon-kursu był najlepszy wynik w ankiecie ewaluacyjnej.
116
Pomiar na poziomie rezultatów, podczas którego identyfikuje się korzyści osiąga-ne przez uczestników szkolenia po jego zakończeniu, nie jest realizowany w badanym przedsiębiorstwie. Na potrzeby zarządu firmy, dział controllingu dokonuje pomiaru sto-py zwrotu z nakładów inwestycyjnych, poniesionych na realizację różnych działań, np. na reklamę, otwarcie nowych salonów sprzedaży, jednakże zwrot z inwestycji na dzia-łania szkoleniowo-rozwojowe nie stanowił jak dotąd przedmiotu analiz. Menedżerowie przedsiębiorstwa nie widzą potrzeby ponoszenia dodatkowych kosztów na potwierdza-nie, że rezultaty szkoleń są większe niż nakłady na nie poniesione, ponieważ są o tym bezwzględnie przekonani. O takim podejściu przesądzają coroczne wzrosty sprzedaży, osiągane przez doskonale wyszkolonych pracowników, cechujących się wysokim pozio-mem wiedzy produktowej, którzy w branży utrzymania czystości postrzegani są jako najwyższej klasy eksperci, oferujący klientom zaawansowane technologicznie rozwiąza-nia, dopasowane do ich potrzeb. Menedżerowie są również przekonani, że zlecane przez firmę coroczne badanie rozpoznawalności marki na rynku polskim i europejskim, udzia-łów w rynku, czy analiza na tle konkurencji, realizowane przez zewnętrzne podmioty, utwierdzają, że obrany kierunek działań jest właściwy, a szukanie potwierdzenia w po-staci kalkulacji wskaźnika ROI nie jest potrzebne.
Koordynator szkoleń na potrzeby własne dokonywał fragmentarycznych analiz, szu-kając zależności pomiędzy wzrostem nakładów inwestycyjnych na szkolenia dla kon-kretnych kanałów dystrybucji, a osiąganą sprzedażą (tabela 1). Poddawał również anali-zie zależności pomiędzy wynikami sprzedaży, liczbą odbytych szkoleń czy rezultatami osiągniętymi w poszczególnych grupach produktowych na ankiecie ewaluacyjnej, za-równo na poziomie jednostkowym, działowym, jak i organizacyjnym.
Tabela 1. Dynamika sprzedaży w kanale sprzedaży do DIY w latach 2014–2017
Rok Liczba szkoleń Liczba osób przeszkolonych Dynamika sprzedaży
2014 4 250 –
2015 2 93 16%
2016 4 207 30%
2017 3 150 21%
2018 3 218 –
Źródło: opracowanie własne.
117
Zakończenie
Przedstawione wyniki pozwalają wnioskować, że realizacja procesów i praktyk szkolenio-wych wg określonych procedur i schematów przynosi organizacji wiele korzyści, w szcze-gólności w obszarze zarządzania zasobami ludzkimi. Warto zaznaczyć, że proces szko-leniowy w opisywanym przedsiębiorstwie przebiega zgodnie z opisanymi w literaturze etapami [Kirkpatrick 1996]. Badany podmiot, pomimo wiedzy na temat pomiaru efek-tywności działań szkoleniowych, nie wykorzystuje wszystkich możliwych narzędzi do jego diagnozy. Zdaniem menedżerów nie zawsze istnieje uzasadniona potrzeba prze-prowadzania oceny wyników szkoleń na płaszczyźnie wielopoziomowej, stąd pomijanie systematycznej oceny ich wpływu na wynik firmy.
Przełożenie efektów szkolenia na realizację celów całej organizacji, mogłoby stano-wić ważny element nadający podnoszeniu kwalifikacji jeszcze większą wagę. W opinii pracowników przedsiębiorstwa, istnieje przekonanie, że inwestycja w dokształcanie ka-dry ma wpływ na ich pracę, a w konsekwencji na wynik finansowy.
Zgromadzone badania dowodzą, że systematycznie przeprowadzana ocena pozio-mu wiedzy produktowej wśród pracowników (10% przyrost dla całej organizacji pomię-dzy kolejnym pomiarem), może być motywatorem do podejmowania przez nich samo-kształcenia.
Analiza literatury dotycząca monitoringu efektywności procesu podnoszenia kwali-fikacji i jej rezultatów, wzbogacona empiryczną egzemplifikacją, może posłużyć do re-komendacji i dyskusji odnośnie oceny i pomiaru efektywności działań szkoleniowych.
Bibliografia
Aguinis H., Kraiger K. (2009), Benefits of training and development for individuals and teams, or-ganizations, and society, „Annual Review of Psychology”, vol. 60, ss. 451–474.
Arthur Jr W., Bennett Jr W., Edens P.S. i in. (2003), Effectiveness of training in organizations: a meta-analysis of design and evaluation features, „Journal of Applied Psychology”, vol. 88, no. 2, ss. 234–245.
Cannon-Bowers J.A., Salas E., Tannenbaum S.I. i in. (1995), Toward theoretically based prin-ciples of training effectiveness: a model and initial empirical investigation, „Military Psychology”, vol. 7, no. 3, ss. 141–164.
118
Ford J.K. (red.) (2014), Improving training effectiveness in work organizations, „Psychology Press”, New York.
Kirkpatrick D.L. (1996), Evaluating Training Programs. The Four Levels, Berrett-Koehler Publishers, San Francisco.
Kunasz M. (2006), Ocena efektywności szkolenia w przedsiębiorstwie w świetle wyników badań, „Studia i Materiały/Wydział Zarządzania. Uniwersytet Warszawski”, nr 1, ss. 29–36.
Kunasz M. (2008), Efektywność szkolenia i doskonalenia zawodowego – wybrane aspekty, „Zeszy-ty Naukowe Studia i Prace Wydziału Nauk Ekonomicznych i Zarządzania Uniwersytet Szczeciński”, nr 3, ss. 129–141.
Kuryłowicz-Rodzoch A. (1999), Inwestowanie w pracownika. Przegląd metod szkolenia – cykl ar-tykułów, „Praca i Zabezpieczenie Społeczne”, nr 7–8, ss. 6–12.
Olaniyan D.A., Ojo L.B. (2008), Staff training and development: a vital tool for organisational ef-fectiveness, „European Journal of Scientific Research”, vol. 24, no. 3, ss. 326–331.
Ostroff C. (1991), Training effectiveness measures and scoring schemes: a comparison, „Personnel Psychology”, vol. 44, iss. 2, ss. 353–374.
Phillips J.J., Zuniga L. (2008), Costs and ROI: Evaluating at the Ultimate Level, John Wiley and Sons, San Francisco.
Phillips J.J. (2012), Return on investment in training and performance improvement programs, Routledge, London.
Pieczyńska A. (2011), Szkolenie jako metoda rozwijania kompetencji, „Ekonomika i Organizacja Przedsiębiorstwa”, nr 8, ss. 43–51.
Rabbanikhah F., Jaghagh A.M., Gholizadeh R.M. i in. (2016), Analyzing effective factors in effi-ciency of organizational trainings (A Case Study: Employees of Ministry of Health and Medical Educa-tion), „International Journal of Humanities and Cultural Studies (IJHCS)”, ss. 2136–2154. Sajkiewicz A. (red.) (2000), Zasoby ludzkie w firmie, Poltext, Warszawa.
119
Saks A.M., Belcourt M. (2006), An investigation of training activities and transfer of training in organizations, „Human Resource Management: Published in Cooperation with the School of Business Administration, The University of Michigan and in alliance with the Society of Human Resources Management”, vol. 45, iss. 4, ss. 629–648.
Saks A.M., Burke L.A. (2012), An investigation into the relationship between training evaluation and the transfer of training, „International Journal of Training and Development”, vol. 16, iss. 2, ss. 118–127.
Salas E., Tannenbaum S.I., Kraiger K. (2012), The science of training and development in or-ganizations: what matters in practice, „Psychological Science in the Public Interest”, vol. 13, iss. 2, ss. 74–101.
Scheerens J., Bosker R. (1997), The foundations of educational effectiveness, Pergamon, Oxford.
Swanson R.A., Sleezer C.M. (1987), Training effectiveness evaluation, „Journal of European In-dustrial Training”, vol. 11, no. 4, ss. 7–16.
Tharenou P., Saks A.M., Moore C. (2007), A review and critique of research on training and or-ganizational-level outcomes, „Human Resource Management Review”, vol. 17, iss. 3, ss. 251–273. Torkzadeh R., Pflughoeft K., Hall L. (1999), Computer self-efficacy, training effectiveness and user attitudes: an empirical study, „Behaviour & Information Technology”, vol. 18, iss. 4, ss. 299–309. Tracey J.B., Tews M.J. (1995), Training effectiveness: accounting for individual characteristics and the work environment, „Cornell Hotel and Restaurant Administration Quarterly”, vol. 36, no. 6, ss. 36–42.
Ewa Mazur-Wierzbicka
| ewa.mazur-wierzbicka@usz.edu.pl Uniwersytet SzczecińskiORCID ID: 0000-0001-7874-6417