Ewaluacja szkolenia

Wymogi nowoczesnego nauczania niosą ze sobą konieczność ciągłego rozwo-ju warsztatu dydaktycznego i poprawiania jakości pracy. Tym celom ma właśnie służyć podejmowanie ewaluacji.

Ewaluacją nazywamy proces systematycznego gromadzenia informacji o rze-czywistości, których otrzymanie, przeanalizowanie umożliwia sformułowanie wniosków o jakości i efektywności ewaluowanych obiektów. Na gruncie polskim ewaluacja została zdefiniowana przez Michała Arcta w 1928 roku w słowniku wy-razów obcych jako ocenianie, oszacowanie, określenie wartości. Projektowanie ewaluacji polega na określeniu jej podstawowych elementów, czyli obiektu ewalu-acji; jej celów; pytań kluczowych; kryteriów, na których podstawie w uprawniony sposób będzie orzekać o badanym obiekcie ewaluacji; metod i narzędzi badaw-czych (np. obserwacja, gdy chcemy zdobyć wiedzę o zachowaniu uczestników, wywiady, gdy chcemy poznać motywy i cele działań uczestników); próby badaw-czej; odbiorców; sposobów wykorzystania ewaluacji¹²⁰.

Ewaluacja jako systematyczna refleksja nad własną pracą pedagogiczną jest podstawą planowania i rozwoju. Cechę szczególną stanowi to, że zasady, na któ-rych opiera się proces ewaluacyjny, są określane przez samych zainteresowanych.

Wyniki ewaluacji to fundament do wprowadzenia zmian i  samodoskonalenia wykładowcy. Dobry wykładowca musi systematycznie ewaluować jakość swojej pracy. Ocena wykładowcy przez słuchaczy prowadzi do zrozumienia, że to, co wykładowca uważa za dobre, a nawet niejednokrotnie rewelacyjne, niekoniecznie jest dobre dla słuchaczy. Wyciągnięte z ewaluacji wnioski pozwalają na wyelimi-nowanie błędów i poprawienie jakości pracy wykładowcy.

Mając na względzie usytuowanie ewaluacji w przebiegu procesu, który jest jej poddawany, wyróżnia się:

• ewaluację końcową (inaczej: symulującą, konkluzywną)

Stosowana jest po zakończeniu całego procesu czy programu, dając infor-macje o jej efektywności. Jej zaletę stanowi ujęcie całości otrzymywanych wyników. Wadę natomiast – brak możliwości dokonywania na bieżąco ulepszeń. Ewaluację tę uważa się za swego rodzaju podsumowania działa-nia. Można z niej wyciągnąć wnioski odnoszące się do przyszłych działań.

119 Ibidem, s.15–16.

120 T. Pilch (red.), Encyklopedia Pedagogiczna XXI wieku, tom I, wyd. Akademickie „Żak”,

Warsza-• ewaluację bieżącą (inaczej: kształtującą, towarzyszącą, nazywaną także mo-nitoringiem)

Jest prowadzona podczas trwania programu, na bieżąco. Daje informacje o  jego przebiegu, które umożliwiają dokonanie zmian i  dopasowywanie działań do zmieniających się sytuacji. Ewaluacje typu „front-end” doko-nuje się przed zakończeniem danego programu i po nim. Ściśle określa za-leżności między zmianą, jaka się dokonała, a funkcjonowaniem programu.

Ujmuje również analizę potrzeb.

Biorąc pod uwagę, kto przeprowadza ewaluację, wyodrębnia się:

• ewaluację wewnętrzną (inaczej: autoewaluację)

Dokonywana jest przez osoby związane z  przedmiotem ewaluacji, np.

ewaluację szkoły przeprowadzają pracujący w niej nauczyciele. Ewaluator wewnętrzny, identyfikując się z  poddawanym ewaluacji obiektem, może bardziej lub mniej świadomie pominąć bądź zmieniać niektóre ze swych spostrzeżeń. W konsekwencji może przedstawić wątpliwej wartości, zafał-szowane informacje o badanej rzeczywistości edukacyjnej. Niewątpliwą za-letą ewaluacji wewnętrznej jest możliwość szybkiego wywołania sprzężenia zwrotnego, przynoszącego pozytywne zmiany w ewaluowanym obiekcie.

Bywa nazywana samoewaluacją. Termin ten wprowadził L. Korporowicz, podkreślając, że samoewaluacja przyczynia się do demokratyzowania ewa-luacji. Jest bowiem prowadzona przez osoby zaangażowanie w badaną rze-czywistość edukacyjną z  nastawieniem na rozwój ich samoświadomości i skłanianie do refleksji nad wartością własnych działań.

• ewaluację zewnętrzną

Przeprowadzana jest przez osoby bądź instytucje niezwiązane bezpośred-nio z poddanymi edukacji programami, projektami, procesami itp. Ewa-luator zewnętrzny, nie będąc zaangażowany w prowadzone działania, ma możliwość bardziej obiektywnego dostrzeżenia różnych aspektów ewalu-owanego obiektu aniżeli ewaluator wewnętrzny.

Ewaluacja szkoleń stanowi jeden z  ważniejszych etapów szkoleń, końcowy odcinek procesu szkoleniowego podlegającego ocenie. Jest badaniem oceniają-cym realizację projektu. Nawet jeśli szkolenie jeszcze się nie odbyło, już na eta-pie projektowania owego szkolenia, musimy przewidzieć, jak będziemy oceniać szkolenie po jego zakończeniu. Zaplanowania wymaga zarówno sposób oceniania uzyskanych efektów, jak i metoda ewaluacji stopnia satysfakcji uczestników¹²¹.

121 M. Łaguna, P. Fortuna, op. cit., s. 174.

Ocena szkolenia składa się z dwóch elementów – z oceny jakości szkolenia oraz z oceny efektywności szkolenia. Na ocenę jakości szkolenia składają się: poziom za-dowolenia ze szkolenia, sposobu jego prowadzenia, materiałów oraz innych podob-nych elementów. Na drugi zaś element oceny efektywności wpływają: monitorowa-nie efektów, które zostały osiągnięte dzięki szkoleniu (czego nauczyli się uczestnicy, a także zmiany, jakie wprowadzili w swoim funkcjonowaniu) i ich skutków dla fir-my. Istotną kwestią niewątpliwie jest fakt, że nie zawsze wymienione wyżej elemen-ty idą w parze – czasem uczestnicy są bardzo zadowoleni z zajęć, w których brali udział, ale okazuje się, że nie nauczyli się zbyt dużo w ich trakcie. Z kolei szkolenie odbierane jako trudne i mało atrakcyjne nieraz przynosi pożądane efekty.

Dokonanie oceny danego szkolenia jest trudne także z tego powodu, iż nie-łatwo określić, w jakim stopniu na wzrost sprzedaży wpłynęło samo szkolenie, a w jakim inne czynniki. Do tych czynników możemy zaliczyć zmiany na rynku, poszczególne działania marketingowe lub inne, mające miejsce wewnątrz firmy, jak np. zmiana pracowników czy odpowiednie wynagrodzenie mające niewątpli-wy wpływ na motywację pracowników.

Ewaluacja – niezależnie od rodzaju czy typu, niezależnie od tego, jakim obiek-tem się zajmuje – ma charakterystyczne etapy i przebieg. Przedstawione to zostało na poniższym rysunku.

Rys. 31. Schemat etapów ewaluacji

Badanie ewaluacyjne ma swój kontekst w postaci doświadczeń, oczekiwań, opinii, obaw i  nadziei każdego pracownika. W  przypadku braku szczegóło-wych analiz przyczyn ewaluacja przybiera zredukowane formy mogące fałszo-wać rzeczywisty obraz sytuacji. Możemy wyróżnić cztery podejścia do pojęcia ewaluacji:

• humanistyczne – podkreślające postawę ludzi wobec oceny swojego rozwo-ju i znaczenia działań zewnętrznych;

• ocen niezależnych – koncentrujące się na konkretnej analizie wyznaczo-nych celów i  działań służących ich osiąganiu oraz zmian w  oceniaocen niezależnych – koncentrujące się na konkretnej analizie wyznaczo-nych działaniach;

• ekonomiczne – kładące nacisk na bardziej wydajne wykorzystywanie zaso-bów lub ewentualnie na sposoby zminimalizowania zasoekonomiczne – kładące nacisk na bardziej wydajne wykorzystywanie zaso-bów potrzebnych do osiągania celów;

• ocena skoncentrowana ściśle na wynikach – w tym przypadku celem może być albo stworzenie definicji wartości dodatkowej powstałej w  trakcie kształcenia, albo ocena korzyści uzyskanych po zakończeniu kształcenia.

Do najbardziej znanych należy podejście Donalda L. Kirkpatrika, który zasu-gerował, aby ocena szkolenia obejmowała cztery poziomy.

1) Reakcja – sprowadza się do oceny bezpośredniego reagowania uczestników na szkolenie. W dużym stopniu jest to pomiar zadowolenia uczestnika szkolenia.

Wskazówki, które umożliwiają ocenę reakcji, to:

• ustalenie, czego należy się dowiedzieć,

• ustalenie sposobu pomiaru reakcji,

• zachęcenie do pisemnych komentarzy i sugestii,

• zdobycie 100% bezpośrednich i szczerych odpowiedzi,

• stworzenie możliwych do zaakceptowania standardów,

• zmierzenie reakcji na podstawie standardów i przeprowadzenie odpowied-nich działań,

• przekazanie informacji na temat reakcji.

2) Uczenie się – w  etapie tym dokonuje się oceny zmian w  postawie poprzez określenie stopnia poszerzenia wiedzy i nabycia nowych umiejętności w wy-niku szkolenia. Dodatkowo zdobywa się informacje na temat realizacji celów kształcenia. W ocenie należy wykorzystać testy szkoleniowe.

3) Zachowanie uczestników szkolenia po powrocie do pracy – ustala się, w ja-kim stopniu wiedza, umiejętności i postawy zostały przeniesione ze szkolenia do miejsca pracy. Oceny należy dokonać przed szkoleniem i po nim. Ma ona uwzględnić, w jakim stopniu cele zostały osiągnięte poprzez dane szkolenie.

4) Rezultaty – na tym etapie ocenia się zyski ze szkolenia w porównaniu z jego kosztami. Powinno się ustalić zakres, w jakim zrealizowane zostały podstawo-we cele szkolenia w takich dziedzinach jak zwiększenie sprzedaży czy mniejsza ilość wypadków w miejscu pracy.

Aby dokonać ewaluacji, można skorzystać z przygotowanego wcześniej for-mularza bądź ankiety albo najzwyczajniej zapisać na kartce swoje własne uwagi co do szkolenia. Jednak prowadząc poszczególne szkolenia, każda z firm powinna mieć przygotowane arkusze oceny jakości szkolenia. Praktyka pokazuje jednak, że firmy zamawiające szkolenia chętnie korzystają ze swoich metod, które prze-kazują trenerom. Jest to zrozumiałe, ponieważ po zakończeniu szkoleń mogą one łatwo porównać wyniki pracy różnych firm szkoleniowych.

Poniżej została przedstawiona przykładowa ankieta ewaluacyjna oceniająca pracę wykładowcy.

tab. 6. przykładowa ankieta ewaluacyjna

Jak ocenia Pan / Pani pracę wykładowcy Tak Raczej

tak Trudno

powiedzieć Raczej nie Nie Czy treść szkolenia przekazywana przez

wy-kładowcę odpowiadała tematowi szkolenia?

Czy szkolący był dobrze przygotowany mery-torycznie do prowadzenia szkolenia?

Czy wiedza była przekazywana w sposób zro-zumiały i przystępny?

Czy tempo prowadzenia szkolenia umożliwia-ło zrozumienie tematu i przyswojenie wiedzy?

Czy szkolący dbał o dobrą atmosferę w czasie szkolenia?

Czy szkolący udzielał dodatkowych wyjaśnień i odpowiadał na pytania uczestników szkolenia?

Czy dodatkowe wyjaśnienia i odpowiedzi na pytania spełniały oczekiwania uczestników szkolenia?

Czy jakość prezentacji była zadawalająca i odpo-wiadała oczekiwaniom uczestników szkolenia?

Czy wykładowca miał dobry kontakt z grupą?

Czy zajęcia prowadzone przez wykładowcę spełniły Pana / Pani oczekiwania?

Źródło: opracowanie własne.

Warto zaznaczyć, że ewaluacja – jako badanie wartości danego obiektu – nie jest celem samym w sobie. Zakłada ona bowiem działanie i ciągłe myślenie o po-prawie jakości. Jej wyniki dopiero wtedy mają sens, gdy służą doskonaleniu. Dla-tego też często wyniki przekładają się na plan rozwoju danego projektu. Ewaluacja może również pomagać w zapobieganiu sytuacjom problemowym bądź zapew-niać szybkie i trwałe rozwiązanie problemów, które już się pojawiły. Ponadto – po-przez pozytywne wyniki i informacje – pozwala utrzymać oraz zwiększyć poziom satysfakcji zawodowej danego trenera i motywować do dalszych działań.

www.wsg.byd.pl Wydawnictwo Uczelniane Wyższej Szkoły Gospodarki