Ewaluacja, jak już powiedziano, to proces. Składa się on z trzech etapów:
ETAP 1. Zaplanowanie działań oraz sporządzenie projektu formularza ewaluacji Podczas planowania działań ewaluacyjnych odpowiadamy na pytania o cel ewaluacji, o jej odbiorców oraz określamy przedmiot ewaluacji czyli definiujemy, co chcemy poddać badaniu. Szukamy również odpowiedzi na pytania:
Na kiedy potrzebne są nam wyniki?
Kto będzie zaangażowany w przeprowadzenie ewaluacji?
Jakie będą zadania i funkcje poszczególnych osób?
Jakie będą czasowe i finansowe koszty przedsięwzięcia?
Tak więc plan ewaluacji jest ważny z punktu widzenia zarządzania całym przedsię-wzięciem.
Projekt ewaluacji opisuje wybraną metodę oraz sposób jej przeprowadzenia. Musi się w nim znaleźć dokładny opis tego, co chcemy badać, jakie aspekty nas interesują oraz jakie kryteria oceny przyjmujemy. Dopiero potem określamy sposób, w jaki chcemy gromadzić interesujące nas dane, czyli określamy: gdzie będziemy ich szukać oraz jakie metody zastosujemy i na jakiej próbie. Załącznikiem do projektu powinny być narzędzia, za pomocą których zbierzemy potrzebne informacje.
42 Moduł 1: ABC uczącego bibliotekarza
ETAP 2. Zbieranie danych
Przed właściwym badaniem ważna jest konsultacja oraz przetestowanie narzędzi i proce-dur. Aby dane były wiarygodne, należy zadbać o budowanie klimatu otwartości i zaufania oraz o etyczną stronę prowadzonych działań. Dla przeprowadzanego procesu warto po-zyskiwać uczestników szkoleń, jasno określając cel i procedurę badania oraz wspólnie wybierając obszary i kryteria ewaluacji. Aby zapewnić poczucie bezpieczeństwa i pouf-ności uczestnikom ewaluacji, powinniśmy wcześniej poinformować ich również o sposobie wykorzystania oraz upowszechniania wyników. W trakcie zbierania danych należy za-pewnić badanym pełną anonimowość, a z raportu ewaluacyjnego usunąć wszelkie dane, pozwalające zidentyfikować naszych respondentów.
ETAP 3. Analiza zebranych informacji i ocena wyników
Analizując i interpretując dane, należy zastanowić się, które z nich mają znaczenie i jakie mają znaczenie? Wyniki ewaluacji zbieramy i prezentujemy w raporcie ewaluacyjnym.
Powinien on być zapisany w formie zwięzłej i czytelnej dla adresata. Z zebranych danych należy wyciągnąć wnioski, zawierające odpowiedzi na postawione wcześniej pytania i wartościować uzyskane wyniki według sformułowanych w projekcie kryteriów.
Upowszechnienie wyników jest formą informacji zwrotnej dla zainteresowanych oraz okazją do wspólnego z uczestnikami szkoleń zastanowienia się nad nimi. Wyniki ewa-luacji można rozdać w skróconej formie, ale umożliwiać także zapoznanie się z pełną wersją raportu. Uczący bibliotekarze, mogą podsumować dokonane badania na spotka-niu z przełożonymi, a także umieścić wyniki np. na stronie internetowej biblioteki.
Ewaluacja może być przeprowadzona przez organizatora kursów bibliotecznych lub przez samego uczącego bibliotekarza. Pierwsza będzie bardziej obiektywna. Ale po-nieważ w niektórych bibliotekach instytucji ochrony zdrowia, personel biblioteczny jest nieliczny, zwykle to sam uczący bibliotekarz przeprowadzi ewaluację nauczania i oce-nę samego siebie. Jeżeli ewaluacja jest przeprowadzona zgodnie z regułami sztuki oraz z użyciem możliwie obiektywnych miar, będzie to i tak, pomimo pewnych błędów, dobre narzędzie służące doskonaleniu nauczania.
Model Kirkpatricka
Proces ewaluacji może być przeprowadzany na kilku poziomach, w zależności od potrzeb i możliwości finansowych biblioteki. Sku-tecznym narzędziem do przygotowania i oceny szkolenia jest czte-rostopniowy model badania efektywności Donalda Kirkpatricka (2001).
Model Kirkpatricka koncentruje się na czterech różnych aspek-tach:
• Reakcji uczestników,
• Uczeniu się,
• Zachowaniach po szkoleniu
• Wynikach osiąganych dzięki zmianom w zachowaniu.
Te cztery elementy są kolejnymi poziomami ewaluacji. Sam proces,
na każdym poziomie przebiega podobnie (3 etapy: planowanie, zbieranie danych i ich analiza, wnioski i rekomendacje). Zawsze jednak ocena rozpoczyna się na poziomie 1, po czym w miarę potrzeb i możliwości finansowych biblioteki może przenieść się o stopień
1.3. Metody ewaluacji szkoleń 43 wyżej lub zakończyć na poziomie 1. Informacje uzyskane w pierwszym etapie są podstawą do przejścia do kolejnego. Ewaluacja na kolejnych stopniach staje się coraz trudniejsza do wykonania, ale jednocześnie rośnie wartość uzyskanych informacji.
Poziom 1 Reakcja uczestników
Dla powodzenia szkolenia i jego efektywności istotna jest zwykle satysfakcja uczestników z odbytego szkolenia. Na tym etapie odbywa się pomiar poziomu tego zadowolenia.
Ocenie podlega całe szkolenie, czyli program dydaktyczny i organizacyjny (Patrz także Rozdział 1.2.).
Problemy, które powinny zostać poruszone na tym poziomie badania:
• Czy uczestnicy są zadowoleni z odbytego szkolenia?
• Czy uważają, że odpowiada ich potrzebom?
• Czy czas szkolenia został dobrze wykorzystany?
• Czy są zadowoleni z miejsca, stylu prowadzenia zajęć, obsługi itp.?
• Poziom zaangażowania.
• Przystępność i komfort.
• Poziom wysiłku niezbędnego do wykorzystania zdobywanej wiedzy.
• Potencjalne możliwości wykorzystania nabytej wiedzy.
Na tym etapie ewaluacji odbywa się również proces samooceny bibliotekarza nauczy-ciela. Warto tuż po szkoleniu zadać samemu sobie kilka pytań na temat własnych zajęć.
Pozwoli nam to lepiej uświadomić sobie, jakimi jesteśmy nauczycielami. Mogą to być pytania typu:
• Czy zachęcałem do aktywnego uczestniczenia w zajęciach? Jeśli nie, to, co mogę zmienić?
• Czy uczestnicy zrozumieli cel zajęć? Jeśli nie, to jak mogłem go przedstawić jaśniej?
• Czy byłem dobrze zorganizowany? Jeśli nie, to jak mogę to poprawić?
• Czy uczestnicy uważali? Jeśli nie, to jak bardziej zainteresować ich w przyszłości?
• Co zrobiłem najlepiej, a co mi nie wyszło?
Poziom 2 Uczenie się
Ewaluacja dotyczy tu zmiany w poziomie wiedzy uczestników. Sprawdzamy, czy nabyli nowe lub uzupełnili posiadane umiejętności. Do dokonania oceny potrzebne jest określe-nie wcześokreśle-niej celów kształcenia oraz poziomu wiedzy przed szkoleokreśle-niem, gdyż stanowią one punkt odniesienia w badaniu (Patrz też Rozdz. 1.2.).
Sprawy do zbadania na tym poziomie to:
• Czy uczestnicy nauczyli się tego, co zostało założone w celach szczegółowych?
• Czy doświadczenie prowadzącego miało wpływ na poziom uzyskanej przez uczest-ników wiedzy?
• Jaki jest poziom zmian w stosunku do uprzednio posiadanej wiedzy?
• Jak wiele uczestnicy nauczyli się w czasie sesji szkoleniowej?
44 Moduł 1: ABC uczącego bibliotekarza
Poziom 3 Zachowanie
Ewaluacja na tym poziomie dotyczy zmian w zachowaniach uczestników szkolenia, albo inaczej praktycznego wykorzystania przez nich efektów szkolenia, praktycznego zastoso-wania zdobytych umiejętności. Aby zmiana taka mogła nastąpić konieczne jest spełnienie czterech warunków (Kirkpatrick, 2001):
• osoba musi chcieć się zmienić,
• musi wiedzieć, co i jak robić,
• musi pracować w sprzyjającej atmosferze,
• powinna być nagradzana za każdą pozytywną zmianę.
Przeprowadzając ewaluację na tym poziomie otrzymamy odpowiedzi na poniższe pytania:
• Czy uczestnicy wprowadzili w życie nabytą wiedzę?
• Gdzie, w jakich obszarach wykorzystane zostały nabyte umiejętności?
• Czy były widoczne wymierne zmiany, jakie zaszły po szkoleniu, związane z wyko-rzystaniem nabytych umiejętności?
• Czy nastąpiła zmiana w zachowaniu i czy jest ona trwała?
• Czy uczestnik szkolenia był w stanie przekazać nabytą wiedzę i umiejętności innym osobom?
• Czy uczestnik szkolenia był świadomy zmian w swoich umiejętnościach, wiedzy i zachowaniu?
Pomiar zmian w zachowaniu jest trudniejszy do przeprowadzenia, niż pomiar zmian w wiedzy czy nastawieniu, a wyniki są nieraz trudne do zinterpretowania, zwłaszcza jeśli można je zaobserwować jedynie poza biblioteką. Ocena powstałych zmian wyma-ga dobrych relacji z innymi wykładowcami (w przypadku studentów) lub pracownikami danej organizacji.
Paweł bohater historyjki ze wstępu dokonał ewaluacji na tym poziomie, wykorzy-stując najprostszą dostępną technikę pomiaru, jaką jest obserwacja zachowań uczestni-ków kursu. Aby dowiedzieć się, dlaczego nie nastąpiły oczekiwane zmiany w zachowaniu kursantów musi dokonać ewaluacji na 2 poprzednich poziomach.
Poziom 4 Wyniki
Na tym poziomie ewaluacji określa się ostateczne efekty uczestnictwa w szkoleniu, czyli ustala namacalne rezultaty, w postaci pozytywnych zmian w organizacji, miejscu pracy lub nauki uczestników. Można też badać wpływ osiągniętych wyników na np. wyniki leczenia, działanie organizacji, itp. Zmiany te mogą być widoczne poprzez takie wskaźniki jak na przykład: wzrost liczby i lepszą jakość publikacji naukowych; lepszą, zgodną z wiedzą naukową opiekę nad pacjentem; mniej pytań kierowanych do bibliotekarzy w sprawie przeszukiwania baz bibliograficznych itp.
Uwaga
Najłatwiejsza do przeprowadzenia jest ewaluacja na poziomie 1 reakcji. Ocena działań bibliotekarza w zakresie zorganizowania i przeprowadzenia szkolenia jest bardzo ważna dla biblioteki, gdyż zapewnia cenne informacje służące do ulepszania kolejnych szkoleń. Pamiętać należy jednak, że pozytywna ocena szkolenia na tym etapie nie daje pewności, że uczestnicy nabyli konkretną wiedzę i umiejętności. O tym możemy przekonać się stosując ewaluację na poziomie 2
uczenia się.
1.3. Metody ewaluacji szkoleń 45