Dobrze zaprojektowana ewaluacja powinna dysponować kilkoma technikami pomiaru.
Pozwoli to na głębszą, bardziej wszechstronną analizę wyników. W określonej ewaluacji szkolenia nie ma, „zarezerwowanej” tylko dla niej, metody czy techniki. Można wykorzy-stać wszelkie, ilościowe i jakościowe podejścia oraz metody pomiaru stosowane w ba-daniach społecznych. Wybór metod pomiaru jest jednak kluczowym krokiem w procesie ewaluacji, ponieważ determinuje, jakie dane będą zbierane i w jaki sposób analizowane.
Do najbardziej popularnych narzędzi należą:
Tzw. „minutówki”
Ocena polega na pisemnej odpowiedzi na 2 pytania. Uczestnik szkolenia ma minutę lub dwie, aby odpowiedzieć na następujące pytania:
(1) Jaka jest najważniejsza rzecz, której dziś się nauczyłeś?
(2) Jakie najważniejsze pytanie nasuwa Ci się po dzisiejszych zajęciach?
Odpowiedzi takie są bardzo pomocne w ocenie czy prowadzący skutecznie przekazał wiedzę na dany temat oraz czy uczestnicy byli znudzeni lub czy zrozumieli treść.
Testy wiedzy
Test zwykle składa się z pytań zamkniętych wielokrotnego wyboru. Wśród kilku odpowie-dzi uczestnik szkolenia ma zakreślić właściwą. Wiarygodność testu osiąga się poprzez sformułowanie dużej liczby dobrze skonstruowanych pytań, co wymaga znacznych umie-jętności. Badanie za pomocą większej liczby pytań jest korzystne, ponieważ pozwala objąć szerszy zakres materiału przez co ocena jest bardziej szczegółowa i wiarygodna.
Prawidłowe odpowiedzi są znane, a więc opracowanie wyników polega na mechanicznym policzeniu odpowiedzi i późniejszej analizie wyników. Tę metodę można stosować w od-niesieniu do dużych grup kursantów. Główną wadą pytań wielokrotnego wyboru jest to, że budowanie ich jest czasochłonne. Jednak po skonstruowaniu, mogą one być wykorzy-stane ponownie, lub z drobnymi zmianami. Coraz częściej stosuje się testy wypełniane na komputerze lub/i w sieci. Więcej o takich rozwiązaniach w Rozdziale 1.6. Za pomocą tej metody możemy zmierzyć jedynie wiedzę kursantów, dlatego zaleca się uzupełnianie testu wiedzy o inne narzędzia badawcze lub wykorzystywanie bardziej zaawansowanych metod ewaluacji.
Krótkie pisemne wypowiedzi
Jest to narzędzie oceny polegające na tym, że uczestnicy szkolenia mają budować krót-kie, pisemne odpowiedzi na przedstawione pytania. Często używane są zamiast pytań wielokrotnego wyboru, po to, aby uczniowie samodzielnie stworzyli odpowiedź, a nie tylko wybrali ją ze zbioru możliwości. Ponieważ odpowiedź musi być skonstruowana samodzielnie, prawdopodobieństwo zgadywania jest zminimalizowane. Krótka pisemna wypowiedź może w pewnych przypadkach dostarczyć też więcej informacji na temat wie-dzy studentów niż test wielokrotnego wyboru. Wadą tej formy egzaminu są trudności w ocenie odpowiedzi. Szczególną formą krótkich odpowiedzi na pytania są Quizy (Patrz także Rozdział 1.6.)
46 Moduł 1: ABC uczącego bibliotekarza
Skrzynka pytań
Polega na umieszczeniu w sali pudełka, do którego uczestnicy szkolenia mogą anoni-mowo wrzucać pytania, komentarze, opinie na temat kursu. Mogą to uczynić w czasie przerwy lub/i na końcu zajęć. Na zakończenie całego cyklu zajęć prowadzący może od-powiedzieć na zawarte w nich pytania. Technika ta umożliwia studentom anonimowy sposób zadawania pytania. Może także pomóc określić główne obszary trudności tam, gdzie te same problemy są podnoszone przez kilku studentów.
Krótka ankieta
Jest to forma ewaluacji nazywana kształtującą (w odróżnieniu od sumarycznej). Ma na celu uzyskanie wyłącznie bardzo konkretnych informacji na określony temat lub w od-niesieniu do danego aspektu szkolenia. Np.: gdzie można dokonać ulepszeń odnośnie do treści kursu lub w jego organizacji, czy metod nauczania.
Ankiety sprawdzające wiedzę
Pytania w takim kwestionariuszu nie powinny znacząco odbiegać od tego, co było prze-kazywane w czasie szkolenia. Uczestnicy szkolenia powinni mieć możliwość wykazania się znajomością tego materiału, który został im przekazany w czasie zajęć.
Nagrywanie zajęć
Jeśli chcesz wiedzieć, czy uczniowie są znudzeni lub jeśli chcesz uzyskać informację zwrotną na temat swojego nauczania i wypracowania bardziej interesującego stylu pre-zentacji można użyć tego narzędzia. Jest to najpełniejszy rodzaj informacji zwrotnej, jaki można dostać. Trzeba tylko przyzwyczaić się do takiej formy.
Kwestionariusz samooceny
W tym przypadku, uczeń dokonuje samooceny nabytych umiejętności i wiedzy, a także ewentualnie ich przydatności w swojej pracy lub nauce. Sam ocenia swoje braki i osią-gnięcia, Samoocena jest istotna jako narzędzie motywacji do doskonalenia kompetencji.
Często nie jest jednak wolna od błędów.
Uwaga
Samooceny powinien dokonać też uczący bibliotekarz. Zaraz po szkoleniu, warto zadać sobie kilka pytań, pozwoli to nam być bardziej świadomymi tego, jakimi nauczycielami jesteśmy.
Mogą to być np. następujące pytania:
Czy zachęcam kursantów do uczestnictwa w zajęciach? Jeśli nie, jak to poprawić?
Czy uczestnicy zrozumieli cel lekcji? Jeśli nie, jak mógłbym przedstawić go lepiej?
Czy zajęcia były dobrze zorganizowane? Jeśli nie, co mogę zrobić, aby to poprawić?
Czy byłem uprzejmy w stosunku do uczestników? Jeśli nie, jak można to zmienić?
Co mogłem zrobić lepiej? Co nie wyszło?
W tabeli poniżej znajdują się przykłady wymienionych tu narzędzi ewaluacji, przy-porządkowane do poszczególnych poziomów oceny w modelu Kirkpatricka.
1.3. Metody ewaluacji szkoleń 47 dydak-tyczny i organizacyjny ( m.in. treść szkolenia, metody nauczania,
Badany jest poziom zdobytej wie-dzy, nabyte w trakcie szkolenia umiejętności oraz zmiany w posta-wach.
Ocena powinna nastąpić przed i tuż po szkoleniu oraz w określonym od-stępie czasu później (np. za mie-siąc).
W trakcie szkolenia minutówki, testy wiedzy i umiejętności, quizy, studia przypadku. Na zakończenie szko-leniu w miejscu pracy lub nauki.
Ocenę można przeprowadzić po kil-ku miesiącach.
Obserwacja umiejętności, kwestio-nariusz wiedzy.
4. Wyniki
Badamy, czy i jak naby-te umiejętności informacyj-ne wpływają na zmiany, np.
w pracy naukowej, czy prze-kładają się na wyniki lecze-nia, itp.
Ocena praktycznych rezultatów wykorzystywania treści edukacyj-nych w działalności (np. wpływ na wyniki studiowania, na zdrowie).
Ocena kosztów poniesionego szko-lenia w stosunku do powstałych korzyści.
Pomiędzy szkoleniem a badaniem musi upłynąć dłuższy okres (np.
rok).
Wywiady, analiza dokumentów.
Dobra ewaluacja szkolenia powinna być (Łaguna, 2004; Kosińska, 2000):
Obiektywna i rzetelna czyli powinna określać rzeczywisty poziom wiedzy i umie-jętności uczestników szkoleń, powtórzenie takiej ewaluacji przez inną osobę powinno przynieść ten sam wynik.
Mobilizująca jej wyniki powinny powodować określone konsekwencje, negatywne (np. brak zaliczenia) lub pozytywne (np. uzyskanie dodatkowych punktów).
Przydatna jej wyniki powinny być wykorzystane do doskonalenia metod, treści i organizacji nauczania. Ewaluacja nie ma sensu, jeśli nikt jej nie wykorzysta.
Jawna uczestnicy szkolenia powinni być poinformowani o niej przed szkoleniem oraz powinni poznać jej rezultaty.
Wykonalna założenia ewaluacyjne musza być realistyczne. Ewaluację należy prze-prowadzać tylko wtedy, gdy jest to możliwe ze względów praktycznych, a efekty równo-ważą koszty.
Instruktywna i konstruktywna tzn. uświadamiająca słuchaczowi i nauczycielom ich osiągnięcia i braki, dająca wskazówki jak je uzupełnić, zmienić. Osoba przeprowadzająca ocenę musi też wskazać kierunek dalszych działań.
Uczciwa tzn. przeprowadzona uczciwie i zgodnie z normami etycznymi (ochrona danych osobowych, źródeł informacji).
48 Moduł 1: ABC uczącego bibliotekarza