Cele ewaluacji i wskaźniki

W związku z tym, że ewaluację warto przeprowadzać tylko wtedy, gdy chcemy wykorzy-stać jej wyniki, trzeba wiedzieć do czego i w jaki sposób będziemy chcieli ją wykorzywykorzy-stać. W przypadku bezrobocia długotrwałego celami ewaluacji mogą być:

Î Ocena skuteczności podejmowanych działań przez osobę bezrobotną w celu znale-zienia pracy i ewentualne zrewidowanie określonego celu wsparcia (np. zmiana celu ze „znalezienie pracy” na „zdiagnozowanie stanu psychicznego” w przypadku, gdy dana osoba mimo wyznaczania celów i określania sposobów ich realizacji nie podejmuje żadnych działań uzasadniając, że nie ma siły psychicznej, aby to zrobić).

Î Zrewidowanie systemu wsparcia dla bezrobotnych cudzoziemców poszukujących pracy – na ile korzystają oni z oferowanych form wsparcia, jakie są bariery, a co ich do tego zachęca.

Î Poprawa współpracy między instytucjami pomocy społecznej i urzędem pracy. Î Zaproponowanie nowych form wsparcia (w przypadku, gdy obecnie stosowane

oka-żą się nieskuteczne).

Î Ocena skuteczności i trwałości udzielonej pomocy finansowej i rzeczowej osobom bezrobotnym.

Î Ocena trafności i oddziaływania poradnictwa udzielanego osobom bezrobotnym (np. czy umieją rozwiązywać problemy wychowawcze czy lepiej zarządzają budże-tem domowym).

Î Identyfikacja nieprzewidzianych skutków poszczególnych form wsparcia.

Istotą ewaluacji podejmowanych działań (interwencji) jest opracowanie i wdrożenie reko-mendacji mających pomóc w zmianie postępowania, poprawieniu błędów lub powiela-niu działań i rozwiązań, które się sprawdziły.

Cel przeprowadzenia ewaluacji nie jest tym samym co cel działania, projektu czy syste-mu, który chcemy ewaluować (np. cel pracy z osobą bezrobotną). Natomiast, aby dobrze przeprowadzić ewaluację należy prawidłowo sformułować wskaźniki realizacji celu, jaki ma być osiągnięty np. poprzez pracę z klientem. Wskaźniki opisują w sposób wymierny, co oznacza, że zrealizowano to, co zostało zaplanowane, czyli co np. oznacza, że dana osoba „znalazła pracę”. Czy to znaczy, że ma ją podjąć w ciągu miesiąca, ma podpisaną umowę o pracę, a może, że pracuje co najmniej trzy miesiące? To określa właśnie wskaź-nik, który powinien być określony wspólnie przez osobę bezrobotną i pracownika, któ-ry ją wspiera. Pracownik powinien przede wszystkim pomóc w precyzyjnym określeniu wskaźnika. Prawidłowo sformułowany wskaźnik (według zasady SMART) jest:

Î szczegółowo opisany, odnoszący się do konkretnych działań, celów np. przy

założe-niu, że celem jest „znalezienie pracy”, to wskaźnikiem mierzącym stopień osiągnięcia tego celu może być następujące stwierdzenie: „klient podpisał umowę o pracę lub umowę cywilno-prawną”;

Î prosto skonstruowany, czyli w formie zdania pojedynczego, a nie warunkowego;

Î możliwy do zmierzenia przy użyciu odpowiednich do tego narzędzi; do każdego

wskaźnika powinien być określony sposób zbierania informacji na temat jego wy-stąpienia np. określamy, że informacje o tym czy osoba bezrobotna ma podpisaną umowę o pracę na podstawie jej „deklaracji”, czyli gdy nas poinformuje, że podpisała taką umowę albo możemy ustalić, że pokaże tą umowę;

Î określone w sposób realistyczny, tj. wskaźniki nie powinny zakładać czegoś o czym

z góry wiadomo, że nie jest możliwe do osiągnięcia np. „wszyscy uczestnicy szkoleń znajdą pracę”;

Î określone w czasie – powinien zostać określony termin, w jakim zostanie osiągnięta

wartość wskaźnika np. klient znajdzie pracę w ciągu pół roku od zakończenia udziału w projekcie.

Warto pamiętać, że nie ma uniwersalnych wskaźników nawet dotyczących aktywizacji zawo-dowej. Za każdym razem należy je określać dostosowując do przyjętego celu oraz osoby, która ma go osiągnąć. Na przykład dla jednej osoby, której celem będzie znalezienie pracy odpo-wiednim wskaźnikiem będzie „podpisanie umowy o pracę” a dla innej, której problemem było utrzymanie pracy takim wskaźnikiem będzie „utrzymanie pracy przez co najmniej pół roku”.

4.3. Planowanie i etapy ewaluacji

Ustalenie celu ewaluacji jest jednym z pierwszych kroków, jakie trzeba podjąć rozpoczy-nając ewaluację. Aby był to proces dobrze przeprowadzony, musi być on równie dobrze zaplanowany. Dlatego przed przystąpieniem do jej wykonania należy odpowiedzieć na następujące pytania:

Î Czego chcemy się dowiedzieć?

Î Kiedy chcemy przeprowadzić ewaluację? Î Kto będzie odbiorcą ewaluacji?

Î Kogo będziemy badać?

Î Ile mamy pieniędzy (innych zasobów) na przeprowadzenie ewaluacji? Î W jaki sposób chcemy zebrać dane?

Î Jak chcemy wykorzystać wnioski z ewaluacji?

Odpowiedź na te pytania jest istotna ze względu na kolejne fazy ewaluacji, czyli: zbieranie i analizę danych, wyciąganie wniosków na podstawie wyników prowadzonych badań oraz opracowanie rekomendacji78.

W przypadku oceny postępów realizacji planu działania (zawartego w kontrakcie socjalnym, indywidualnym planie wychodzenia z bezdomności czy indywidualnym planie działania) da-nej osoby ewaluację przeprowadzamy na bieżąco, głównym jej odbiorcą jest sama osoba bezrobotna, a także pracownik, który wspiera daną osobę, gdyż to te dwie osoby są naj-bardziej zainteresowane osiągnięciem celu jakim będzie zazwyczaj uzyskanie zatrudnie-nia przez osobę bezrobotną. Badaniu będzie podlegać ta osoba oraz inne osoby zaanga-żowane w cały proces odzyskiwania zdolności czy też gotowości do pracy, wśród których w zależności od sytuacji społeczno-zawodowej osoby bezrobotnej mogą być: członkowie rodziny, znajomi, specjaliści, z którymi dana osoba styka się podczas procesu aktywizacyj-nego (np. psycholog, doradca zawodowy, osoba prowadząca warsztat umiejętności spo-łecznych, prawnik udzielający porad). Dane potrzebne do oceny tego procesu powinny być głównie zbierane podczas obserwacji prowadzonych przez osoby, które mają bezpo-średni kontakt z osobą bezrobotną, a także podczas rozmów z tą osobą (wywiad indywi-dualny). Można również zastosować metodę biograficzną, czyli pisanie dzienniczka aktyw-ności. W tym przypadku raczej nie powinno stosować się ankiet, chyba że są to ankiety, w których osoba bezrobotna ocenia swoje umiejętności w danej dziedzinie (np. sposo-bów poszukiwania pracy) przed rozpoczęciem i po zakończeniu udziału w szkoleniach lub innych formach wsparciach, dotyczących podwyższania tej umiejętności. W przypadku tego rodzaju ewaluacji za jej zaplanowanie, przeprowadzenie jest odpowiedzialny pra-cownik, który „prowadzi” daną osobę np. pracownik socjalny lub doradca zawodowy.

78 Więcej o procesie planowania ewaluacji, kolejnych etapach w publikacji: A. Hryniewicka, Podstawy ewaluacji w pomocy społecznej, Małopolski Ośrodek Polityki Społecznej, Kraków 2010; dostępny na stronie: http://www.politykaspoleczna.obserwatorium.malopolska. pl/files/common/wyniki-badan-raporty/PODSTAWY%20EWALUACJI.pdf [dostęp: 19.03.2014].