monitoringu. Jest tylko pytanie: Jak to robić?!
te or ia : M on ito ro w an ie i ew al ua cj a
Pytanie, na czyje zlecenie jest przeprowadzana ewa-luacja, ściśle wiąże się z tym, kto będzie korzystał z jej wyników. Jeśli ewaluacja jest przeprowadzana na zle-cenie zewnętrzne, to zwykle jest nim zleceniodawca. Ewaluacja ma dostarczać mu informacji pomocnych przy podejmowaniu decyzji. W wypadku grantodaw-cy są to głównie degrantodaw-cyzje finansowe, a od pozytywnych wyników ewaluacji zależy często przyznanie kolejnych środków finansowych. W takim wypadku, ewaluacja niekoniecznie musi zostać przyjęta przychylnie – or-ganizacja, świadomie lub nie, może starać się ukryć popełnione przez siebie błędy. Informacje zdobyte podczas ewaluacji mogą też nie pomóc w usprawnie-niu działań samej organizacji, jeśli zleceniodawca nie udostępni jej wyników swojej pracy.
Jeśli zaś organizacja sama decyduje się na przepro-wadzenie ewaluacji swojej działalności, powinna po-stawić pytania: Co szwankuje lub budzi jej niepokój? Jakich informacji jej brakuje, aby lepiej działać? Na etapie identyfikacji należy ustalić, kto będzie prze-prowadzał ewaluację?
Ewaluacja może być przeprowadzana przez: organizację,
ewaluatora wewnętrznego, ewaluatora zewnętrznego.
To, kto będzie przeprowadzał ewaluację, jest zwią-zane z jej celem i instytucją zlecającą. Ze względu na osobę prowadzącą ewaluację możemy wyróżnić następujące typy ewaluacji:
1. Samooewaluacja – organizacja prowadząca dany projekt sama przygotowuje plan ewaluacji, narzę-dzia oraz samodzielnie (ludzie z danej organizacji) zbiera i analizuje dane.
2. Ewaluacja facilitująca – zleceniodawcą jest organi- Ewaluacja facilitująca Ewaluacja facilitująca
zacja podlegająca ewaluacji, ale ewaluator jest oso-bą spoza organizacji. Ewaluator, w ścisłej współpracy z podmiotem ewaluacji, przygotowuje plan i narzę-dzia ewaluacyjne, jednak są one używane przez ewa-luatora. On też opracowuje wyniki i przedstawia je zespołowi. Cały proces przebiega w ścisłej współpracy
pomiędzy ewaluatorem a organizacją.
3. Ewaluacja zewnętrzna – zleceniodawcą jest insty-tucja zewnętrzna do podmiotu ewaluacji, np. spon-sor. Ewaluator jest spoza organizacji ewaluowanej. Plan ewaluacji, metody, narzędzia są tworzone przez ewaluatora w konsultacji ze zleceniodawcą, a z pominięciem organizacji. Zleceniodawca może, ale nie musi, podzielić się wynikami ewaluacji z or-ganizacją, która była ewaluowana.
My zajmiemy się głównie samoewaluacją i umie-jętnościami z tym związanymi. Niezależnie bowiem od tego, czy jesteśmy oceniani przez zewnętrznych ekspertów czy też nie, to sami powinniśmy dbać o stałą refleksję nad tym, co robimy. Dokonywanie samooceny i analizy własnej pracy jest podstawowym narzędziem doskonalenia się organizacji. Uzmysłowie-nie sobie popełnionych błędów pomoże nam uniknąć ich powtórzenia. Dzięki określeniu zaś faktycznych efektów można lepiej dopasować nowe przedsięwzię-cie do realnej sytuacji danej grupy ludzi. A za sprawą obydwu zabiegów organizacja może coraz wyżej podnosić poprzeczkę, zarówno w sferze jakości, jak i efektywności swojej działalności.
Kolejne ważne pytanie, na które należy odpowiedzieć na tym etapie, dotyczy momentu przeprowadzenia ewaluacji: W jakim momencie przedsięwzięcia po-winna odbywać się ewaluacja oraz ile czasu powinno zostać na nią poświęcone?
Do niedawna uważano, że ewaluacja może być prze-prowadzana dopiero na zakończenie projektu. Nic bardziej mylnego.
Ewaluację można przeprowadzać zarówno na etapie przygotowywania jakiegoś projektu czy też przed-sięwzięcia (ewaluacja ex-ante), jak i w trakcie jego ex-anteex-ante realizacji (ewaluacja interim lub – jeśli jest robiona w połowie realizacji – mid-term), no i oczywiście po mid-termmid-term zakończeniu (ewaluacja ex-post).ex-postex-post
Na każdym z tych etapów ewaluacja odpowiada na różne pytania .
E. Drogosz-Zabłocką, Typy ewaluacji a dobór metod i technik badawczych, materiały edukacyjne Podyplomowego Studium Ewaluacji Projektów finansowanych z Funduszy Strukturalnych,
Warszawa: Uniwersytet Warszawski, Instytut Stosowanych Nauk Społecznych, 2005
62
Przed rozpoczęciem projektu:
czy przedstawione działania są zgodne z celami projektu i planowanymi efektami?
czy poszczególne elementy projektu stanowią lo-giczną całość?
czy były analizowane potencjalne zagrożenia (i ewentualnie jakie)?
czy przeprowadzono badanie potrzeb? W trakcie realizacji projektu:
czy projekt jest realizowany zgodnie z założeniami? czy osiągnięto to, co zamierzano na danym etapie, jeśli nie, to dlaczego?
jakie zmiany wprowadzono w stosunku do opraco-wanego projektu?
jakie były przyczyny zmian? Po zakończeniu projektu:
w jakim stopniu zrealizowano założone cele? jakie były rzeczywiste, a jakie zakładane koszty projektu?
co wpłynęło na skuteczność projektu?
Jeśli ewaluacja jest przeprowadzana na początku lub w trakcie realizacji projektu, informacje zebrane dzię-ki niej przyczyniają się do kształtowania, ewentualnie zaplanowania działań korygujących. Jest to ewaluacja
o charakterze formatywnym – formującym dane
przedsięwzięcie, nadająca mu kształt.
Jeśli natomiast jest ona prowadzona po zakończeniu projektu, to zgromadzone dane posłużą do określenia słabych i mocnych stron projektu, a zebrane informa-cje pozwolą sformułować rekomendainforma-cje na przyszłość dla innych działań. Jest to ewaluacja konkluzywna. Ważną kwestią, a dla niektórych podstawową, jest pytanie, ile środków możemy przeznaczyć na ewalu-ację. Niektórzy od tego zaczynają proces planowania. Niewątpliwie ewaluacja kosztuje i nie są to koszty małe. Są one uzależnione od liczby osób, do których należy dotrzeć, rodzaju użytych narzędzi i technik badawczych. Nie sposób podać konkretnych kwot, gdyż są one bardzo zróżnicowane, ale można podać rodzaje kosztów, jakie należy zaplanować.
Jako przykład działań koniecznych do wykonania, a tym samym kosztów do poniesienia, może posłużyć ewaluacja, w której zbieranie danych odbywa się za pomocą ankiet wysyłanych pocztą. Bez względu na to, pomocą ankiet wysyłanych pocztą. Bez względu na to, czy organizacja samodzielnie będzie przeprowadzała czy organizacja samodzielnie będzie przeprowadzała ankietę, czy zleci to ekspertowi zewnętrznemu, ewaluacja wiąże się z następującymi czynnościami: 1. Opracowanie koncepcji badania.
2. Przygotowanie kwestionariusza ankiety, instrukcji, 2. Przygotowanie kwestionariusza ankiety, instrukcji, listu wprowadzającego.
3. Ewentualny pilotaż (czyli wysłanie ankiety do małej liczby osób w celu sprawdzenia funkcjonalności małej liczby osób w celu sprawdzenia funkcjonalności narzędzia badań, np. czy pytania są zrozumiałe, czy nie narzędzia badań, np. czy pytania są zrozumiałe, czy nie są sugerujące itp.)
Zakup materiałów (koperty, znaczki) do wysłania pilotażu i do odesłania wypełnionej ankiety (często pilotażu i do odesłania wypełnionej ankiety (często należy do wysłanej ankiety załączyć kopertę ze znaczkiem i adresem zwrotnym, zwiększa to liczbę znaczkiem i adresem zwrotnym, zwiększa to liczbę otrzymanych z powrotem ankiet).
Druk materiałów do pilotażu (ankiet, instrukcji, listu Druk materiałów do pilotażu (ankiet, instrukcji, listu
wprowadzającego, etykiet z adresami).
Monitoring listowny lub telefoniczny dotyczący wypełnienia i zwrotu ankiety.
Opracowanie robocze przez eksperta wyników ankiety i naniesienie ewentualnych poprawek do narzędzia.
4. Realizacja badania głównego.
Zakup materiałów potrzebnych do wysyłki i zwrotu Zakup materiałów potrzebnych do wysyłki i zwrotu ankiety.
Druk materiałów do badania głównego (ankiet, instrukcji, listu wprowadzającego, etykiet z adresami). instrukcji, listu wprowadzającego, etykiet z adresami).
Przygotowanie wysyłki i zaniesienie na pocztę. Monitoring zwrotu ankiet (listowny lub telefoniczny). Monitoring zwrotu ankiet (listowny lub telefoniczny). 5. Opracowywanie danych.
6.Przygotowanie raportu.
Z przeprowadzeniem ewaluacji metodą ankietową wiąże się zatem bardzo dużo zadań, w konsekwencji wiąże się zatem bardzo dużo zadań, w konsekwencji także i pewnych kosztów. Pamiętajmy jednak, że
ewaluacja ma o tyle sens, o ile informacje dzięki niej zdobyte są rzetelne!
Ostatnim zagadnieniem, które trzeba ustalić podczas etapu identyfikacji projektu ewaluacji jest dostępność danych: Czy dane były zbierane i porządkowane pod-czas realizacji projektu czy też programu, a więc czy był prowadzony monitoring?
Monitoring to stałe obserwowanie dynamiki jakiegoś
zjawiska. Z punktu widzenia działalności organizacji istotne są dwa elementy monitoringu:
monitorowanie własnej pracy,
monitorowanie potrzeb środowiska lokalnego. Dzięki temu organizacja może ustalić: po pierwsze, czy realizuje cele szczegółowe, które sobie postawiła, czy zmierza w dobrym kierunku; po drugie, w jakim stopniu jej działania odpowiadają obecnej sytuacji i oczekiwaniom ludzi, na rzecz których działa. Informacje uzyskane dzięki monitoringowi ułatwiają organizacji na bieżąco wprowa-dzać zmiany i dostosowywać ofertę do potrzeb odbiorców. Umożliwiają także przeprowadzenie pogłębionej analizy. Jeśli nie prowadzimy bieżącego monitoringu, podczas ewaluacji dużo czasu będziemy musieli poświęcić na odtworzenie danych. Jest to zadanie trudne, a niekiedy zdarza się też, że części niezbędnych danych nie może-my w ogóle zdobyć.