Problemy teoretyczne badań ewaluacyjnych

Problematyka ewaluacji jest obecna od dawna w edukacji, nauce, gospodarce, ochronie zdrowia czy administracji oraz w wielu innych dziedzinach życia społecz-nego. Jednak od 30, a może więcej, lat nastąpił jej gwałtowny rozwój i doszło do licznych, spowodowanych nią zmian.

Jednym z powodów szybkiego rozwoju badań ewaluacyjnych, zwłaszcza w skali międzynarodowej, są formalne bądź nieformalne wymogi stawiane przez instytucje decyzyjne, jednocześnie często dysponujące środkami finansowymi na tego typu przedsięwzięcia. W Europie od 21 czerwca 1999 r. aż do 11 lipca 2006 r. obowią-zywało rozporządzenie Rady Unii Europejskiej¹ dotyczące przepisów ogólnych w sprawie funduszy strukturalnych; zawarte w nim wymagania ewaluacji projek-tów i programów o charakterze społeczno-gospodarczym przyczyniły się do roz-woju badań ewaluacyjnych. Obserwujemy ten rozwój, choć w mniejszym zakresie, również w naszym kraju². Przy ubieganiu się o dotacje i granty na różne projekty społeczne coraz częściej należy zaplanować dokonanie ewaluacji przedstawiane-go pomysłu. Ostatnio w naszym kraju można się np. starać o przyznanie grantu na zorganizowanie programu korekcyjno-edukacyjnego dla sprawców przemocy w rodzinie.

W kontekście tematyki naszego opracowania szczególnie interesują nas te ba-dania społeczne poddawane ewaluacji, które są poświęcone zmianom lub modyfi-kacjom procesów poznawczych, zmianom i kontroli emocji oraz innych ludzkich zachowań, jak np. agresji. Czy i jak można uchwycić te zmiany? Czy są one wyraź-nie zauważalne dla otoczenia, w jaki sposób i jakimi metodami można je mierzyć?

1 Rozporządzenie Rady (WE) nr 1260/1999, Dz. Urz. UE L 161.1 z 1999 r.

2 Warto wspomnieć, że pierwsze ewaluacje w naszym kraju dotyczyły programów zapo-biegania nadużywaniu alkoholu i dokonywane były przez Państwową Agencję Rozwiązywania Problemów Alkoholowych, a następnie zaczęto ewaluować programy odnoszące się do rozpo-wszechniania i używania narkotyków, przeprowadzane przez pracowników Instytutu Psychiatrii i Neurologii w Warszawie. Z początkiem XXI w. na nieco większą skalę prowadzono badania ewaluacyjne rozpowszechniających się wówczas programów profilaktycznych dla młodzieży, opracowywanych w wielu szkołach w Polsce.

Warto się więc zastanowić, czym jest ewaluacja, jakie są jej rodzaje, jaką rolę spełnia i czego możemy od niej oczekiwać. Po odpowiedź na te pytania sięgnijmy do jej definicji.

W literaturze istnieje ogromna liczba definicji ewaluacji, są one bardzo róż-ne i dotyczą wielu aspektów: samego jej procesu, podkreślają jego zróżnicowaróż-ne cele, określają odmienne kryteria będące podstawą oceny wartości ewaluowanego przedmiotu.

Wraz z rozwojem badań ewaluacyjnych obserwuje się też pewne zmiany w po-dejściu do tego problemu³. W jednej z pierwszych definicji, cieszącej się dużą po-pularnością, sformułowanej przez Ralpha Tylera w latach trzydziestych ubiegłego wieku, odnoszącej się do problemu edukacji, jej autor pisze, że ewaluacja to „proces zmierzający do stwierdzenia, w jakim stopniu założone cele edukacyjne, są rzeczy-wiście realizowane”⁴. W bardziej współczesnej, a jednocześnie ogólniejszej i tym sa-mym lepiej pasującej do przedmiotu naszych badań definicji Earl Babbie stwierdza:

„ewaluacja powinna być stosowana, gdy planuje się jakąś interwencję, która ma spowodować określony skutek”⁵. Warto też przytoczyć obszerną definicję Polskiego Towarzystwa Ewaluacyjnego (jest ona może zbyt rozbudowana, gdyż odnosi się do różnych aspektów ewaluacji stosowanych w rożnych dziedzinach, ale jednocześnie nowoczesna i wszechstronna). Według niej ewaluacja to:

− „ocena wartości projektu z zastosowaniem określonych kryteriów w celu jego usprawnienia lub lepszego rozumienia;

− zbieranie analiz oraz interpretacja danych na temat znaczenia i wartości projektu przy zwróceniu uwagi na zagadnienia istotne dla zainteresowanych;

− ocena efektywności, skuteczności oddziaływania, trwałości i zgodności projektu z założonymi celami;

− porównywanie rezultatów projektu ze wstępnymi zamierzeniami”⁶.

Jako ostatnią należy zacytować bardzo syntetyczną – i zawierającą wszystkie elementy ewaluacji modelu czwartej generacji – definicję Leszka Korporowicza:

„ewaluacja jest refleksyjnym rozpoznawaniem wartości konkretnego działania programu lub obiektu w oparciu o przyjętą metodę i kryteria, w wyniku uspo-łecznionego procesu, którego celem jest poznanie, zrozumienie i rozwój ⁷”. Autor przestrzega przed myleniem ewaluacji z pojęciem oceny, szacowania czy pomiaru.

Jego zdaniem ewaluacja jest badaniem społecznej rzeczywistości i pełni ono funk-cje rozwojowe. Uważa też, że ujawnienie i zrozumienie ewaluowanej rzeczywistości

3 K. Szara, Ewaluacja jako badanie osądu wartości interwencji publicznej – założenia teore-tyczne, „Nierówności Społeczne a Wzrost Gospodarczy”, 2011, 20, s. 349–364.

4 Cyt. za: D. Nevo, Konceptualizacja ewaluacji edukacyjnej, w: L. Korporowicz (red.), Ewalu-acja w edukacji, Oficyna Naukowa, Warszawa 1997, s. 52.

5 E. Babbie, Badania społeczne w praktyce, tłum. W. Betkiewicz i in., Wydawnictwo Naukowe PWN, Warszawa 2003, s. 371.

6 Zob. http://www.pte.org.pl/index.php/o-aluacji/czymjestewaluacja [dostęp: 20.12.2014].

7 L. Korporowicz, Interakcyjna misja ewaluacji, w: G. Mazurkiewicz (red.), Ewaluacja w nad-zorze pedagogicznym. Konteksty, Uniwersytet Jagielloński, Kraków 2010, s. 34 i n.

można zaakceptować jako cel działań ewaluacyjnych, a niekoniecznie musi to być badanie skuteczności czy efektywności programu.

Prawidłowe przeprowadzenie ewaluacji wymaga zgromadzenia szczegółowych informacji o celu obiektu (programu), jego strategii i planów, procesu wdrażania programu oraz jego rezultatów i oddziaływania, czyli wpływu. W jaki sposób po-winno się prowadzić ewaluację? Przystępując do niej należy podjąć następujące działania⁸:

1. Określić przedmiot ewaluacji.

2. Sformułować pytania kluczowe.

3. Określić kryteria ewaluacji.

4. Dokonać wyboru metod i prób badawczych.

5. Opracować harmonogram prac.

6. Zaprezentować wyniki badań.

Przeprowadzając badanie ewaluacyjne, trzeba określić cel danego programu (interwencji). Musimy też wiedzieć lub dokładnie ustalić jego zakładany rezultat, czyli – co jest jego skutkiem. Cel i rezultat trzeba określić precyzyjne, nie mogą to być żadne sformułowania ogólne. Badacze przyznają jednak, że czasem jest to trudne, bo np. autorzy programu stawiają sobie różne i w różny sposób określone cele, a ich realizacja zaplanowana jest w różnym czasie. Celem badań może też być sprawdzenie trwałości zaplanowanego oddziaływania na beneficjentów (uczestni-ków) w dłuższym czasie, np. po upływie roku czy po dwóch latach (tak się dzie-je np. w badaniach kryminologicznych przy dokonywaniu ewaluacji programów korekcyjnych, których skuteczność sprawdza się po określonym, np. dwuletnim, okresie katamnezy). Niejednokrotnie cele programu mogą być oceniane w różnych etapach i jest to wówczas trudne do ewaluacji, która także powinna zostać zaplano-wana w różnym czasie, w tych etapach.

Bardzo ważne jest ustalenie i przygotowanie metod, które będzie się stosować w ewaluacji – użycie adekwatnych metod ma istotne znaczenie dla jej wyników.

Zależy to oczywiście w dużej mierze od rodzaju i celu programu, od doświadczenia i kompetencji osób dokonujących oceny, jak również od wielu innych czynników.

Najczęściej stosowane przy badaniu programów społecznych metody to:

– wywiady indywidualne i grupowe;

– ankiety;

– kwestionariusze;

– obserwacja;

– badanie dokumentów.

W zależności od potrzeby i sytuacji stosuje się również różnego rodzaju testy psychologiczne⁹.

8 B. Ciężka, Planowanie ewaluacji wewnętrznej w szkole (placówce) wraz z przykładami pro-jektów ewaluacji, http://www.npseo.pl/data/documents/1/38/38.pdf [dostęp: 10.02.2017]

9 J. Latkowska, Ewaluacja krok po kroku. Podręcznik ewaluacji wewnętrznej programów profi-laktycznych. Fundacja Praesterno, Warszawa 2014.

Szczególną uwagę w projektowaniu ewaluacji trzeba zwracać na zagadnienie pomiaru, na jego dobre przygotowanie poprzez dobranie adekwatnych, sprawdzo-nych narzędzi¹⁰. Należy też uprzednio zdecydować, czy wykorzysta się istniejące już narzędzia pomiaru, czy może opracuje nowe. Nieodzowne jest również zastano-wienie się i określenie, czy efekty programu, a właściwie to, czy określony problem, który chcemy ocenić, może być oceniony, czy jest „mierzalny”. Najbardziej istotne znaczenie w badaniach ewaluacyjnych ma kwestia pomiaru zmiany lub rezultatu interwencji. Ważne jest więc ustalenie, czy taki wynik da się zmierzyć, a także, czy dysponujemy odpowiednimi narzędziami, za pomocą których możemy takiego po-miaru dokonać.

Przy planowaniu badania ewaluacyjnego istotne są ponadto określenie i dobór badanej zbiorowości. Przywiązuje się też szczególne znaczenie do kwestii uczest-nictwa badanych w programie, który ma być poddany ewaluacji. Przed jej rozpo-częciem należy wybrać odpowiedni schemat badawczy, najlepiej odpowiadający zamierzeniom autorów programu.

Wyróżnia się trzy rodzaje badań:

– eksperymentalne;

– quasi-eksperymentalne;

– jakościowe.

W badaniu eksperymentalnym zapewnia się losowy dobór grupy eksperymen-talnej i kontrolnej, natomiast w badaniu quasi-eksperymentalnym nie mamy loso-wego doboru badanych do obu grup. Warto może dodać, że w raportach ewaluacyj-nych przywiązuje się znaczenie do informacji, jaki rodzaj schematu badawczego został zastosowany.

Jej rodzaje, zależne od okresu przeprowadzania ewaluacji, to:

1. Ewaluacja ex ante – prowadzona przed realizacją, przed wdrażaniem danego projektu czy programu. Poświęcona jest z reguły ocenie trafności planowanej interwencji z uwzględnieniem potrzeb jej beneficjentów oraz spójności przewi-dywanych celów i sposobów ich realizacji. Ocenia się też konteksty społeczny, gospodarczy i prawny oraz identyfikuje możliwe (potencjalne) trudności. Dia-gnozuje się potrzeby i oczekiwania grupy docelowej.

2. Ewaluacja mid-term/ongoing – ewaluacja bieżąca, dokonywana podczas reali-zacji programu/projektu, przeprowadzana mniej więcej w połowie programu.

Poddaje się wówczas analizie osiągnięte na tym etapie rezultaty oraz dokonuje się pierwszej oceny jakości realizacji programu. Można też modyfikować inter-wencję i w miarę potrzeby aktualizować przyjęte założenia.

3. Ewaluacja ex post – przeprowadzana po zakończeniu realizacji programu (bez-pośrednio po nim lub po określonym czasie)¹¹.

10 E. Babbie, op. cit., s. 377 i n.

11 T. Olejniczak, Teoretyczne podstawy ewaluacji post, w: A. Haber (red.), Ewaluacja ex--post. Teoria i praktyka badawcza, Polska Agencja Rozwoju Przedsiębiorczości, Warszawa 2007.

W literaturze przedmiotu dyskutuje się, czy prowadzenie badań ewaluacyjnych lepiej jest powierzyć osobom z zewnątrz, tzw. ewaluatorom zewnętrznym, czy ra-czej ludziom związanym z ocenianym projektem i dobrze go znającym.

Panuje dość powszechne przekonanie, że do bardziej wiarygodnego wyniku prowadzi ten pierwszy wybór, chociaż pogląd taki nie zawsze jest słuszny¹². Od-mienne stanowisko reprezentują Barbara Wolniewicz-Grzelak i Janusz Grzelak, podkreślający, że wewnętrzni ewaluatorzy prezentują lepszą znajomość programu, wiedzą o jego wszystkich trudnościach i niuansach, są jego wykonawcami i zara-zem obserwatorami i mogą zaproponować różne jego usprawnienia i modyfikacje¹³. Wiadomo, że badania ewaluacyjne tego typu programów, których istotą jest uchwycenie zmiany w zachowaniu człowieka, są niezmiernie trudne. Wymagają od ewaluatorów ogromnego doświadczenia, dużej wnikliwości i wrażliwości oraz dys-ponowania całym materiałem opracowanym przez uczestników i trenerów, a tak-że doboru precyzyjnych narzędzi badawczych. Ewentualne zmiany u uczestników programu korekcyjnego mogą występować nie tylko w ich zachowaniu, lecz także w sposobie myślenia, postawach, emocjach i podejmowaniu właściwych decyzji czy ich stosunku do innych członków społeczności. Powstaje też problem, co będziemy uznawać za zmianę, zwłaszcza diagnostyczną.

Niniejsze badania ewaluacyjne zrealizowane zostały przez osoby (zatrudnione w Instytucie Wymiaru Sprawiedliwości) niezaangażowane w organizowanie i prze-prowadzanie wymienionych programów korekcyjno-edukacyjnych, mają więc cha-rakter ewaluacji zewnętrznej. Wybrano eksperymentalny schemat badawczy¹⁴.

Można postawić pytanie – czy w programie skoncentrowanym na ograniczeniu agresji, ważnym (istotnym) rezultatem jest zmniejszenie takich zachowań u osoby badanej w jakimś okresie po programie jeszcze w czasie pobytu w zakładzie kar-nym, czy podczas kilku tygodni albo miesięcy po uzyskaniu zwolnienia warunko-wego? A w przypadku programu Duluth stosowanego wobec sprawców przemocy – czy nieużywanie przez badanego przemocy fizycznej i ograniczenie się do prze-mocy słownej lub psychicznej może być traktowane jako zmiana jego zachowania?

W niektórych badaniach zagranicznych spotyka się takie wyniki: np. ustalenie, że sprawcy przemocy uczestniczący w programie korekcyjnym, po jego zakończeniu, są skłonni przyznać, iż ich agresywne zachowanie nie jest spowodowane wyłącznie

„winą” żony, jak uważali przed programem, ale również ich winą. Czy to już jest zauważalna zmiana w postawie spowodowana uczestniczeniem w programie, jak uważają autorzy tego badania?

W pierwszej części badań ewaluacyjnych, po szczegółowej analizie dokumen-tacji z przeprowadzanych programów, podjęto próbę odpowiedzi na pytania, czy u uczestników wystąpiły zmiany w zachowaniu, na czym konkretnie polegały, jakie

12 M.J. Sochocki, Korzystanie z ewaluacji, „Remedium”, 2002, 11.

13 B. Wolniewicz-Grzelak, J. Grzelak, Przedmowa do wydania polskiego, w: J.D. Hawkins, B. Nederhood, Podręcznik ewaluacji programów profilaktycznych. Polskie Towarzystwo Psycho-logiczne, Pracownia Wydawnicza, Warszawa–Olsztyn 1994, s. 9; por. także: J. Latkowska, op. cit.

14 E. Babbie, op. cit., s. 371 i n.

wskaźniki mogą o tym świadczyć i jak je można interpretować. Obecne wyniki mają więc siłą rzeczy charakter wstępny i zostaną zweryfikowane w drugiej części badań po zakończeniu okresu katamnezy oraz ponownym sprawdzeniu karalności badanych osób.

2.2. Problemy związane z ewaluacją programów