Czynniki wpływające na użycie ewaluacji

W literaturze przedmiotu podawanych jest szereg czynników wpływają-cych na wykorzystanie ewaluacji. Patton wymienia kilkadziesiąt czynników kontekstowych, które należy uwzględnić przy analizie wykorzystania ewalua-cji (od kontekstu i formy programu, poprzez moment podjęcia badania, cechy ewaluatorów i zamawiających, metody, formę i przebieg badania, po formę wyników i rekomendacji, sytuację polityczną i strategię rozpowszechniania) (Patton, 1997: 437–439). Huberman i Thurler podają około pięćdziesiąt czyn-ników (1991 za Balthazar 2006), Shulha i Cousins (1997: 196) identyfikują dziesięć szerszych kategorii czynników²⁶, zaś Leviton i Hughes (1981) przy-taczają podobną listę – przystawanie badania do potrzeb, dobrą komunikację

25 Social betterment jest definiowane bardzo szeroko jako poprawa warunków społecznych, redukcja problemów społecznych i łagodzenie ludzkich cierpień (Henry, Julnes 1998).

26 Są to: przystawanie studium do potrzeb zlecających, wiarygodność, zaangażowanie użyt-kowników, efektywność w komunikacji, potencjał informacyjny, potrzeby informacyjne klienta,

między badaczami a użytkownikami, dobre przełożenie wniosków na impli-kacje dla polityki i programu, wiarygodność wyników i zaufanie pokładane w ewaluacji, zaangażowanie użytkowników i siła ich wsparcia. Owen znacz-nie upraszcza ten temat, podając trzy czynniki użycia ewaluacji: strategię ba-dania, cechy odbiorców i charakterystykę organizacji (jej zdolność zmiany, otwartość na krytykę, szybkość wewnętrznego przepływu informacji) (Owen, 2007: 106).

Wreszcie w kontekście programów UE, przy badaniu wykorzystania rapor-tów z ewaluacji w samej Komisji Europejskiej (EPEC, 2005) jako kluczowe czynniki wzmacniające wykorzystanie zidentyfikowano: moment podjęcia ba-dania i jego orientację (cel), wsparcie ze strony kadry kierowniczej i menedże-rów wyższej rangi, jakość samego procesu badania i raportu końcowego, moni-torowanie wdrażania rekomendacji (tzw. follow up). Za nieco mniej wpływowe uznano zaangażowanie potencjalnych odbiorców, charakterystykę odbiorców w KE i sposoby rozpowszechniania wyników (co tłumaczyć można specyfiką Komisji Europejskiej – silnie zhierarchizowanej struktury biurokratycznej).

Poszczególni autorzy eksponują różne czynniki jako kluczowe dla sukcesu wykorzystania ewaluacji. Weiss zauważa, że głównym czynnikiem wpływają-cym na ewaluację (szczególnie jej koncepcyjne użycie) jest polityka i sprzecz-ne interesy organizacji (Weiss, 1998b). Jednak jako czynnik możliwy do kon-trolowania przez ewaluatora podaje solidność i jakość metodologii badania oraz wiarygodność zebranych i analizowanych danych (Weiss, Bucuvalas, 1980a: 256). Cronbach i Shapiro (1982) akcentują zewnętrzną zasadność ba-dania (ang. external validity), czyli możliwość generalizacji wniosków i obser-wacji z danego badania w stosunku do szerszej populacji programów. Cousins i Leithwood (1986), opierając się na przeglądzie badań czynników wykorzy-stania ewaluacji, podają jako trzy kluczowe: jakość badania, kompleksowość metodologii oraz jej wyrafinowanie. Jako główne czynniki techniczne podkre-ślana jest oczywiście jakość (komunikatywność) raportu końcowego i reko-mendacji (Morriset et al., 1987; Rossi et al., 1999) oraz strategia rozpowszech-niania wyników (European Commission, 1999b).

Część autorów, szczególnie ci promujący instrumentalne wykorzystanie ewaluacji, akcentują rolę interakcji z potencjalnymi użytkownikami i umiejęt-ne prowadzenie badania w danym kontekście organizacyjnym. Czołowy autor tego nurtu, M.Q. Patton, w swojej koncepcji „ewaluacji zorientowanej na uży-cie” pisze o czynniku personalnym (zidentyfikowaniu i włączeniu kluczowych w danej organizacji osób, które zaczną się identyfikować z prowadzoną ewalu-acją) jako krytycznym dla użycia badania. Cousins określa to jako get buy in²⁷. Jako kolejne dwa czynniki Patton wymienia aktywne włączanie interesariuszy i elastyczność samego ewaluatora (zdolność do szybkiej reakcji i adaptacji) (Patton, 1997). Włączanie interesariuszy i regularne kontakty badaczy z

bada-zakładany stopień zmiany programu, postrzegana wartość danej ewaluacji jako narzędzia zarzą-dzania, jakość procesu ewaluacyjnego, kontekst decyzyjny i polityczny.

27 Weiss zauważa krytycznie, że taka strategia ma ograniczone zastosowanie w przypadku dużych interwencji, gdyż rzadko istnieje jeden ośrodek decyzyjny. Decyzje są wypadkową inte-resów, a także pewnej inercji danej organizacji biurokratycznej (Weiss, 2005: 288).

nymi i zlecającymi badanie – szczególnie na etapie planowania ewaluacji i ne-gocjacji metod oceny – podkreślają również Owen i Rogers (1999: 65) oraz Stufflebeam (2001b). Ten ostatni dodatkowo eksponuje wagę jasno wypraco-wanego kontraktu badawczego (Stufflebeam, 2000b). Wreszcie King (1998), opisując podejście partycypatywne, jako główne czynniki sukcesu podaje do-bre rozpoznanie struktury decyzyjnej (układu sił) oraz efektywną budowę za-ufania między badaczami a uczestnikami-odbiorcami ewaluacji.

W literaturze przedmiotu podejmowano próby pogrupowania miriad za-rysowanych powyżej czynników wykorzystania ewaluacji. Najnowsze, naj-bardziej obszerne podsumowanie szerokiej literatury na ten temat przedstawił Owen (2007: 113–122). Wyróżnia on dwie duże grupy czynników: charaktery-stykę środowiska (ang. characteristics of the settings) i charakterycharaktery-stykę ewalu-acji (ang. characteristics of the evaluation). Do pierwszej włącza:

• Zaangażowanie danej grupy odbiorców badania w proces ewaluacji, inten-sywność dialogu i negocjacji między zamawiającym a ewaluatorami (w za-łożeniu im więcej interakcji i mocniejszy konsensus wokół celów ewalua-cji, metod, kryteriów oceny, tym bardziej użyteczne będą rekomendacje), ich rolę w ewaluacji programu, a także determinację w zmienianiu polity-ki/programu;

• Potrzeby informacyjne i typ informacji, jakie odbiorcy danego badania po-trzebują do podejmowania decyzji i rozwiązywania problemów, tu również mieści się kwestia tzw. „konkurencyjnych informacji”, to znaczy dodatko-wych źródeł wiedzy o programie, które mogą wzmacniać wnioski z ewalu-acji lub też kolidować z nimi;

• Cechy osobowe, czyli stosunek do ewaluacji pojedynczych, kluczowych osób z danej organizacji, ich doświadczenie i siła wpływu, pozycja w da-nej instytucji, cechy przywódcze, determinacja, entuzjazm, interesy; to kry-terium powtarza postulaty Pattona o identyfikowaniu i przekonywaniu do ewaluacji osób kluczowych w danych instytucjach, gdyż one później będą promotorem rekomendacji i zmian²⁸;

• Proces decyzyjny (ang. decision-making), czyli sposób w jaki decyzje na temat programu są podejmowane, charakter decyzji i to, czego mają doty-czyć;

• Klimat polityczny odnosi się do orientacji politycznej dominującej w da-nej organizacji; gdy ewaluacja jest zbieżna z polityczną rzeczywistością, jest używana;

• Kwestie finansowe to aktualny poziom wsparcia finansowego danego pro-gramu i ewentualnych w nim zmian postulowanych ewaluacją; oczywistym jest, że rekomendowanie kosztownych zmian programowych ma małe szan-se wdrożenia.

28 Kryteria identyfikacji tych kluczowych osób to: osoby, które mogą użyć informacji z ba-dania, osoby, dla których dana informacja czyni różnicę, osoby, na których pytania ewaluacja odpowiada, osoby, które są zainteresowane i chcą dzielić odpowiedzialność za ewaluację i jej użycie. Warto nadmienić, że te kluczowe osoby niekoniecznie muszą pochodzić z departamen-tu, który zlecił ewaluację.

Do kategorii „charakterystyki ewaluacji” Owen zalicza natomiast:

• właściwą orientację badania (ang. relevance) czyli stopień, w jakim bada-nie zostało skoncentrowane na kwestiach ważnych dla odbiorców, w prak-tyce oznacza to konieczność zidentyfikowania grup odbiorców i określenia ich potrzeb, kluczowych pytań;

• wiarygodność (ang. credibility), która odnosi się do tego, na ile ewaluator jest godny zaufania – jako człowiek i ekspert; jako główne cechy wymienia się dotychczasowe doświadczenie, brak uprzedzeń, pole specjalizacji i umie-jętności zawodowe, elastyczność w kwestiach finansowych, elastyczność w doborze metod i podejść specyficznych dla danych programów. Na tych cechach ewaluator buduje swój autorytet wobec klienta i przede wszystkim zaufanie w relacjach z interesariuszami;

• jakość prowadzenia badania, szczególnie kwestie doboru metod, zbierania i analizy danych, czyli poprawność metodologiczna warsztatu

badawcze-• siłę wniosków i implikacje dla procesu decyzyjnego;go;

• komunikację – jakość i częstotliwość komunikacji podczas prowadzenia ba-dania, konieczne wyjaśnienia, wsparcie informacyjne i nagłośnienie rezul-tatów oraz rekomendacji;

• stosowny moment raportowania (ang. timeline of reporting), czyli dostarcze-nie wniosków i produktów ewaluacji w odpowiednim momencie – gdy są najbardziej potrzebne użytkownikom do podejmowania decyzji.

Owen podkreśla również, że wykorzystanie ewaluacji jest kontekstowe – to, co działa w jednym środowisku, nie musi się sprawdzać w innym. W związ-ku z tym kluczowe z perspektywy ewaluatorów dążących do maksymalizacji użycia są uważna analiza i dopasowanie danego badania do kontekstu, w któ-rym ma być użyte. I tu raz jeszcze powraca waga interaktywności i elastycz-ności.

Owen idzie też o krok dalej i formułuje, opierając się na swoim doświad-czeniu, główne reguły maksymalizacji wykorzystania ewaluacji. Według niego wykorzystanie wyników ewaluacji będzie tym bardziej prawdopodobne i więk-sze (Owen, 2007: 121–122):

• im więcej ewaluator będzie konsultował się z użytkownikami podczas fazy planowania,

• im mocniej ewaluator skoncentruje się na odpowiedzi na pytania kluczowe dla odbiorców,

• im bardziej interaktywny jest proces komunikacji,

• im mniej zróżnicowana jest grupa odbiorców raportu,

• im bliżej ewaluator współpracuje z odbiorcami podczas badania,

• im więcej pomocy ewaluator zaoferuje podczas procesu wdrażania reko-mendacji.

Autor zauważa też ironicznie, że ewaluator myślący, iż jego badanie będzie miało wyłączny wpływ na zmianę programu, zwyczajnie cierpi na urojenia.