Rodzaje wykorzystania ewaluacji

Użycie czy wykorzystanie ewaluacji (ang. evaluation utilization, evalua-tion use) odnosi się, najszerzej rzecz ujmując, do rzeczywistej roli, jaką speł-nia ewaluacja w sektorze publicznym (wypełniespeł-nia jej funkcji w praktyce). Tak szeroka definicja wymaga jednak rozpatrywania jej w przynajmniej czterech wymiarach – tego, co jest używane (ang. source of use), przez kogo, w jaki sposób i z jaką świadomością (ang. way and intention), w jakiej perspektywie czasowej. Wszystkie te cztery kwestie zostaną omówione poniżej.

W precyzowaniu definicji użycia ewaluacji kwestią pierwszą jest pytanie o to, co jest używane. Termin „użycie ewaluacji” może obejmować (Alkin, Taut, 2003: 6; Kirkhart, 2000):

• Użycie jej wniosków, rezultatów badania prezentowanych najczęściej w for-mie raportu ewaluacyjnego (ang. findings use);

• Użycie samego procesu badania – interakcji i dyskusji, które mają miejsce podczas prowadzenia badania między ewaluatorami, operatorami progra-mu, instytucjami i grupami osób zaangażowanymi w program (ang. pro-cess use).

Drugim zagadnieniem jest pytanie, kto wykorzystuje ewaluację. Można to opisać w dwóch perspektywach. Pierwszą jest skala użycia – ewaluacja może

być używana przez jednostki, grupy, i/lub całe organizacje, instytucje (Co-usins, 2003).

Drugą optyką spojrzenia na to, kto używa ewaluacji, jest stopień powiąza-nia użytkowników z ewaluandą (tzn. badanym programem). Adaptując do po-trzeb europejskich i nieco rozszerzając typologię Weiss (2005–295) można zi-dentyfikować następujących użytkowników ewaluacji:

• personel i zarządzający daną interwencją;

• interesariusze programu – aplikujący o projekty, beneficjenci, beneficjen-ci końcowi;

• szersza publika europejska – personel i zarządzający analogicznymi inter-wencjami;

• grupy interesu (ang. interest groups) – stowarzyszenia, związki, organizacje firm, klientów, regionów, gmin związane z tematyką danej interwencji;

• sieci tematyczne danej kwestii (ang. issue networks) – eksperci, osoby, in-stytucje badawcze, think tanki znające daną tematykę, śledzące jej ewolucję i zainteresowane wpływaniem na kształt danej polityki¹⁹;

• główni interesariusze danej polityki – instytucje tworzące daną politykę – zestawy interwencji, a konkretnie personel tychże instytucji – odpowiednich dyrekcji Komisji Europejskiej, krajowych ministerstw (decydenci wyższej rangi i personel przygotowujący sprawozdania);

• mass-media – dziennikarze prasowi i telewizyjni, internetowe serwisy in-formacyjne;

• szeroka opinia publiczna.

Zagadnieniem trzecim jest pytanie, „jak wykorzystywana jest ewaluacja”, czyli jakie formy mogą się kryć pod pojęciem „użycia ewaluacji”. W litera-turze przedmiotu klasycznym jest trójpodział na użycie instrumentalne, kon-cepcyjne i symboliczne (Alkin, Taut, 2003: 5; Leviton, Hughes, 1981; Mark, Henry, 2004: 36; Rich, 1977; Shulha, Cousins, 1997: 197; Weiss et al., 2005:

13–14):

• Użycie instrumentalne (ang. instrumenal use) to proste do zidentyfikowa-nia i udokumentowazidentyfikowa-nia przełożenie wyników ewaluacji na decyzje, działa-nia, sytuację odbiorców ewaluacji (np. wpływ rekomendacji z ewaluacji na podjęcie decyzji co do zmiany kierunku programu, wstrzymania lub rozsze-rzenia interwencji);

• Użycie koncepcyjne (ang. conceptual use) to wpływ ewaluacji na zmianę sposobu myślenia jej odbiorców o istocie realizowanych programów czy procesów społecznych²⁰;

• Użycie symboliczne (ang. symbolic use) to użycie ewaluacji do uzasadnie-nia de facto podjętych już decyzji; ewaluacja jest więc jedynie merytorycz-ną podkładką do decyzji powziętych w oparciu o intuicję, doświadczenie

19 W przypadku UE mogą mieć one charakter formalny – tzw. programów parasoli (umbrel-la programme) – służących wymianie doświadczeń, budowie know-how danej polityki. W przy-padku INTERREG przykładem może być Program INTERACT.

20 Używany jest czasami termin „oświecenia” (ang. enlightment) odbiorców ewaluacji czy

„uczenia się” w oparciu o ewaluację. Terminy te są jednak, jak słusznie zauważa Weiss (2005), całkowicie ze sobą zbieżne.

zawodowe decydentów, ze względów politycznych, społecznych, instytu-cjonalnych, itp.²¹

Dwa pierwsze z powyższych rodzajów użycia można odnieść do popular-nych koncepcji „single & double-loop learning” wypracowapopular-nych przez Chris Argyrisa i Donalda Schona na temat uczenia się jednostek i organizacji. Single loop learning to szybka, techniczna odpowiedź organizacji na zidentyfikowa-ny problem (odpowiadałaby więc użyciu instrumentalnemu). Doubloop le-arning to reakcja organizacji czy jednostek, która pociąga za sobą fundamen-talną zmianę w myśleniu – przede wszystkim na temat norm, głównych celów, założeń polityki, którą kieruje się dana organizacja (tak głęboka zmiana od-powiadałaby użyciu koncepcyjnemu) (Smith, 2005). Warto tu też podkreślić, za Weiss (2005) i Cronbachem (Cronbach, Associates, 1981), że użycie kon-cepcyjne jest najczęściej procesem kumulatywnym – dane badanie ewaluacyj-ne jest tylko elementem, kamykiem w lawinie zmieniającej myślenie o całym programie czy polityce²².

Niektórzy autorzy rozszerzają powyżej przedstawiony trójpodział o „uży-cie procesowe”, definiując je jako zmiany (w myśleniu lub zachowaniu) wywo-łane prowadzeniem badania ewaluacyjnego/uczestniczeniem w procesie ewa-luacji (porównaj: Balthasar, 2006; Johnson, 1998; Stern, 2005). Głównymi efektami użycia procesowego miałyby być: uczenie się, rozwijanie sieci, budo-wanie wspólnego rozumienia (programu, projektu), wzmocnienie projektu lub wzmacnianie morale (Forss et al., 2002: 33–37)²³. Jak zauważa Weiss (2005:

14), taka rozszerzona kategoryzacja miesza nieprzystające do siebie typy. Trzy tradycyjnie wyróżniane rodzaje użycia opisują efekt użycia – formę zmiany, jaka nastąpiła, podczas gdy „użycie procesowe” mówi o tym „co” (proces – interakcje) i „w jaki sposób” wywołało zmianę. Identyfikowane efekty użycia procesowego (w dużej mierze szeroko pojęty proces uczenia się) można tym-czasem włączyć w „użycie koncepcyjne” (wspólne rozumienie programu) lub

„instrumentalne” (zbudowane sieci współpracy, wzmocniony projekt).

Przy sposobie wykorzystania ewaluacji Kirkhart (2000: 11–13) zwraca również uwagę na intencjonalność procesu. Ewaluacja może być wykorzysty-wana świadomie – jej użycie może być celowe, zaplanowane i wspierane przez

21 Często podkreślany jest pejoratywny charakter tego typu użycia ewaluacji (nazywane-go również „politycznym”). Tymczasem Weiss (2005) zauważa, iż takie polityczne wykorzysta-nie ewaluacji wykorzysta-nie musi być negatywne: „wykorzysta-nie ma nic złego w użyciu ewaluacji jako dodatkowego argumentu we wspieraniu decyzji i wyborów, które już mają silne wsparcie”. Problemem może być manipulowanie danymi z ewaluacji, zniekształcanie jej wyników (kłócących się z daną de-cyzją), tak, by dać poparcie danej decyzji – dotyczy to jednak innego typu wykorzystania ewalu-acji (dyskutowanego w dalszej części tekstu).

22 Pisząc o użyciu ewaluacji w procesie politycznym Weiss podaje ciekawą, aczkolwiek nie-spójną (mieszającą szerokie funkcje z technicznymi sposobami i efektami użycia) kategoryzację użycia ewaluacji przez aktorów procesu politycznego. Badanie może być sygnałem ostrzegaw-czym (że coś nie działa), może być wskazówką w poprawianiu polityk i programów, może po-magać w przeformułowaniu interwencji lub też mobilizować do wsparcia – dać impuls do budo-wy koalicji wokół programu (Weiss, 2005: 296–297).

23 Angielskie terminy to: learning to learn, developing networks, creating shared under-standing, strengthening the project, boosting morale.

ewaluatorów (ang. intended use), lub też może być w dużej mierze przypadko-we, nieplanowane – tak przez zlecających, jak i wykonawców.

Odnosząc trzy zidentyfikowane kategorie form użycia ewaluacji do wcześ-niej wymienionych przedmiotów użycia można stwierdzić, że przedmiotem użycia instrumentalnego i symbolicznego jest najczęściej raport – wnioski z badania. Natomiast zmiany w myśleniu (użycie koncepcyjne) wywołane są procesem uczenia się zachodzącym podczas realizacji badania – w interakcjach między ewaluatorami a interesariuszami. Użycie instrumentalne jest w dużej mierze przewidywalne i możliwe do zaplanowania, przy wykorzystaniu kon-cepcyjnym zaś wpływ samego badania – cech i komentarzy nim wywołanych – jest w dużej mierze nieprzewidywalny.

Rozszerzając dyskusję nad sposobem wykorzystania ewaluacji, należy zwrócić również uwagę na możliwość braku jej użycia, błędnego użycia czy też nadużyć.

Tak więc prócz trzech wyróżnionych już form użycia (instrumentalnej, kon-cepcyjnej i symbolicznej), które szerzej można określić jako zasadne (ang.

legitimate), wyróżniany jest brak użycia (ang. non-use) oraz cały szereg błęd-nych, niewłaściwych form wykorzystania ewaluacji (ang. misuse).

Alkin ze współpracownikami (Alkin, Coyle, 1988: 336–337; Christie, Al-kin, 1999) wstępnie różnicują błędne użycie na trzy typy, odnosząc je do przed-miotu, którego dotyczy. I tak nadużyciem może być sama decyzja o podjęciu badania (a więc samo zlecenie ewaluacji), na przykład kiedy zostaje zlecona tylko w celu przyciągnięcia uwagi lub wydania pieniędzy. Po drugie, niewłaś-ciwe może być użycie procesu badawczego – gdy stosuje się go, by opóźnić podjęcie decyzji, działania, uniknąć odpowiedzialności za decyzje, przerzucić ją – choć częściowo – na aktorów zewnętrznych. Wreszcie, po trzecie, źle uży-te mogą być same rezultaty (wnioski) z badania. Do takich należy: nadmier-ne upraszczanie wniosków, przedwczesnadmier-ne prezentowanie fragmentarycznych wniosków, silne eksponowanie dowodów, które przez ewaluatorów uznane zo-stały za słabo poparte, wybiórcze prezentowanie wyników i wniosków zmie-niające wydźwięk całości badania, zmienianie sformułowań w skrótach kon-kluzji, przypisywanie badaniu wyników i znaczenia innego niż rzeczywiste, rażący brak użycia (unikanie upublicznienia raportu). Te złe użycia raportów są w zależności od intencji użytkownika określane jako błędne użycie lub ra-żące nadużycie (ang. blatant non-use, abuse).

Analizując złe użycie ewaluacji, autorzy ci wprowadzają kryterium odno-szące się do samej jakości ewaluacji – rozgraniczają między użyciem dobrej i złej (słabej, niespełniającej standardów naukowych) ewaluacji. Używanie sła-bych merytorycznie ewaluacji jest również kategoryzowane jako błędne uży-cie, może być równie, jeśli nie bardziej destruktywne niż manipulowanie do-brą ewaluacją. W takim wypadku brak użycia jest rzeczą pozytywną i określa się go jako uzasadniony (ang. justified non-use).

Najnowszą próbą syntetycznego ujęcia kwestii form użycia ewaluacji (w tym niewłaściwego użycia i nadużyć w jej wykorzystaniu) jest schemat Cousinsa (2004; Cousins, Shulha, 2006):

Schemat 1. Rodzaje użycia ewaluacji

Użycie (use)

Niewłaściwe użycie (misuse) 2. Niewłaściwe użycie (misuse)

Błędne użycie (mistaken use) Nadużycie – manipulacja (mischievous use)

1. Idealne użycie (ideal use) Instrumentalne użycie (instrumental use)Koncepcyjne użycie (conceptual use) Symboliczne użycie (symbolic use)

Zasadne użycie (legitimate use)

3. Nieuzasadniony brak użycia (unjustified non-use)

Zatajenie (abuse, supperssion)

4. Uzasadniony brak użycia (justified non-use)

Racjonalny brak użycia (rational non-use)Polityczny brak użycia (political non-use)

Brak użycia (non-use) Źródło: (Cousins, 2004: 392).

Ostatnim (obok przedmiotu, rodzaju użytkowników i ich intencji, a także form użycia) koniecznym do omówienia aspektem wykorzystania ewaluacji jest perspektywa czasowa, czyli odpowiedź na pytanie, „kiedy następuje wy-korzystanie ewaluacji”. Efekty ewaluacji mogą nastąpić bezpośrednio po jej zakończeniu i wpłynąć na badany program lub też pojawić się z czasem – od-działując na kolejne edycje danego programu, albo przyszłe inicjatywy o ana-logicznym charakterze (Alkin, 2005; Shulha, Cousins, 1997)²⁴.

Analizując perspektywę czasową, niektórzy autorzy (Owen, 2007; Stern, 2005: 7–9) stawiają użycie instrumentalne (propagowane przede wszystkim przez Michela Q. Pattona) w kontraście do użycia koncepcyjnego (badanego przez Carol H. Weiss), określając to pierwsze jako bieżące i natychmiastowe, natomiast drugiemu przypisując cechy długoterminowe. Takie podejście wyda-je się ograniczające. Jak zauważa sama Weiss (Weiss et al., 2005), instrumen-talne użycie – podjęcie decyzji – również może być przesunięte w czasie. Zaś zmiany w myśleniu o programie jego użytkowników czy szerszej grupy intere-sariuszy mogą nastąpić natychmiast, nie przekładając się na jasne decyzje.

W ostatnich latach kilku autorów zaczęło podkreślać długoterminowe, szer-sze efekty ewaluacji (Henry, 2000; Henry, Mark, 2003; Kirkhart, 2000). Zwra-cają oni uwagę na to, że obecne koncentrowanie się na „użyciu ewaluacji” jako celu samym w sobie (a więc głównym celu ewaluacji) jest niewystarczają-cą motywacją dla jej prowadzenia, pozbawia ewaluatorów właściwego punk-tu odniesienia („kompasu moralnego”) i redukuje sens ewaluacji do kwestii technicznych.

Autorzy ci postulują więc, by wąski termin „użycia ewaluacji” (ang. evalu-ation use), który definiuje się jako „zamierzone wykorzystanie przez konkret-nych użytkowników” (Patton, 1997: 20) zastąpić szerszym terminem

„oddzia-24 Kirkhart (2000: 14–17) wyróżnia trzy możliwości czasowe: natychmiastowe oddziały-wanie (ang. immediate influence), użycie na zakończenie cyklu programu (ang. end-of-cycle use) oraz wykorzystanie długoterminowe (ang. long-term influence) – wykraczające poza trwanie zba-danego programu.

ływania ewaluacji” (ang. evaluation influence). „Oddziaływanie ewaluacji”

oznacza zdolność do wpływania na osoby czy instytucje w sposób pośred-ni, obejmuje więc wieloaspektowe, kumulatywne i niezamierzone efekty ba-dań ewaluacyjnych (Kirkhart, 2000: 7). Jako cel nadrzędny prowadzenia ewa-luacji wskazywane jest nie jej użycie, ale przyczynianie się do podnoszenia społecznego dobrobytu (ang. social betterment) (Henry, 2000: 86; Henry, Jul-nes, 1998)²⁵. Przyjmując taką szeroką interpretację, studia nad wykorzystaniem ewaluacji winny się koncentrować na tym, na ile konsekwencje i rezultaty ewa-luacji w sposób przekonujący przyczyniają się (lub nie) do podnoszenia dobro-bytu społecznego (Henry, Mark, 2003: 295). Natomiast ewaluatorzy winni my-śleć w kategoriach procesów, na które ich badanie może wpływać. Powinni się zastanawiać, jak te procesy ukierunkować i wspierać, by przyczyniały się do osiągnięcia szerszego celu. Tym samym dyskusja o wykorzystaniu ewaluacji zostaje umieszczona na powrót w szerszym kontekście roli ewaluacji w sekto-rze publicznym, jej szerokich funkcji we współczesnych społeczeństwach de-mokratycznych.

Jak zauważają Alkin i Taut (2003) czy Cousins i Shula (2006), ta rozsze-rzona interpretacja wcale nie stoi w sprzeczności z dotychczasowym, węższym pojmowaniem użycia ewaluacji. Rozszerza je jedynie, wzbogacając je, integru-jąc kwestie uczenia się, użycia koncepcyjnego i długookresowej perspektywy czasowej. Odnoszenie jej do praktyki ewaluacji stwarza jednak pewne proble-my. Oddziaływanie można zaobserwować dopiero po pewnym czasie, a zale-ży ono od wielu czynników zewnętrznych. Ewaluatorzy mają więc znikomy, najczęściej jedynie pośredni wpływ na te procesy, nie mogą ich kontrolować.

Ponadto analiza tych zjawisk – użycia ewaluacji, które często jest nieuświado-mione – stwarza problemy natury operacyjnej. Stąd wskazanym jest, by ewa-luatorzy koncentrowali się na maksymalizowaniu użycia ewaluacji (a więc kwestii, na które mają wpływ), zachowując jednak świadomość szerszego kon-tekstu i mechanizmów jej oddziaływania.