Ewaluacja jako element procesu politycznego uczenia się

EWALUACJA JAKO ELEMENT PROCESU POLITYCZNEGO UCZENIA SIĘ

Wprowadzenie

Począwszy od ostatniej dekady XX wieku, można zaobserwować rosnącą ten- dencję popularyzacji praktyk ewaluacyjnych w znacznej części państw świata.

Również w Polsce w ostatniej dekadzie ewaluacja stała się czymś bardzo mod- nym. Świadczy o tym częste nadużywanie samego jej pojęcia, niejednokrotnie stosowanego w odniesieniu do czynności i kontekstów, które nie mają ewalu- acyjnego charakteru. Można wręcz stwierdzić, że obecnie polskie instytucje, szczególnie te o charakterze edukacyjnym, ewaluują niemal wszystko: od zajęć dydaktycznych po obsługę administracyjną czy dorobek naukowy swoich pra- cowników. Ewaluacji poddawane są również organizowane spotkania, konferen- cje, działalność organizacji itp., itd. Na innym poziomie są z kolei ewaluowane programy społeczne, polityki publiczne, jednym słowem: wyniki prowadzonych procesów decyzyjnych.

Obecny dyskurs wskazuje, że tendencje te będą się jedynie nasilać, zarówno pod względem ilościowym, jak i jakościowym, dlatego też coraz bardziej kuszące zdają się pytania o ich dalszy rozwój. Próby udzielenia na nie coraz to bardziej wyszukanych odpowiedzi charakteryzują szczególnie piśmiennictwo o charak- terze publicystycznym, które jednak nie jest oparte na intersubiektywnie spraw- dzonych danych empirycznych, lecz, w znacznej mierze, na subiektywnych roz- ważaniach autora.

W rozważaniach o charakterze naukowym, którymi rządzą inne, znacz- nie bardziej rygorystyczne reguły wyjaśniania i dowodzenia, satysfakcjonująca odpowiedź na temat przyszłych wydarzeń pozostaje raczej niemożliwa. Z tego też powodu przedstawione w niniejszej analizie ustalenia odnoszą się, przede wszystkim, do sytuacji obecnej. Świadomość tego ograniczenia nie oznacza jed- nak, że rozważania, jakie zostaną przedstawione poniżej, nie pozwalają na sfor- mułowanie kilku wniosków uogólniających. Szczególnie istotne zdają się kwestie

terminologiczne oraz rozpoznanie tej problematyki jako istotnego zjawiska, któ- rym winni zajmować się również politologowie.

Znaczenie pojęcia „ewaluacja”

Rozpoczynając rozważania nad znaczeniem pojęcia „ewaluacja”, należy wskazać, że etymologicznie wywodzi się ono od dwóch czasowników łacińskich:

a) evalesco, -lui, oznaczającego czynność „stawania się prężnym/silnym, na- bierania siły”,

b) evaleo, -ere oznaczającego czynność „wzmacniania się, nabierania siły, po- tężnienia, bycia zdolnym”¹.

Do polskiej leksykografi i termin ten wprowadził Michał Arct, po raz pierw- szy przedstawiając jego defi nicję w wydanym w 1928 roku Słowniku wyrazów obcych². Przyjmując, jak wskazuje treść artykułu hasłowego, francuski czasownik évaluer³ za źródło etymologiczne nowego polskiego terminu, Arct zdefi niował pojęcie ewaluacji jako czynność „osądzania, oszacowywania, wartościowania”⁴. Podejmując się, na podstawie tej propozycji defi nicyjnej, stworzenia pierwotne- go pola semantycznego funkcjonującego w języku polskim terminu „ewaluacja”, można zakreślić je wokół takich elementów, jak: (o)sąd, sądzić, sądzenie, ocena, oceniać, ocenianie, szacunek, (o)szacować, (o)szacowanie, wartość, wartościo- wać, wartościowanie, porównywać, porównanie itp.⁵

Opierając się na powyższej analizie, nietrudno jednak zauważyć brak bliższe- go podobieństwa pomiędzy wyodrębnionymi, w wyniku wskazanego powyżej zapożyczenia pośredniego, znaczeniami, jakie przypisuje się terminowi „ewa- luacja” w polszczyźnie, a konotacjami, na które pozwala etymologia łacińska.

Przegląd zawartości wydanych w drugiej połowie XX wieku słowników języka polskiego⁶, przeprowadzony pod kątem analizy hasła „ewaluacja”, wskazuje, że wyodrębnione powyżej pola semantyczne miały w dwudziestowiecznej pol-

1 K. Kumaniecki (red.), Słownik łacińsko-polski, Warszawa 1974, s. 189.

2 M. Arct (red.), Słownik wyrazów obcych, Warszawa 1928.

3 A. Rey (red.), Dictionnaire alphabetique et analogique de la langue française. Le Petit Robert, Paris 1973, s. 642 podaje następującą defi nicję czasownika évaluer: „porter un jugement sur la valeur, le prix de” (ewaluować – oceniać wartość, cenę, przekład – I.R.).

4 M. Arct (red.), op. cit., s. 73.

5 Przedstawione elementy pola semantycznego pojęcia „ewaluacja” to własne opracowanie autorki, przygotowane na podstawie: Z. Kurzowa (red.), Słownik synonimów polskich, Warszawa 1998, s. 76.

6 Przegląd opierał się na następujących słownikach języka polskiego: S. Skorupka, H. Auderska, Z. Łempicka (red.), Mały słownik języka polskiego, Warszawa 1968; W. Do- roszewski (red.), Słownik języka polskiego, Warszawa 1966 (wraz z suplementem wydanym w 1969 roku); S. Szober (red.), Słownik poprawnej polszczyzny, Warszawa 1968; W. Doroszewski (red.), Słownik poprawnej polszczyzny, Warszawa 1980; M. Szymczak (red.), Słownik języka polskiego, Warszawa 1982 (wraz z suplementem wydanym w 1993 roku); M. Bańko (red.),

szczyźnie dość silne oddziaływanie. Świadczy o tym, między innymi, zauważalna tendencja do tożsamego traktowania terminu „ewaluacja” z terminem „ocena”.

Tendencja ta była prawdopodobnie wynikiem świadomych oraz konsekwentnie stosowanych decyzji leksykografów, które – jak można założyć – wynikały z co najmniej dwóch przesłanek:

a) językowego puryzmu⁷, czyli postawy językowej, która przesądza o tym, że w sytuacji wyboru pomiędzy wyrazami bliskoznacznymi pierwszeństwo przysługuje terminom rodzimym (w tym wypadku „ocenie”) nad termi- nami obcymi (w tym wypadku „ewaluacją”),

b) braku innych niż te o wyżej przedstawionym znaczeniu oceniająco-osza- cowującym desygnatów terminu „ewaluacja”.

Zjawiska te, dla analiz politologicznych tylko pozornie nieistotne, miały duże znaczenie dla procesu kształtowania się myślenia o ewaluacji w momencie, gdy pod koniec XX wieku doszło do znaczącej zmiany w odniesieniu do zakresu pola semantycznego pojęcia „ewaluacja” w języku polskim. W latach dziewięćdzie- siątych XX wieku po raz pierwszy zaczęto się posługiwać dwoma pojęciami do oznaczenia wówczas nowych dla tego języka desygnatów terminu „ewaluacja”.

Desygnatami tymi są:

a) badanie ewaluacyjne (ang. evaluation research), b) ewaluacja programu (ang. program evaluation)⁸.

W przeciwieństwie do terminu „ewaluacja”, który pierwotnie występował w charakteryzującym się wysokim stopniem wieloznaczności oraz wartościowa- nia języku potocznym, pojęcia „badanie ewaluacyjne” oraz „ewaluacja progra- mu” zostały skonstruowane na gruncie języka nauki. A dokładniej, terminy te stworzono w języku nauk społecznych, który choć nigdy nie jest wolny od wielo- znaczności i wartościowania, to, poprzez narzucany na badaczy rygor precyzji⁹, pozwala na tworzenie pojęć w znacznie mniejszym stopniu obciążonych kono- tacjami negatywnymi niż język potoczny. Można więc stwierdzić, że desygnaty

„badanie ewaluacyjne” oraz „ewaluacja programu” jako pojęcia z zakresu nauk społecznych, a zatem również w nieunikniony sposób wieloznaczne, charaktery- zuje jednak wyższy stopień precyzji i dookreślenia niż posiadający szerokie pole semantyczne potoczny termin „ewaluacja”.

Historycznie ujmując, pojęcia „badanie ewaluacyjne” oraz „ewaluacja pro- gramu”, które – jak zaznaczono – funkcjonują w polszczyźnie dopiero od koń-

Inny słownik języka polskiego, Warszawa 2000; S. Skorupka, H. Auderska, Z. Łempicka (red.), Mały słownik języka polskiego, Warszawa 2000.

7 A. Markowski, Kultura języka polskiego. Teoria. Zagadnienia leksykalne, Warszawa 2005, s. 126–132.

8 W literaturze przedmiotu, zarówno w języku polskim, jak i języku angielskim, można odnotować tendencję do wymiennego używania terminów „badanie ewaluacyjne”, „ewaluacja programu”, „ewaluacja”. Badacze postulujący ich rozróżnianie to przede wszystkim: D. Corday, M. Lipsey, Evaluative Studies. A Review Annual, Beverley Hills, CA 1986.

9 J. Buttloph Johnson, H. Reynolds, J. Mycoff , Metody badawcze w naukach politycznych, przeł. A. Kloskowska-Dudzińska, Warszawa 2010, s. 95.

ca XX wieku, zostały wprowadzone do nauki 70 lat wcześniej, to jest po koniec drugiej dekady XX wieku. Dokonali tego amerykańscy badacze zjawisk społecz- nych. Pierwsze zastosowanie obu tych terminów – używanych niejednokrotnie wymiennie – miało na celu oddanie podejmowanych wówczas (przede wszyst- kim w Stanach Zjednoczonych) prób wykorzystania metod badań naukowych do oceny (ewaluacji) jakości (skuteczności¹⁰) reform społeczno-ekonomicznych wprowadzanych przez struktury biurokratyczne państwa amerykańskiego.

Przegląd literatury przedmiotu pozwala również stwierdzić, że konsekwencją rozpoczętych w Stanach Zjednoczonych w latach 20. i 30. XX wieku systematycz- nych wysiłków badawczych, których celem miało być ustalenie zakresu oddzia- ływania reform społeczno-gospodarczych, wdrażanych wówczas przez aparat administracji prezydenta Franklina D. Roosevelta, było opracowanie, na gruncie nauki, teoretycznych i metodologicznych podstaw badań ewaluacyjnych¹¹. Towa- rzyszące od początku tym działaniom dyskusje oraz rozważania metodologiczne, jakich podejmowali się przedstawiciele kręgów amerykańskich środowisk aka- demickich, doprowadziły, na gruncie nauki amerykańskiej, do przekształcenia terminu „ewaluacja” z n i e w y r a ź n e g o pojęcia potocznego w w y r a ź n e¹² po- jęcie naukowe.

Przekształcenie to zainicjował socjolog Edward A. Suchman. W roku 1967 badacz ten rozróżnił potoczne rozumienie pojęcia „ewaluacja”, które utożsa- miał z czynnością „(o)sądu” (ang. judgement), od naukowego terminu „badanie ewaluacyjne” (ang. evaluative¹³ research), które – jak dowodził – odnosi się do

„(o)sądu zakorzenionego w metodzie naukowej” (ang. judgement grounded in scientifi c method)¹⁴. Zainicjowaną przez Suchmana próbę nadania ładu pojęcio- wego terminologii związanej z „ewaluacją” amerykańscy badacze kontynuowali w następnych dekadach, zarówno na gruncie nauki, jak i w ramach podejmowa-

10 Bardziej poprawnym zwrotem wydaje się „ocena jakości”, niemniej jednak wyrażenie

„ocena skuteczności” jest częściej spotykane w literaturze przedmiotu.

11 M.Q. Patton, Utilization-Focused Evaluation. Th e New Century Text, wyd. III, Th ousand Oaks–London–New Dehli 1997, s. 10; P. Rossi, H. Freeman, S. Rosenbaum, Evaluation.

A Systematic Approach, wyd. II, Beverly Hills 1982, s. 22.

12 Por. rozważania K. Ajdukiewicza: „Nauka przejmuje często pojęcia n i e w y r a ź n e i przekształca je na pojęcia w y r a ź n e. Przekształcenia tego dokonuje w ten sposób, że na drodze do dokładnego badania desygnatów niewyraźnego, potocznego pojęcia »róży«

dochodzi do wykrycia zespołu cech wspólnych wszystkim różom, czyli do wykrycia charakterystycznego zespołu cech dla zakresu pojęcia »róża«. Następnie czyni nauka ów wykryty przez się charakterystyczny zespół cech pojęcia »róża« (czyni to za pomocą defi nicji), dzięki czemu pojęcie to staje się pojęciem wyraźnym”, K. Ajdukiewicz, Zarys logiki, Warszawa 1960, s. 28.

13 W przeciwieństwie do przyjętego w języku angielskim rzeczownika evaluation w roli przydawki (atrybutu) określającej termin research E. Suchman proponuje stosowanie przymiotnika evaluative jako dodatkowe rozróżnianie opartych na metodzie naukowej badań ewaluacyjnych od procedur ewaluacji, za: M. Alkin (red.), Evaluation Roots. Tracing Th eorits’

Views and Infl uences, Th ousand Oaks, CA 2004, s. 21.

14 Ibidem.

nych działań wspomagających prace organów administracji publicznej. W tym miejscu warto zauważyć, że cechą odróżniającą funkcjonowanie administracji publicznej w Stanach Zjednoczonych od administracji publicznych w państwach europejskich jest wysoki poziom zatrudniania w jej strukturach przedstawicieli nauk społecznych. Okres szczególnej intensyfi kacji tych wysiłków przypadł na pierwsze dwie dekady po II wojnie światowej. Wówczas na szeroką skalę zaczęto w Stanach Zjednoczonych prowadzić badania ewaluacyjne wobec wdrażanego przez kolejne rządy federalne cyklu reform społecznych, potocznie określanych mianem programu „walki z biedą” (ang. War on Poverty) oraz budowy „wielkiego społeczeństwa” (ang. Great Society)¹⁵.W prowadzeniu tych badań aktywny udział wzięli przedstawiciele większości dyscyplin nauk społecznych: socjologowie, ekonomiści, politologowie, przedstawiciele nauk pedagogicznych, nauk o zdro- wiu publicznym, nauki o polityce społecznej.

Na podstawie tych dwóch faktów można stwierdzić, że w języku angielskim proces doprecyzowywania i dookreślania terminu „ewaluacja”, w odniesieniu do desygnatów „badanie ewaluacyjne” oraz „ewaluacja programu”, zachodził zarów- no w nauce, gdzie próby defi nicyjne służą przede wszystkim celom poznawczym oraz interkomunikatywności twierdzeń, jak i w praktyce politycznej, w organach administracji publicznej i instytucjach politycznych, gdzie defi nicje operacyjne tworzy się na potrzeby konkretnych działań, lecz gdzie obecność przedstawicieli nauk społecznych przyczyniła się również do charakteryzującego język angielski wysokiego stopnia doprecyzowania tych dwóch terminów.

Należy również zauważyć, że w Stanach Zjednoczonych od końca lat 50. do początku lat 70. XX wieku, to jest w okresie największej fascynacji ustalenia- mi gwałtownie wówczas rozwijanego nurtu behawioralnego oraz obietnicami związanymi z rozwojem cybernetyki społecznej¹⁶, termin „ewaluacja” został włą- czony do toczącej się wówczas na forum publicznym niezwykle spolaryzowanej debaty, którą zainicjowały kręgi konserwatywnej opozycji politycznej, kwestio- nując zasadność reform wprowadzanych przez kolejne, związane z Partią Demo- kratyczną, rządy federalne¹⁷. W czasie tej debaty związani z Partią Republikańską przedstawiciele opozycji politycznej zaczęli się posługiwać terminem „ewalua- cja” w nowym, jak dotąd słabo w języku angielskim rozpoznanym znaczeniu.

Ewaluacja miała, w przedstawianych przez nich postulatach, stać się metodą kontroli i nadzoru nad pracami (szczególnie tymi, z którymi wiązały się znaczą- ce wydatki na cele społeczne) rządu, a nie formą dociekania, analizy czy badania wykorzystującego metodę naukową.

Na podstawie przedstawionych powyżej rozważań dotyczących funkcjono- wania odmiennych znaczeń terminu „ewaluacja”, jakie wyodrębniły się w języku angielskim, można, korzystając z narzędzia analizy pragmatycznej, przy jedno- czesnym przyjęciu pewnego analitycznego uproszczenia, stwierdzić, na co po- zwala przykład języka angielskiego, że użycie terminu „ewaluacja” w odniesieniu

15 M.Q. Patton, op. cit., s. 10.

16 Por. N. Wiener, Cybernetyka i społeczeństwo, przeł. O. Wojtasiewicz, Warszawa 1961.

17 M.Q. Patton, op. cit., s. 12.

do zjawisk politycznych opiera się na dwóch, dających się dość łatwo wyodręb- nić, typach przesłanek:

a) negatywnych, b) pozytywnych.

Przesłanki negatywne, jak można wnioskować na podstawie analizy stosowa- nia pojęcia „ewaluacja” w dyskursie politycznym, tłumaczą wspomniane powy- żej utożsamianie tego terminu z procedurami nadzoru i kontroli. Są one również wytłumaczeniem jego wąskiego – jednowymiarowego – rozumienia w odnie- sieniu do złożonych zjawisk o charakterze politycznym¹⁸. Odmienny rezultat przynosi przyjęcie drugiego, opartego na przesłankach pozytywnych, rozumie- nia terminu „ewaluacja”. Nie tylko umożliwia ono konstruowanie, na poziomie rozważań teoretycznych, takich kategorii analitycznych, jak zaproponowany przez Micheala Quinn Pattona termin „myślenie ewaluacyjne” (ang. evaluative thinking)¹⁹ czy coraz częściej stosowany termin „kultura ewaluacyjna” (ang. eva- luation culture), lecz również zdaje się ono bardziej trafnie oddawać rzeczywiste znaczenie terminu „ewaluacja”, które odnosi się do pewnego elementu złożonej sfery działalności człowieka, jakim są ukierunkowane na przyszłość działania o charakterze politycznym²⁰.

Odnotowywany w Stanach Zjednoczonych od połowy XX wieku rozwój teorii i praktyki ewaluacji miał decydujący wpływ na poziom zaawansowania rozważań nad ewaluacją w innych państwach i obszarach kulturowych. Tezę tę potwierdzają, obok licznych rozważań teoretycznych, wyniki badań empirycz- nych ujęte w wydanym w 2002 roku komparatywnym studium kultur ewalua- cyjnych zatytułowanym International Atlas of Evaluation (Międzynarodowy atlas ewaluacji)²¹.

Jego autorzy, Jan-Eric Furubo, Ray C. Rist oraz Rolf Sandahl, proponują na podstawie kryterium, jakim jest zoperacjonalizowane pojęcie „dojrzałej kultu- ry ewaluacyjnej” (ang. mature evaluation culture)²², wyodrębnienie dwóch grup państw:

18 Zob. T. Kierzkowski, Ocena (ewaluacja) programów i projektów o charakterze społeczno- -gospodarczym w kontekście przystąpienia Polski do Unii Europejskiej, Warszawa 2002, s. 10;

M. Szałaj, Mechanizmy doboru kryteriów oceny w ewaluacji ex-post, [w:] A. Haber (red.), Ewaluacja ex-post. Teoria i praktyka badawcza, Warszawa 2007, s. 59.

19 L. Waldick, In Conversation: Michael Quinn Patton, http://www.idrc.ca/EN/Resources/

Publications/Pages/ArticleDetails.aspx?PublicationID=771 (11.11.2011).

20 Poprzez termin „działanie polityczne” autorka rozumie: „podejmowanie i realizacje de- cyzji politycznych przez zorganizowane podmioty, wynikiem których jest powstawanie określonych faktów politycznych i kształtowanie określonych procesów politycznych”, cyt. za:

M. Chmaj, J. Marszałek-Kawka, W. Sokoł, Encyklopedia wiedzy politycznej, Toruń 2005, s. 62.

21 J.E. Furubo, R. Rist, R. Sandahl, International Atlas of Evaluation, New Brunswick 2002.

22 J.E. Furubo, R. Rist i R. Sandahl defi niują pojęcie „dojrzałej kultury ewaluacyjnej” na podstawie następującej hipotezy badawczej: „im więcej występuje [w danym państwie – przyp.

I.R.]) możliwości formułowania pytań ewaluacyjnych, na podstawie wykorzystania różnych perspektyw i punktów wyjścia, które – z kolei – odzwierciedlają interesy różnych grup społecznych, i im więcej występuje konfrontacji pomiędzy różnymi akademickimi i innymi

a) pionierów (ang. pioneers) – czyli państw, które charakteryzuje bliski sto- pień więzi z rozwijanymi w Stanach Zjednoczonych naukami społeczny- mi (szczególnie socjologią²³) oraz na których terytorium zaczęto w latach 60. i 70. XX wieku stosować praktyki ewaluacyjne (w formie badań ewa- luacyjnych czy ewaluacji programów),

b) państw spóźnionych (ang. latecomers) – a więc państw, na których teryto- rium badania ewaluacyjne oraz ewaluacje programów zaczęto prowadzić w ostatniej dekadzie XX wieku, czyli mniej więcej 30 lat po tym, kiedy praktykę tę zainicjowały państwa-pionierzy²⁴. Kraje te również charakte- ryzuje stosunkowo niski stopień więzi z rozwijanymi w Stanach Zjedno- czonych naukami społecznymi²⁵.

Ze względu na niereprezentatywny charakter próby (przedstawione w Atlasie dane pochodzą z raportów krajowych opracowanych jedynie dla 22 państw świa- ta, wśród których nie ma żadnego z regionu Europy Środkowej lub Wschodniej) wnioski uogólniające oparte na przedstawionych przez zespół Furubo, Rista oraz Sandahla danych należy wysuwać z należytą ostrożnością. Nie oznacza to jednak, że ustalenia zespołu badawczego nie zasługują na refl eksję czy też dalszą wery- fi kację.

W Polsce podjął się jej w 2009 roku badacz nauk społecznych Karol Olej- niczak, dokonując, na podstawie wyodrębnionych w Atlasie wskaźników em- pirycznych²⁶, pomiaru poziomu dojrzałości kultury ewaluacyjnej w Polsce. Na podstawie uzyskanego wyniku Olejniczak zaliczył Polskę do grupy państw spóź- nionych²⁷.

Państwo spóźnione, jak można wnioskować na podstawie przyjętej przez au- torów Atlasu defi nicji „dojrzałej kultury ewaluacyjnej”, charakteryzuje stosun- kowo niewielki dorobek teoretyczny oraz niewysoki stopień pluralizmu podejść ewaluacyjnych (ang. evaluation approaches). W praktyce oznacza to ograniczone uwzględnianie odmiennych perspektyw teoretycznych w procesie tworzenia py- tań ewaluacyjnych²⁸.

stanowiskami, tym bardziej można mówić o występowaniu [w danym państwie – przyp. I.R.]

dojrzałej kultury ewaluacyjnej”. Zob. Ibidem, s. 7.

23 Ibidem, s. 14.

24 Ibidem, s. 11–18.

25 Ibidem.

26 Ibidem.

27 K. Olejniczak, Metody ewaluacji efektów programów rozwoju regionalnego – studium porównawcze, Raport EUROREG 2/2009, Warszawa 2009, s. 19.

28 „Pytania ewaluacyjne” to pojęcie przyjęte przez teoretyków i praktyków ewaluacji w od- niesieniu do: „pytań, na które muszą odpowiedzieć osoby dokonujące ewaluacji. Są to pytania zwykle zadawane przez osobę zlecającą ewaluację w imieniu głównych zaangażowanych osób, takich jak: zarządzający programem, osoby odpowiedzialne za politykę, parlamentarzyści lub obywatele. Pytania w ewaluacji mają trzy wymiary: opisowy (co się wydarzyło?), przyczynowy (jak dalece to, co się wydarzyło, jest w rzeczywistości efektem interwencji?) i normatywny (czy efekt jest satysfakcjonujący?). Ewaluacja zawiera zwykle kilka pytań kluczowych. Czasami, je- śli nie są one jasno zadane lub jeśli niejasna jest logika programu oraz jeśli należy wyjaśnić

Państwa spóźnione, co potwierdza przykład Polski, charakteryzuje również zauważalny chaos terminologiczny. Jego rozwiązanie, jak wskazują doświad- czenia wielu państw, może być procesem wolniejszym od samego procesu upo- wszechniania teorii i praktyk badań ewaluacyjnych oraz ewaluacji programów.

W Polsce, jak wskazują liczne źródła oraz analiza treści aktów normatywnych, a szczególnie tłumaczonej dokumentacji Unii Europejskiej, nadal niezwykle trudnym zadaniem pozostaje wyeliminowanie negatywnych konsekwencji błędu translatorskiego popełnionego jeszcze w połowie lat 90. XX wieku w kontekście dokonanego wówczas przekładu dokumentacji programu grantowego Banku Światowego fi nansującego program rozwoju praktyk ewaluacyjnych²⁹.

Błąd ten polegał na przyjęciu polskiego odpowiednika „ocena” w odniesie- niu do angielskiego terminu „ewaluacja”, który – jak wskazuje dokumentacja programu – odnosił się przede wszystkim do znaczeń: „badanie ewaluacyjne”

i „ewaluacja programu”, a zatem tych, w których element „oceny” nie zawsze musi być najważniejszy. Powodem błędu było – najprawdopodobniej – odwo- łanie się przez tłumacza do wspomnianych powyżej defi nicji słownikowych su- gerujących tożsame traktowanie terminów „ewaluacja” oraz „ocena”. Przyczyną jego powielania do dzisiaj jest praktyka translatorska, która zaleca konsekwentne stosowanie terminów raz przyjętych w ofi cjalnych przekładach dokumentów.

Negatywnymi konsekwencjami tej decyzji były powszechne do końca XX wieku oraz kontynuowane w pierwszej dekadzie XXI wieku błędne posługi- wanie się terminem „ocena” w odniesieniu do czynności o charakterze ewalua- cyjnym (np. badań ewaluacyjnych oraz ewaluacji programów) oraz przyjęcie tej niepoprawnej z metodologicznego punktu widzenia propozycji translatorskiej we wszystkich przekładach aktów normatywnych Unii Europejskiej oraz znacz- nej części dokumentacji związanej z otrzymywaną przez Polskę przed- i poakce- syjną pomocą rozwojową.

W Polsce od połowy lat 90. XX wieku, równolegle do zakorzeniania się błęd- nego odpowiednika terminu „ewaluacja”, można również zauważyć tendencję odwrotną. Dzięki pracom wielu środowisk (przedstawicieli ośrodków akademic- kich, jak również działającego od 2000 roku Polskiego Towarzystwa Ewaluacyj- nego³⁰ oraz niezależnych konsultantów zajmujących się prowadzeniem badań ewaluacyjnych i ewaluacji programów, a także pracowników administracji pub- licznej i organizacji pozarządowych) problematyka „ewaluacji” stała się przed- miotem rosnącej liczby publikacji oraz częstym tematem organizowanych kon- ferencji i warsztatów metodologicznych³¹. Do dzisiaj szerokie zainteresowanie wzbudzają prace na rzecz profesjonalizacji badań ewaluacyjnych oraz ewaluacji

potrzeby, pytania w ewaluacji są powtórzone w raporcie początkowym dla pewności, że zo- stały właściwie ukierunkowane. Za: Słownik ewaluacji http://www.ewaluacja.gov.pl/slownik/

Strony/slownik_pytanie_ewaluacyjne.aspx (20.03.2012).

29 K. Olejniczak, M. Ferry, Ewaluacja w praktyce sektora publicznego, [w:] B. Pietras-Goc (red.), Ewaluacja jako standard zarządzania w sektorze publicznym, Kraków 2008, s. 11.

30 http://www.pte.org.pl.

31 K. Olejniczak, M. Ferry, op. cit., s. 11.

programów, do których rozwoju najbardziej przyczynia się Polskie Towarzystwo Ewaluacyjne. Wśród nich wymienić również należy opracowanie w 2008 roku broszury upowszechniającej standardy ewaluacji³².

Coraz głębszego zakorzeniania się w języku polskim terminu „ewaluacja” do- wodzą podejmowane w ostatnich latach zmiany sektorowe wprowadzające nowe jednostki administracyjne, którym ustawowo nadano funkcję „ewaluacyjną”.

Przykładem takiej jednostki jest Komitet Ewaluacji Jednostek Naukowych po- wołany mocą art. 36 Ustawy o zasadach fi nansowania nauki z dnia 30 kwietnia 2010 roku³³.

Niemniej jednak rosnąca w ostatnich kilku latach liczba tego typu jednostek, szczególnie w obrębie instytucji o charakterze oświatowym, zdaje się jednak bar- dziej odzwierciedleniem wpływu dominujących współcześnie kierunków roz- woju europejskiego szkolnictwa niż instytucjonalną odpowiedzią na wewnętrz- ne zapotrzebowanie rozwoju instytucji oświatowych, czy też wyrażaną przez te instytucje chęcią doskonalenia własnych systemów. Tezy tej dowodzi chociaż- by niewystarczający poziom przygotowania znacznej liczby polskich instytucji akademickich do wdrażania opartych na przesłankach pozytywnych, czyli pod- kreślających aspekt „uczenia się”, „wzmacniania”, procedur ewaluacyjnych oraz tworzenia zalążków kultury ewaluacyjnej³⁴, choć najprawdopodobniej również nie bez znaczenia jest czynnik określany mianem profi lu kulturowego społeczeń- stwa. W przypadku społeczeństwa polskiego profi l ten cechuje – na co wskazują liczne badania – niski poziom zaufania społecznego³⁵.

Przedstawione powyżej czynniki o charakterze społeczno-kulturowym, które – można założyć – również warunkują znaczenie pojęcia „ewaluacja” w języku polskim i angielskim, wskazują, że w obu językach termin ten jest przykładem polisemii, czyli słowa niedookreślonego, posiadającego wiele znaczeń, które są wyrażane poprzez kilka desygnatów (badanie ewaluacyjne, ewaluacja programu itd.), lecz które można sprowadzić do wspólnego źródła³⁶. Ustalając źródło słowa

32 Standardy ewaluacji stanowią zbiór reguł oraz wytycznych wypracowanych przez środowiska ewaluatorów. Jako pierwsze standardy ewaluacji wypracowało środowisko ewaluatorów amerykańskich. Wśród najbardziej zasłużonych badaczy w opracowywaniu pierwszych standardów ewaluacji wymienia się Davida Stauffl ebeama, jednego z czołowych amerykańskich teoretyków ewaluacji. W 1981 roku amerykańska Komisja Wspólna ds. Standardów w Ewaluacji Edukacji (ang. Joint Committee on Standards for Educational Evaluation) opublikowała broszurę pt. Standards for Evaluation of Educational Programs Projects and Materials. Na przełomie ostatniej dekady XX w. i pierwszej dekady XXI w. rodzime standardy ewaluacji opracowały stowarzyszenia ewaluatorów kilku państw europejskich, w tym: Włoch (w 1997 r.), Szwajcarii (w 2001 r.), Niemiec (w 2001 r.), Francji (w 2003 r.), Wielkiej Brytanii (w 2003 r.).

33 Dziennik Ustaw, Nr 96, pozycja 620 ze zmianami, http://g.ekspert.infor.pl/p/_dane/

akty_pdf/DZU/2010/96/620.pdf#zoom=90 (17.10.2011).

34 W. Przybylski, S. Rudnicki, A. Szwed (red.), Ewaluacja jakości dydaktyki w szkolnictwie wyższym. Metody, narzędzia, dobre praktyki, Kraków 2010, s. 7.

35 Por. Centrum Badania Opinii Publicznej (CBOS), Zaufanie społeczne, Warszawa 2010, s. 13.

36 D. Crystal, Th e Cambridge Encyclopaedia of Language, Cambridge 1992, s. 106.

„ewaluacja”, można się pokusić o stwierdzenie, że są nim bardziej łacińskie sło- wa „siła” i „wzmacnianie” niż „ocena”, jak sugerowałaby to etymologia francuska (wtórna) – „oszacowanie”, „ocena”. Podstawą takiego wniosku jest nie tylko ana- liza lingwistyczna, lecz również założenia teoretyczno-metodologiczne badań ewaluacyjnych. Odnotowany obecnie pluralizm metodologiczny tej procedury badawczej wskazuje, że postrzeganie jej jedynie w kategoriach oceny jest zbyt wąskie i nie do końca oddaje jej pierwotne założenia.

Ewaluacja jako forma badania

Hipoteza sformułowana przez amerykańskich teoretyków ewaluacji, Furuba, Ri- sta oraz Sandahla, we wspomnianym wcześniej komparatywnym studium kultur ewaluacyjnych International Atlas of Evaluation, stanowi, że poziom dojrzałości kultury ewaluacyjnej danego państwa zależy od stopnia zaawansowania prowa- dzonych w jego obrębie teoretyczno-metodologicznych rozważań nad ewaluacją (ang. evaluation studies)³⁷. Poziom tych rozważań – czego również próbują do- wieść autorzy Atlasu – w pewnej mierze zależy również od stopnia wpływu, jaki, od drugiej połowy XX wieku, na rozwój nauk społecznych w danym państwie miały tworzone oraz rozwijane w Stanach Zjednoczonych teorie naukowe z za- kresu nauk społecznych (szczególnie socjologii) oraz przyjęte w amerykańskim systemie politycznym doktryny i modele zarządzania administracją publiczną³⁸.

Hipoteza ta pozwala przyjąć, że racjonalnym punktem odniesienia w refl eksji metodologicznej nad ewaluacją jest bogaty dorobek teoretyczno-metodologicz- ny wypracowany i rozwijany od pierwszej połowy XX wieku przez badaczy ame- rykańskich. Przyjęcie takiego stanowiska wymaga jednak pewnej ostrożności ba- dawczej wobec opisu i wyjaśnień rzeczywistości społecznej, które nawet jeśli są tworzone za pomocą teorii naukowych, to zawsze pozostają czasoprzestrzennie uwarunkowane, tak samo jak czasoprzestrzennie uwarunkowana jest rzeczywi- stość społeczna, dla której opisu i wyjaśnienia teorie te zostały stworzone przez badaczy.

Stwierdzenie to prowadzi do drugiego założenia, również przyjętego przez zespół badawczy Furubo, Rista oraz Sandahla, a które stanowi, że z początkiem XXI wieku rozwój badań ewaluacyjnych oraz ewaluacji programu charakteryzu- ją zupełnie odmienne uwarunkowania zewnętrzne (konteksty) niż te, które przy- pisać można pierwszym dekadom ich stosowania w Stanach Zjednoczonych³⁹. Składają się na nie również zmiany w zjawiskach politycznych. Ich szczególne nasilenie politologowie odnotowują od końca XX wieku. Wśród zmian tych wy- mienić można również takie makroprocesy, jak obserwowane od końca lat 70.

37 J.E. Furubo, R. Rist, R. Sandahl, op. cit., s. 7.

38 Ibidem, s. 14.

39 Ibidem, s. 4–5.

XX wieku w wielu państwach Europy Zachodniej słabnięcie modelu państwa opiekuńczego (ang. welfare state) oraz towarzyszące mu nowe wizje zarządzania administracją publiczną, czy też gwałtowny postęp technologiczny i związany z nim zwiększony, a w większości państw wręcz masowy dostęp do informacji i środków jej przekazu. Nie bez znaczenia są tu również coraz silniej odnoto- wywane skutki intensyfi kacji procesów globalizacyjnych oraz zwiększonego zaangażowania podmiotów ponadnarodowych, takich jak Unia Europejska, Organizacja Współpracy Gospodarczej i Rozwoju (OECD) czy Bank Światowy, w procesy standaryzacji praktyk funkcjonowania administracji publicznych, w tym również w rozpowszechnianie praktyk ewaluacyjnych zarówno na po- ziomie struktur i jednostek aparatów administracyjnych poszczególnych państw narodowych, jak i bloków państw czy instytucji międzyrządowych (organizacji międzynarodowych).

Z przyjęciem przedstawionych powyżej założeń badawczych w nieuniknio- ny sposób wiążą się pewne konsekwencje natury metodologicznej. Po pierwsze, nie ulega wątpliwości, że wysoki stopień skomplikowania, jaki – jak przyjmują współcześni badacze zjawisk politycznych – charakteryzuje obecny etap rozwoju polityki⁴⁰, oznacza, że przedmioty dociekań w prowadzonych obecnie badaniach ewaluacyjnych oraz ewaluacjach programów są uwarunkowane wieloma czynni- kami oraz zbudowane wielopoziomowo⁴¹. Po drugie, wysoki stopień złożoności przedmiotu badania, evaluandum⁴², na który obok zachowań i wytworów pod- dawanych ewaluacji podmiotów składają się również ich stany świadomościowe, emocjonalne oraz orientacje aksjologiczne, wymaga od badaczy pluralistycznych wysiłków. W ich wyniku tworzone są różnorodne koncepcje i strategie docieka- nia, co z kolei tłumaczy gwałtowny rozwój odmiennych sposobów prowadzenia ewaluacji.

Po trzecie, traktując badania ewaluacyjne jako formę badań stosowanych, w których można również dostrzec pewne aspekty badania naukowego (np. wy- korzystanie przyjętych w naukach społecznych metod i technik pomiaru), należy wskazać, że za odmiennymi podejściami ewaluacyjnymi stoją, choć nie zawsze bezpośrednio wyrażone, koncepcje nauki oraz związane z nimi metodologie sensu largo⁴³. Wpływ tych koncepcji i opartych na nich naukowych makrote- orii można również dostrzec w ewaluacjach programu, a zatem – w działaniach o charakterze ewaluacyjnym, które nie są jedynie formą procedury badawczej, lecz również działaniem o charakterze politycznym (elementem procesu poli- tycznego).

Z tego powodu metodologiczna analiza czynności określanych mianem

„ewaluacji” wymaga odwoływania się do czołowych stanowisk ontologicznych

40 T. Klementewicz, Rozumienie polityki. Zarys metodologii nauki o polityce, Warszawa 2010, s. 14.

41 J.E. Furubo, R. Rist, R. Sandahl, op. cit., s. 13.

42 W literaturze przedmiotu przedmiot badania ewaluacyjnego (ewaluacji programu) określa się zazwyczaj mianem evaluandum.

43 B. Krauz-Mozer, Teorie polityki. Założenia metodologiczne, Warszawa 2007, s. 12.

oraz perspektyw epistemologicznych, składających się na fi lozofi czne podstawy podejść ewaluacyjnych. Wynikające z nich założenia – choć nie zawsze przez badaczy uświadomione – są często pochodną podobnych sporów, z którymi od dłuższego już czasu borykają się przedstawiciele nauk społecznych. Spory te do- tyczą tak fundamentalnych pytań, jak te o naturę zjawiska określanego mianem rzeczywistości społecznej oraz wynikające z nich implikacje epistemologiczne, prowokujące badaczy do odpowiedzi, czym dla nich – podmiotów badających – jest poznanie i jaka jest wartość wiedzy wytworzonej dzięki ich działalności badawczej, a następnie pożytkowanej przez szersze grono odbiorców.

W Polsce, pomimo prawie już 15 lat wprowadzania procedur ewaluacyjnych,

„ewaluacja” jest nadal traktowana jako zjawisko stosunkowo nowe, a – czego empirycznie dowodzi Olejniczak – stan zaawansowania polskich studiów i prak- tyk ewaluacyjnych nadal wskazuje na pozycję państwa „spóźnionego”. Z tego też powodu i na podstawie obserwacji kierunków rozwoju polityki w stronę coraz większej racjonalizacji działań aparatu państwowego wiedza na powyżej wyod- rębnione tematy staje się coraz bardziej potrzebna.

Jest ona niezbędna polskim politykom (decydentom politycznym), którym przyjdzie korzystać z wyników badań ewaluacyjnych w procesie podejmowania decyzji o charakterze politycznym, a biorąc pod uwagę współczesne tendencje i kierunki rozwoju zarządzania sprawami publicznymi oraz model prowadzenia polityk publicznych propagowany przez instytucje Unii Europejskiej, wydaje się wielce prawdopodobne, że liczba takich sytuacji będzie się jedynie zwiększać.

Wspomniana wiedza jest również niezbędna badaczom z obszaru nauk społecz- nych (w tym również politologom), którym znajomość różnych oraz niejedno- krotnie wysoce złożonych sposobów prowadzenia ewaluacji pozwala dokładniej wychwycić tę niezwykle subtelną różnicę, jaka dzieli czynność „ewaluacji” od czynności „oceny”, „kontroli”, czy „nadzoru”.

Świadomość istnienia różnicy semantycznej pomiędzy terminami „ewalua- cja” oraz „ocena”, a także charakteryzujący obecny etap studiów ewaluacyjnych wysoki poziom pluralizmu podejść i odnotowywany w związku z nim eklektyzm metodologiczny pozwalają na lepsze zrozumienie działań o charakterze ewalua- cyjnym, których coraz częściej podejmują się nie tylko aparaty państwowe, lecz również rosnące liczby instytucji pozarządowych.

Polityczny wymiar ewaluacji

Śledząc rozwój światowego dyskursu na temat ewaluacji, można stwierdzić, że w ostatnim ćwierćwieczu nastąpił silny wzrost zainteresowań badawczych ukie- runkowanych na tzw. wymiar polityczny ewaluacji⁴⁴. Innymi słowy, coraz silniej

44 Por. tematykę następujących konferencji organizowanych przez Amerykańskie Stowa- rzyszenie Ewaluacyjne (American Evaluation Association): 1988 – Evaluation and Politics,

rozwija się nurt rozważań podejmowanych przede wszystkim przez amerykań- skie oraz europejskie środowiska ewaluatorów, których celem jest opis i wyjaś- nianie współzależności (relacji) występujących pomiędzy ewaluacją a polityką.

Związani z nim badacze zakładają, że uwarunkowania zewnętrzne (kontekst) mają silny wpływ na zakres wykorzystania wyników badań ewaluacyjnych w procesach tworzenia oraz podejmowania decyzji o charakterze politycznym⁴⁵.

Bez wątpienia jedną z pierwszych inspiracji dla wyodrębnienia się tego nurtu rozważań nad ewaluacją były badania podjęte w latach 70. ubiegłego wieku przez zespół badawczy kierowany przez Carol Weiss. Ich wyniki Weiss przedstawiła w opublikowanym w 1973 roku artykule Where Politics and Evaluation Research Meet⁴⁶, w którym między innymi argumentowała, że ewaluacja, będąc zawsze formą działania racjonalnego (ang. rational enterprise), ma również wymiar po- lityczny (ang. political dimension). Swoją argumentację przedstawiła w następu- jący sposób:

a) programy społeczne oraz polityki publiczne, będące przedmiotem badań ewaluacyjnych, same są wynikiem decyzji politycznych (ang. creatures of political decisions),

b) badania ewaluacyjne są podejmowane po to, aby dostarczać wiedzy⁴⁷ poli- tykom (decydentom politycznym), przez co wchodzą do procesu politycz- nego, gdzie rywalizują z innymi perspektywami,

c) badanie ewaluacyjne samo w sobie jest stanowiskiem politycznym⁴⁸. Zdaniem Weiss polityczny wymiar ewaluacji nie tylko nie przesądza o bra- ku racjonalności tego przedsięwzięcia, lecz również nie dostarcza argumentów – jak intuicyjnie można by przypuszczać – do zaprzestania tego typu działalności w sferze polityki. Autorka uważała raczej, że wysoka świadomość metodologicz- na oraz wiedza badaczy o politycznych uwarunkowaniach tej jednak różnej od badań stricte naukowych procedury badawczej sprzyja jej dalszemu rozwojowi oraz, co istotne, zwiększonemu jej wykorzystaniu w procesach podejmowania decyzji o charakterze politycznym⁴⁹. Kontynuowane w następnych latach bada- nia oraz rozważania nad politycznym wymiarem ewaluacji pozwoliły Weiss na

1990 – Evaluation and Formulation of Public Policy, 1998 – Transformation of Society Th rough Evaluation, 2008 – Evaluation Policy and Practice, 2009 – Context and Evaluation, http://www.

eval.org/Training/conferencehistory.asp (2.12.2011), oraz Europejskie Towarzystwo Ewalua- cyjne (European Evaluation Society): 2004 – Governance, Democracy and Evaluation, 2010 – Evaluation in Public Interest – Participation, Politics and Policy, http://www.europeanevalua- tion.org/conferences.htm (2.12.2011).

45 Por. treść listu Debry Rog, prezydenta Amerykańskiego Stowarzyszenia Ewaluacyjnego skierowanego do uczestników konferencji organizowanej przez stowarzyszenie w 2009 r.

pt. Context and Evaluation, http://www.eval.org/eval2009/09cfp.htm (2.12.2011).

46 C. Weiss, Where Politics and Evaluation Meet, „Evaluation” 1975, no. 1, s. 37–45.

47 Pomimo że w tekście oryginalnym brakuje stwierdzenia, jakie informacje i jaka wiedza mają być przekazywane decydentom politycznym, można przypuszczać, że chodzi o wiedzę pozyskiwaną empirycznie.

48 C. Weiss, Where Politics..., op. cit., s. 94.

49 Ibidem.

sformułowanie tezy stanowiącej, że ewaluacja jest „czynnością polityczną osa- dzoną w kontekście politycznym (ang. political activity in a political context)⁵⁰.

Ewaluacja jako przedmiot badania nauki o polityce

Przedstawione powyżej obserwacje mogą prowadzić do prostego, niemal zdrowo- rozsądkowego wniosku: problem zależności (relacji) występującej pomiędzy ewa- luacją a polityką, czyli tak zwanego politycznego wymiaru ewaluacji, pokrywa się z obszarem badawczym nauki o polityce. Stanowi zatem również obszar naukowej eksploracji politologów. Obserwacja ta jest jednak jedynie pozornym uproszcze- niem. Jak bowiem zauważa norweski badacz zjawisk politycznych William Laf- ferty, „na gruncie politologii zainteresowanie ewaluacją jest znacznie słabsze niż w innych dyscyplinach z zakresu nauk społecznych”⁵¹. Laff erty przypuszcza, że na stan niskiego, w porównaniu z przedstawicielami innych dyscyplin, stopnia zainteresowania politologów problematyką ewaluacji silne oddziaływanie miały takie stanowiska epistemologiczne jak pozytywizm czy wyrosły z niego logiczny empiryzm oraz dwa szczególnie popularne w drugiej połowie XX wieku podejścia badawcze – behawioryzm oraz teoria racjonalnego wyboru⁵².

Wpływ wymienionych powyżej stanowisk fi lozofi cznych i podejść badaw- czych spowodował – zdaniem Laff erty’ego – że do dzisiaj wielu politologów wy- kazuje w swojej działalności badawczej pewną ostrożność wobec problemów, których podjęcie mogłoby grozić uwikłaniem się w dalekie od obiektywizmu wartościowanie. Z wartościowaniem zaś – na co z kolei wskazuje metodolog Earl Babbie – dość często utożsamia się cel badań ewaluacyjnych⁵³. Według Laff erty’ego „nie jest przypadkiem, że większość rozważań na temat ewaluacji jest podejmowanych przez przedstawicieli i n n y c h, n i ż – jak podkreśla – nauki polityczne, dyscyplin z obszaru nauk społecznych”⁵⁴.

50 C. Weiss, Linking Evaluation to Policy Research, [w:] W. Shadish, T. Cook, L. Leviton (red.), Foundations of Program Evaluation Th eories of Practice, Newbury Park–London–New Delhi 1991, s. 179.

51 W.M. Laff erty, Political Evaluation: Premises. Approaches and Methods, Working Paper No. 2-02, Oslo 2002, s. 5.

52 Ibidem.

53 Por. E. Babbie: „celem tym jest ocena (ewaluacja) wpływu podejmowanych działań (interwencji) społecznych, takich jak nowe metody nauczania, innowacje w zasadach zwolnień warunkowych oraz wiele innych” Babbie należy również do tych badaczy, którzy podkreślają, że wartościowanie (ocenianie) konsekwencji działań o charakterze społecznym nie jest w praktyce politycznej niczym nowym, gdyż, jak wskazuje: „zawsze gdy wprowadzano jakąś reformę społeczną dla osiągnięcia określonych celów, zwracano uwagę na jej faktyczne konsekwencje, nawet gdy nie robiono tego w sposób świadomy, przemyślany, wyrafi nowany”.

Zob. E. Babbie, Badania społeczne w praktyce, przeł. W. Betkiewicz et al., Warszawa 2004, s. 370.

54 W.M. Laff erty, op. cit., s. 5.

Wyjaśnienia Laff erty’ego wskazują jednak na pewien paradoks, a mianowicie, będąc pod silnym wpływem fi lozofi i pozytywistycznej, badacze zjawisk politycz- nych w XX wieku zrezygnowali w swych poszukiwaniach z przedmiotu, którego początkowy rozwój utożsamiano z odnotowaną od pierwszej połowy ubiegłego stulecia dominującą pozycją fi lozofi i pozytywnej, zarówno w gwałtownie wów- czas rozwijanych dyscyplinach nauk społecznych, jak i w tworzonych modelach zarządzania państwem⁵⁵. Idąc jeszcze dalej, można stwierdzić, że przedstawiciele dyscypliny, której dwudziestowieczny rozwój przebiegał pod silnym wpływem popperowskiego modelu nauki⁵⁶, nie dostrzegają w ewaluacji realizacji postu- lowanej przez autora Społeczeństwa otwartego koncepcji inżynierii cząstkowej⁵⁷. Argumentację Laff erty’ego można jednak uznać jedynie częściowo za uzasad- nioną. Przede wszystkim – na co wskazuje również sam badacz – nie do przyjęcia jest stwierdzenie, że problematyka badań ewaluacyjnych (ewaluacji programów) została w politologii całkowicie zignorowana. Znacznie bardziej poprawna zda- je się teza, że jak dotąd ewaluacja jest niewystarczająco często podejmowanym przedmiotem dociekań w obrębie szeroko rozumianych nauk politycznych (ang.

political science), tradycyjnie – również w Polsce – ukierunkowanych na badanie takich zjawisk, jak władza polityczna, ustroje polityczne, rozwój myśli politycz- nej, systemy partyjne i wyborcze, zachowania wyborcze i kultura polityczna.

Nie jest również niczym zaskakującym, że znacznie większe zainteresowa- nie problematyką badań ewaluacyjnych oraz ewaluacji programów wykazują poszukiwania podejmowane przez badaczy zjawisk politycznych w ramach tak zwanych studiów nad politykami publicznymi (ang. public policy studies), czy- li subdyscypliny politologii, która od lat 40. XX wieku dynamicznie rozwija się w Stanach Zjednoczonych, choć w ostatnim ćwierćwieczu zainteresowanie jej

55 Mowa przede wszystkim o tzw. modelach menadżerskich i merytokratycznych, których korzeni wielu autorów dopatruje się w dziewiętnastowiecznych reformach amerykańskiej służby publicznej (Civil Service Movement), jak również o koncepcji F.W. Taylora ruchu naukowego zarządzania (ang. Scientifi c Management Movement) czy organizacji biurokratycznej M. Webera. Obecnie, w okresie dominacji modeli nowego zarządzania publicznego (New Public Management) oraz nowego rządzenia publicznego (New Public Governance), modele te są czasem błędnie określane mianem starych modeli zarządzania publicznego. Zob. W. Wilson, Th e Study of Public Administration, „Political Science Quarterly” 1941, no. 56, s. 197–222;

L. Gulick, L. Urwick (red.), Papers on the Science of Administration, New York 1937; C. Daneker, Surveillance, Power, and Modernity: Bureaucracy and Discipline from 1700 to the Present Day, Cambridge 1990; M. Weber, Gospodarka i społeczeństwo. Zarys socjologii rozumiejącej, przeł. D. Lachowska, Warszawa 2002, s. 10; D. Malec, J. Malec, Historia administracji i myśli administracyjnej, Kraków 2003; E. Ferlie, L. Lynn, C. Politt Jr. (red.), Th e Oxford Handbook of Public Management, Oxford 2007; B. Fry, J. Raadscheiders, Mastering Public Administration.

From Max Weber to Dwight Waldo, wyd. II, Washington, DC 2011.

56 P. Burnham, K. Gilland, (red.), Research Methods in Politics, Hampshire 2008, s. 53.

57 K. Popper, Społeczeństwo otwarte i jego wrogowie, t. I, przeł. H. Krahelska, Warszawa 1993, s. 181–187.

obszarem badawczym coraz częściej można odnotować wśród politologów euro- pejskich, również polskich⁵⁸.

Wykorzystanie ewaluacji w procesach politycznego decydowania

Ekonomista, badacz procesów rozwojowych oraz praktyk ewaluacji Martin Ra- vallion twierdzi, że „badania ewaluacyjne (ang. evaluative research) są typem badań, który zgłębia wartość przeszłych doświadczeń, przyczyniając się w ten sposób do debaty na temat przyszłości”⁵⁹.

Badania te – jak dalej pisze Ravallion – są prowadzone zarówno ex-ante (przed wpro- wadzeniem programu społecznego/polityki publicznej) jak i ex-post (po ich wprowa- dzeniu). Są one więc czymś więcej niż jedynie określaniem, które z wdrożonych polityk publicznych czy programów o charakterze społecznym przyniosły zamierzone rezultaty, a które nie. Ich celem jest krytyczne eksponowanie konceptualnych oraz empirycznych podstaw procesu tworzenia polityki jeszcze na etapie ex-ante, jak również uczenie się in- stytucji, dlaczego niektóre działania się powiodły, a inne nie⁶⁰.

W przytoczonym powyżej fragmencie rozważań Ravallion pośrednio odnosi się również do cechy, jaka charakteryzuje wykorzystanie⁶¹ ewaluacji w procesach podejmowania decyzji politycznych. Jest nią postrzeganie tego samego zjawiska poprzez dwie odmienne perspektywy epistemologiczne, które zdaje się zgod- ne z przyjętym wcześniej założeniem, że ewaluacja to zarówno forma badania,

58 Pomimo pewnego postępu w porównaniu do lat wcześniejszych, np. lat 90. XX w., w Polsce problematyką polityk publicznych zajmuje się nadal stosunkowo niewielkie grono politologów. Wśród badaczy, których rozważania nad politykami publicznymi są prowadzone z perspektywy politologicznej lub jej bliskiej (np. częściowo się z nią pokrywają), wymienić należy przede wszystkim takich badaczy jak Grzegorz Rydlewski oraz Andrzej Zybała.

Drugą grupą badaczy zajmujących się tą problematyką, z perspektywy, która jest również bliska politologii, są socjologowie, a wśród nich przede wszystkim Kazimierz Frieske i Jarosław Górniak wraz z zespołem Centrum Ewaluacji i Analiz Polityk Publicznych. Nie bez znaczenia dla odnotowanego w ostatnich latach rozwoju studiów nad politykami publicznymi w Polsce jest również dorobek przedstawicieli innych nauk społecznych, w tym głównie nauk ekonomicznych i nauk o zarządzaniu, którzy refl eksje swoje poświęcają głównie problematyce zarządzania publicznego. W tej grupie wymienić należy, przede wszystkim, takich badaczy, jak: Jerzy Hausner, Aleksander Noworól, Grażyna Prawelska-Skrzypek.

59 M. Ravaillon, Evaluation in the Practice of Development, Doing Impact Evaluation no. 11, Th e World Bank: Washington, DC 2008, s. 1.

60 Ibidem.

61 Dla samego pojęcia „wykorzystanie ewaluacji” w dyskursie ewaluacyjnym stosowanych jest przynajmniej kilka odrębnych terminów. W języku angielskim można np. odnotować rozróżnienie pomiędzy utlization, impact oraz utility. Por. L. Leviton, E. Hughes, Research on the Utilization of Evaluation. A Review and Synthesis, „Evaluation Review” 1981, no. 5 (4), s. 525–548.

jak i ukierunkowanego na przyszłość działania o charakterze politycznym. Te dwie wyróżnione cechy ewaluacji, jak również charakteryzujące procesy jej wy- korzystania nie są od siebie niezależne. Stanowi to jeden z powodów, dla których traktowanie ewaluacji w kategoriach jednowymiarowego działania o charakterze kontrolnym okazuje się błędne. Warto przy tym również zwrócić uwagę, że po- dział ten pokrywa się z kolejnym, przyjętym w literaturze, podziałem racjonal- ności na racjonalność naukową oraz racjonalność polityczną, a którego celem jest oddanie niskiego stopnia epistemicznej kompatybilności pomiędzy polity- kami a naukowcami⁶².

Najogólniej można wskazać, że w odniesieniu do działalności naukowej mia- nem racjonalnego określa się działania mające na celu poznanie, zbliżanie się do wiedzy prawdziwej (prawdoupodobnionej), a zatem tworzenie twierdzeń o ota- czającym badacza świecie zjawisk społecznych, które są wolne od subiektywnych doznań podmiotu poznającego oraz formułowane możliwie najogólniej w celu dalszego ich sprawdzenia oraz – ewentualnie – odrzucenia. W drugim przypad- ku, czyli racjonalności politycznej, zakłada się, że podejmowane przez określo- ny podmiot działanie charakteryzuje wysoki stopień uwarunkowania aksjolo- gicznego⁶³. Celem działania nie jest zatem dążenie do obiektywnego poznania rzeczywistości społecznej, lecz implementacja określonych decyzji, które mają prowadzić do wcześniej zaplanowanej zmiany⁶⁴. Owa zmiana polega bądź na realizacji zamierzonych przez decydenta celów (racjonalność instrumentalna), bądź na urzeczywistnieniu przyjętych wzorców i norm moralnych oraz syste- mów wartości (racjonalizacja aksjologiczna)⁶⁵.

Z rozbieżnością celów przypisywanych działaniom o charakterze naukowym i działaniom o charakterze politycznym wiąże się odmienność oczekiwań zaan- gażowanych w nie podmiotów. Podczas gdy dążący do prawdy badacz-nauko- wiec niekoniecznie oczekuje sformułowania wyczerpującej odpowiedzi na po- stawione w toku swojego działania pytanie badawcze oraz ma świadomość, że udzielenie takich odpowiedzi bywa częstokroć wręcz niemożliwe, polityk, które- go działanie jest nierozerwalnie związane z kierowanymi ku niemu oczekiwania- mi elektoratu, takich odpowiedzi nieustannie poszukuje oraz oczekuje.

Jednym z proponowanych sposobów na zbliżenie przedstawionych, zdawa- łoby się niekompatybilnych metod działania wydaje się nieustanne wzmacnia- nie dialogu pomiędzy przedstawicielami obu środowisk (nauki i polityki). Jego orędownicy twierdzą, że dialog ten, by przynieść oczekiwane rezultaty, powinien

62 Por. J. Goćkowski, Uczony i polityk: zbieżność i rozbieżność interesów oraz aspiracji,

„Nauka” 2006, nr 4, s. 74.

63 Zob. J. Kołodziej, Wartości polityczne. Rozpoznanie, rozumienie, komunikowanie, Kraków 2011, s. 6.

64 J. Goćkowski, op. cit., s. 75.

65 Por. J. Sielski, Pierwotne kategorie aksjologicznej analizy decyzyjnej, Katowice 1997;

T. Buksiński, Racjonalność współdziałań. Szkice z fi lozofi i polityki, Poznań 2000; M. Borkowska- -Nowak, Racjonalność decyzji politycznych. Utarte ścieżki i nowe pomysły, Lublin 2012, s. 130–

166.

wykraczać poza proste informowanie się przez obie strony o działaniach bie- żących. Znamienne tutaj są słowa Janusza Goćkowskiego, który stwierdza, że:

„jeśli uczony i polityk mają ze sobą rozsądnie konwersować, to powinni nie tylko dobrze wiedzieć, czym jest nauka i czym jest polityka, ale także znać dobrze wza- jemnie swą mentalność, a zwłaszcza swe »horyzonty oczekiwań«”⁶⁶.

Supozycję Goćkowskiego można również odnieść do relacji ewaluator- -polityk. W tym wypadku należałoby ją jednak uzupełnić o jeszcze jeden ele- ment. O ile pozycja ewaluatora wykazuje podobieństwo do pozycji naukowca w tym sensie, że oczekuje się od niego odpowiedniego rozpoznania kontekstu politycznego, w którym nie tylko jest prowadzona, lecz również inicjowana oraz wdrażana ewaluacja, o tyle sytuacja decydenta politycznego okazuje się nieco odmienna, chociażby z racji tego, że oprócz wiedzy metodologicznej na temat działalności naukowej oczekuje się od niego wiedzy na temat specyfi ki ewaluacji.

I choć bez wątpienia za mało realistyczne należy uznać oczekiwanie od de- cydenta posiadania takiego poziomu wiedzy na temat ewaluacji, która byłaby w stanie zadowolić teoretyków i praktyków ewaluacji, to jednak uzasadnione zdaje się założenie, że czynnikiem sprzyjającym wykształceniu się płaszczyzny dialogu i porozumienia pomiędzy decydentem a ewaluatorem jest zdolność de- cydenta do zadawania pozornie bardzo prostego, a w rzeczywistości ważnego py- tania, mianowicie: jaka jest istota czynności ewaluacyjnych? Innymi słowy, czym jest, a czym nie, czynność, którą we współczesnym dyskursie tak chętnie określa się mianem ewaluacji?

Rozpoznanie znaczenia stawiania tego typu pytań na forum publicznym, któ- re – zakładając wysoki stopień podmiotowego rozproszenia współczesnych pod- miotów decydujących – należy również traktować jako istotną platformę wpływu na proces politycznego decydowania, pozwoliło Majone na sformułowanie nastę- pującej obserwacji: „zasadniczą część procesu rozwoju polityki stanowi debata, poprzez którą ustala się kryteria ewaluacji i normy odpowiedzialności”⁶⁷. Sfor- mułowana teza wskazuje, że w państwach o ustroju liberalno-demokratycznym, gdzie proces rozwoju polityki opiera się – jak uważają zwolennicy tak zwanych deliberatywnych koncepcji polityki (Majone również się do nich zalicza) – na debacie, edukacyjna rola ewaluacji, na którą zwraca uwagę wielu badaczy, w tym również Ravaillon, jest nie tylko znacząca dla oceny wartości wiedzy pozyskanej dzięki zastosowaniu tej procedury badawczej w procesie politycznym, lecz rów- nież (a być może przede wszystkim) kluczowa dla zrozumienia przez decydenta istoty jej ustrojowego wymiaru.

To również najprawdopodobniej jedna z głównych przyczyn, dla których decydenci polityczni korzystający z wyników badań ewaluacyjnych nie potra- fi ą sobie poradzić z ich interpretacją. Najprostszym rozwiązaniem jest wówczas stosowanie uproszczonych modeli rozumowania (heurystyk) oraz utożsamiania procedur ewaluacji z procedurami oceniania, krytyki i nadzoru. W Polsce sytu-

66 J. Goćkowski, op. cit., s. 83.

67 G. Majone, Dowody, argumenty i perswazja w procesie politycznym, przeł. D. Sielski, Warszawa 2004, s. 248.

acji tej dodatkowo sprzyja nierozwiązany – jak wcześniej wskazano – problem chaosu terminologicznego.

Pewien zamęt wprowadza też dość powszechne utożsamianie ewaluacji z me- chanizmami o charakterze rynkowym. Za prekursora takiego myślenia o roli ewaluacji w polityce uznaje się amerykańskiego badacza Williama Saddisha. Pi- sał on, że: „ewaluacja ma dostarczać kryteriów, metod i środków do oce ny racjo- nalności działań publicznych, spełniając w sektorze publicznym rolę analogiczną do mechanizmu rynkowego w sektorze prywatnym”⁶⁸. Koncepcję tę odrzucają Michael Cohen, James March i Johan Olsen, którzy tworząc tak zwany model kosza na śmieci (ang. garbage can model), wskazywali, że wewnętrzne uwarun- kowania instytucji politycznych pełniących funkcję decydentów politycznych odróżniają je, w zdecydowanym stopniu, od organizacji rynkowych jednoznacz- nie ukierunkowanych na zysk⁶⁹. Z ustrojowego punktu widzenia problem ten uwypukla Majone, zwracając uwagę na problem odpowiedzialności decydentów stosujących ewaluacje wyników przed władzą ustawodawczą i elektoratem. Zda- niem włoskiego politologa w relacjach tych „zaufanie nie może się opierać na związku pomiędzy prostym mierzalnym wynikiem a z góry przyjętym standar- dem sukcesu”⁷⁰. Jest ono zależne, jak dalej twierdzi, „raczej od metod ewaluacji, które mogą dostarczać więcej informacji niż zwykłe stwierdzenie sukcesu lub niepowodzenia, gdyż, jak przekonująco to uzasadnia, poleganie wyłącznie na wynikach krótkoterminowych prowadzi do wniosku, że większość polityk pub- licznych jest nieskuteczna⁷¹”.

Podsumowanie

Ponieważ polityka oraz wszelkie związane z nią działania (w tym również proce- sy decyzyjne), są nieodzownie związane z występowaniem niepewności i ryzyka, których zwiększone nasilenie badacze zjawisk społecznych odnotowują jako je- den z elementów towarzyszących procesom globalizacji⁷², tym bardziej uzasad- nione jest przyjęcie wobec wykorzystania ewaluacji takiej postawy, która owszem pozwala traktować tę procedurę badawczą jako narzędzie poprawy jakości dzia- łania (np. aparatu państwowego), lecz nigdy jako gwarancję naprawy.

68 W.R. Shadish, T.D. Cook, L.C. Leviton, Foundations of Program Evaluation. Th eories of Prac tice, Newbury Park–London 1991, s. 19; cyt. za: K. Olejniczak, Teoretyczne pod stawy ewaluacji ex-post, [w:] A. Haber, M. Szałaj, J. Pokorski (red.), Środowisko i warsztat ewaluacji, Warszawa 2008, s. 19.

69 M. Cohen, J. March, J. Olsen, A Garbage Can Model of Organizational Choice,

„Administrative Science Quarterly” 1972, vol. 17 (1), s. 1–25.

70 G. Majone, op. cit., s. 262.

71 Ibidem.

72 Por. U. Beck, Społeczeństwo ryzyka. W drodze do innej nowoczesności, przeł. S. Cieśla, Warszawa 2002.

Badania ewaluacyjne, pomimo wielu zalet przypisywanych tej procedurze badawczej, nie mogą jednak, podobnie jak badania stricte naukowe, zagwaran- tować pewności co do kształtu i przebiegu przyszłych wydarzeń⁷³. Również ich wyniki zawodzą, czym dają powód do rozczarowania i wąskiego ujmowania ewa- luacji w kategorię kontroli i oceniania. Jest to zapewne wynik błędnego, aczkol- wiek powszechnego mniemania, że nauka (a zatem również działanie, które z jej metody czerpie) ma zawsze rację⁷⁴.

Z tego powodu należy zgodzić się z Ravaillonem oraz innymi podzielającymi jego punkt widzenia badaczami, że wykorzystanie wyników badań ewaluacyj- nych stanowi rzeczywiście swoisty proces politycznego uczenia się. Jest to pro- ces, którego twardą podstawą może być empirycznie pozyskana wiedza o świecie zjawisk społecznych. Jego metodologiczne założenia można najlepiej zrozumieć, odwołując się do popperowskiej koncepcji „inżynierii cząstkowej”. Ze względu na żywiołowość i nieprzewidywalność kontekstu, w którym zachodzi, nie daje on wyników gwarantujących pewność i przewidywalność dalszych działań.

Paradoksalnie, im więcej wiemy, również dzięki wynikom badań ewaluacyj- nych, o rzeczywistości społecznej, tym bardziej możemy być pewni, że przyszłość nas zaskoczy⁷⁵.

73 Por. B. Krauz-Mozer, Metodologiczne problemy wyjaśniania w nauce o polityce, Kraków 1992, s. 111–127

74 Ibidem, s. 127.

75 Ibidem.