Dialog obywatelski w Krakowie. 4, Ewaluacja Centrum Obywatelskiego

(1)

DIALOG

OBYWATELSKI

WKRAKOWIE

EWALUACJACENTRUMOBYWATE LSKIEGO

EWABOGACZ-

WOJTANOWSKAEWELINAGÓRALSYLWIAWRONA JANMEISEL-DOBRZAŃS KI

(2)

PublikacjadofinansowanaprzezUniwersytetJagiellońskiześrodkówW y d z i a ł u ZarządzaniaiKomunikacjiSpołecznej.

Recenzent:

drhab.MagdalenaSzpunar

Redakcja:M a c i e j Zweiffel

Dopobrania:www.odo.wzks.uj.edu.plw ww.ngo.krakow.pl

Skład,łamanie,wersjacyfrowa,projektokładki:WydawnictwoToCW y d a w c a : WydawnictwoToCul.

Szaflarska85 34-

400NowyTargwww.to c-editions.com Wydanie1

ISBN978-83-946879-4-

6(wydaniedrukowane)I S B N 978-83-946879-5- 3(wydanieelektroniczne)

(3)

5

SPISTREŚCI

Wstęp 9

Rozdział1

Współczesnedefinicje,rozumienieipodejściawewaluacji 15

1.1. Ewaluacja–korzeniepojęcia 15

1.2. Głównenurtyteoretycznewewaluacji 19

1.3. Sposobyprowadzeniadziałańewaluacyjnych 25 1.4. Obszaryewaluacjiirolaewaluatorawprocesieoceny 28 1.5. EwaluacjawXXIwieku–problemyiwyzwania 35

Rozdział2

Realizacjazadańpublicznychprzezorganizacje

pozarządowewPolsce–definicjeiwybraneprzykłady 41

2.1. Zadaniepubliczne–istotapojęcia 41

2.2. Zlecaniewykonywaniazadańpublicznych 43 2.3. Praktykawykonywaniazadańpublicznychprzezorganizacje

pozarządowewPolsce 49

2.4. Procesrealizacjizleconychzadańpublicznych–przykładcentrum

organizacjipozarządowych 56

(4)

Rozdział3

Metodologiabadańewaluacyjnychzadania

publicznego–CentrumObywatelskiewKrakowie 63

3.1. PodstawowezałożeniaiceleewaluacjiCentrumObywatelskiegowKrakowie 64 3.2. Podejściebadawczeimetodybadańwramachewaluacji 69

3.3. Przebiegbadańewaluacyjnych 73

Rozdział4

Wynikibadańewaluacyjnych

CentrumObywatelskiegowKrakowie 75

4.1. Charakterystykazadaniapublicznego 75

4.2. Zdolnościorganizacyjneikadrazadaniapublicznego 95

4.3. Jakośćzadaniapublicznego 102

4.4. Infrastrukturazadaniapublicznego 116

4.5. Komunikacjawsferzezadaniapublicznego 126

Rozdział5

Ocenawynikówewaluacjiirekomendacjedla

realizatorówCentrumObywatelskiegowKrakowie 145

5.1. CentrumObywatelskiewkryteriachewaluacyjnych 145 5.2. Rekomendacjedlapodniesieniajakościwspółpracywrealizacji

zadańpublicznych 156

5.3. Ocenairekomendacjewzakresiebadańewaluacyjnychrealizacji

zadańpublicznych 158

(5)

Zakończenie 161

Bibliografia 163

Aneks 171

SPISTABEL

Tabela1. Wartościpoznawczeszkołyracjonalistycznej

ikonstruktywistycznejwbadaniachewaluacyjnych 20 Głównenurtywewaluacji

Tabela3.

Obszaryrealizacjizadańpublicznych,któremogą wykonywaćorganizacjepozarządowe Kryteriaewaluacjizadaniapublicznego

Zestawieniepytańewaluacyjnychikryteriówewaluacyjnych Opisposzczególnychdziałańwzakresierealizacjizadaniapublicznego SkwantyfowaneceleCentrumObywatelskiego(2015-2016) Tabela8.

ObszarydziałaniaCentrumObywatelskiego(2015-2016), wktórychosiągniętowynikiniższeodzakładanych Tabela9.

ObszarydziałaniaCentrumObywatelskiego(2015-2016), wktórychosiągniętowynikiwyższeodzakładanych

RealizacjacelówszczegółowychCentrumObywatelskiego(2015-2016) Tabela11.

EtapystrategiifunkcjonowaniaCentrumObywatelskiego wmediachspołecznościowych

(6)

SPISRYSUNKÓW

Rysunek1.Wynikibadańzadowoleniaodbiorcówzcałościoferty

CentrumObywatelskiego 112

Rysunek2.RozkładzadowoleniazobszarówdziałalnościCentrumObywatelskiego 113 Rysunek3.LokalizacjaCentrumObywatelskiego 117 Rysunek4.OrientacyjnerozmieszczeniepomieszczeńCentrumObywatelskie

gonaterenieStadionuMiejskiegoim.Henryka

Reymana(Ipiętro) 119

Rysunek5.Najczęściejużywanekanałykomunikacjiwramachdziałania

CentrumObywatelskiego 137

(7)

WSTĘP

Znaczenieewaluacjiwewspółczesnejpraktycezarządz aniapu-

blicznegojestogromne.Naświeciepoddajesięjejwielkiei małepro-

j e k t y realizowanezaśrodkisektorapublicznego,pracę instytucjiczyaktywnośćidziałaniasprawczeorganizacji pozarządowych.Wyspe-

cjalizowaneprzedsiębiorstwabądźinstytucjerozwijająmet odykęewa-

luacyjną,prowadzeniebadańlubwnioskowanienapodstawi edziałańewaluacyjnych.

Oewaluacjinależytakżemówićw kwestiiwartości,jaką wno-siwfunkcjonowanieinstytucjipublicznychiszerzej–

całegożyciaspołecznego.Ujmującjąnajprościejjakobada niejakiegośdziałania,projektuczywydarzenia,któregose ns,wpływiznaczeniechcemyrozpoznać,należyuznać,żej estonatakżelubmożebyćistotnymsposobempoznania,w jakisposóbdziałaniateprzyczyniająsiędopo-

lepszeniajakościżyciamieszkańcówczykonkretnychgru pspołecz-

nych.Oznaczato,żepopierwsze,stanowionanarzędziepoz walającen i e tylkobadaczom,aletakżeróżnymaktoromsp ołecznymzobaczyćw p ł y w konkretnychdziałańnapopra wężyciapewnychgrupspołecz-

nych.Podrugie,dajemożliwośćracjonalizacjiwydatkówp ublicz-

nychczyunikaniaredundancjiwdziałaniachorganizacj ipublicznej.Mawięconawymiarparexcellencemoralny,g dyżprzyczyniasiędooszczędzanialubpoprawywykorzyst

(8)

ywanychzasobów, zwykleograniczonychwsferzepublicz nej.

Współczesnepodejściedoewaluacjiw ciąguostatnich 30latsprowadziłojądokilkuistotnychzasad,któresąważ nedlajej

(9)

Wst

10 ęp

projektowania¹.Pierwszadotyczy

przestrzeganiarygorubadawczego,z jednoczesnymświad omymisystematycznymstosowaniemróżno-

ro d n y c h metodipodejśćbadawczych,conazywasięczęst omixme-

thodsdesign.Wzwiązkuztymtriangulowaniemetodbada wczychw ramachbadańewaluacyjnychstałosięjednymz podstawowychjejkanonów.Wświetledrugiejzasadyewalu acyjnarefleksjaibadaniamająmiećcharaktersystemowy, nietylkozperspektywyrygoryzmunaukowego,aletakżeo bejmowaćcykliczność,różneetapyiobszaryrealizacjiproj ektuczyprogramu.Potrzecie,ewaluacjajestzdecydo- w a n i e czymświęcejniżzestawemmetod,odnosisiędoj akościiwar-

tościrealizowanegoprojektu².Wprzeciwieństwiedowiększ ościbadańnaukowych,cechującychsięneutralnością,ewal uacjawiążesięzwar-

tościowaniem.Iwreszcie,ewaluacjaobejmujecorazczęści ejstudiumwstępnejstrukturyprojektuczyinterwencji,bież ącyprocesischematdziałańwprojekcieorazichefekty³.Stą dwramachewaluacjitakrozu-mianejbadasię relację miedzy nakładamiawynikami, nietylkowwy- miarzefinansowym⁴.

Ewaluacjawspółcześnieodnosisiętakżedorealizacjiusłu gpublicz-

n y c h , świadczonychzarównoprzezorganizacjepubliczn e,jakipry-

watneczypozarządowe.Wszczególnościmożnajejpoddaw aćzadaniap u b l i c z n e , czyliwykonywaneprzezadmini stracjępubliczną.Różno-

r o d n o ś ć , uwarunkowaniaipoziomwykonania,jakrównie żzaangażo-

w a n i e różnychpodmiotów,nietylkopublicznych,wrealiza cjęzadańpublicznychczynijeniezwykletrudnymidoewalu owania.Powodujetakżezróżnicowaniewątkówitreścipod

(10)

11

Wst

ępdanychewaluacji.Skutkujetobrakiemspójnejmetodologi ibądźporównywalnychwyników.

1 K.Olejniczak,Wprowadzeniedozagadnieńewaluacji, [w:]K.Olejniczak,

M.Kozak,B.Ledzion(red.),Teoriaipraktykaewaluacjiinterwencjipubl icznych.Podręcznikakademicki,WAiP,Warszawa2008, s. 19-20.

2

E.J.Davidson,Evaluationmethodologybasics:thenutsandbol tsofsoundevaluation,SagePublications,ThousandOaks 2004.

3

J.Górniak,K.Keler,Ewaluacjaiwskaźnikiwcykluplanowaniaire alizacjipolitykpublicznych,„ZarządzaniePubliczne”2008, 1 (3), s. 109-124.

4 K.Olejniczak,Wprowadzenie…,op.cit.,s. 19-20.

(11)

Prezentowanamonografiamaprzedstawić założeniaiobszaryewa-

luacjizadańpublicznych,przykładowąmetodologięjejprze prowadze-

n i a orazwyniki,wrazzwnioskamiirekomendacjamiadres owanymidowykonawcówzadania.Zadaniepubliczne,kt órepoddanoewalu-

a c j i istanowiprzykładwnaszejmonografii,

toprowadzeniewokresieod2015do2016rokuCentrumOb ywatelskiegowKrakowieprzez3 organizacjepozarządow e:FundacjęBiuroInicjatywSpołecznych,S t o w a r z y s z e n i e PracowniaObywatelska,StowarzyszenieRegional neCentrumWolontariatu.Zadaniezostałozleconekonsorc jumtrzechorganizacjipozarządowychprzezUrządMiastaKr akowa,poprzezjegojednostkęorganizacyjną:BiuroMiejski OśrodekWspieraniaInicjatywSpołecznych(ówcześniewch odzącywskładWydziałuSprawSpołecz-

nychUMK).Wszczególnościceleewaluacyjnezadaniapub licznegoo b e j m o w a ł y :

• ocenęzasadności,trafności,skuteczności,użytecznoś ciitrwało-

ś c i realizacjiprojektu(zadaniapublicznego)realizow anegoprzez3 organizacjepozarządoweinadzorowane goprzezMOWIS;

• określeniewartościrelacjiprzyczynowo- skutkowychobejmu-

jącychprocesykomunikacjipomiędzyMOWIS-

em,CentrumOby w a t el sk im abeneficjentamiproje ktu(organizacjepozarzą-

doweKrakowaimieszkańcy);

• wskazanierekomendacjiiewentualnychrozwiązańw ramachzdaniapublicznego.

Monografiajestkolejnymtomemnależącymdoseriipubl ikacji,prezentującychwynikibadańprzeprowadzonychprz ezpracowników,doktorantówistudentówWydziałuZarząd zaniaiKomunikacjiSpo-

(12)

łecznejUniwersytetuJagiellońskiegowramachporozumieni aowspół-

pracyprzyrealizacjiprojektupn.OBSERWATORIUMDIALO GUOBYWATELSKIEGOnrW/V/22/SO/16/2015zdnia5luteg o2015roku,zawartegopomiędzyGminąMiejskaKraków–

UrzędemMiastaKrakowaaUniwersytetemJagiellońskim.

PodnazwąObserwatoriumDialoguObywatelskiegokr yjesięprojektdydaktyczno-

naukowy,realizowanyw InstytucieDzienni-

k a r s t w a , MediówiKomunikacjiSpołecznejorazwIns tytucieSpraw

(13)

PublicznychUniwersytetuJagiellońskiego,wporozumieni uzMiej-

skimOśrodkiemWspieraniaInicjatywSpołecznych.Maonc harak-terdługoterminowy.PorozumieniemiędzyGMK i UJzawartezostałonalata2015-

2018.Podstawowymicelamiprojektusą:obserwacjai anal izadialoguobywatelskiegowKrakowie,diagnozowaniepr oble-

mówwobszarzewzajemnychrelacji,wtymdotyczących komuniko-

waniasięwładzmiastaKrakowazorganizacjamitrzeciegos ektora,przygotowywanierekomendacji,wreszciepropozy cjarozwiązywaniazauważonychproblemów.

Wtejmonografiiprezentujemywynikibadańiszerszeu staleniateoretyczne,przeprowadzonewramachObserwat oriumw2017rokup r z e z pracownikówidoktorantówInsty tutuSprawPublicznychUni-

w e r s y t e t u Jagiellońskiego⁵.Opracowaniepodzielono napięćrozdzia-

łów,wstęp,zakończenieistosownezałączniki.Wpierwszymr ozdzialeomawiamykonteksthistorycznyidefinicyjnyorazn ajważniejszenurtyt e o r i i ipraktyki ewaluacji.Przedst awiamytakżetypologieewaluacjii przebiegdziałańewal uacyjnychorazwarunkówdeterminującychmożliwośćich wykorzystaniawprocesiedoskonaleniadziałańorga- nizacji,atakżezadańpublicznych.Drugirozdziałpoświęc onogłów-nemuprzedmiotowibadańewaluacyjnych–

zadaniupublicznemu,jakrównieżspecyficejegorealizacji wprzypadkuzlecaniagoorgani-

zacjompozarządowych.Trzecirozdziałtoszczegółowyopis działańz e s p o ł u badawczegowodniesieniudokonkretn egoprzypadkuzada-n i a publicznego–

CentrumObywatelskiegowKrakowie–

zleconegoorganizacjompozarządowym.Traktujeonocela chewaluacji,głów-

nychkryteriachiobszarachoceny,stosowanychmetodach

(14)

,wreszcieprzebiegubadań.Rozdziałczwarty,najobszernie jszy,ukazujewynikiewaluacjiprzeprowadzonejnazadaniu publicznym,jakimjestCen-

trumObywatelskiewKrakowie.Zawieraoncharakterysty kęzada-

niapublicznego,jegoinfrastrukturęijakośćorazkomuniko waniesięgłównychaktorówpubliczno-

pozarządowych.Ostatnirozdział

5

A.Hess,M.Bukowski,J.Grzechnik,W.Klytta,DialogobywatelskiwKr akowie.Reprezentacjemedialne,WydawnictwoToC,NowyTarg201 7.

(15)

stanowiągłównewnioskiirekomendacje,przygotowanew oparciuo wynikibadańewaluacyjnych,askierowanedozle ceniodawcy,czyliUMKiMOWIS-

u,orazorganizacjipozarządowych,którechciałbysięw przy szłościzmierzyćztegotypuzadaniempublicznym.

(16)

(17)

15

ROzDzIAł1

WSPÓŁCZESNEDEFINICJE,ROZUMIENIEIP O D E J Ś C I A W EWALUACJI

Zewzględunaswojązłożonośćiniejednoznaczność,prob lematykaewaluacji,wtymtakżerealizacjizadańpublicznyc h,stanowiwyzwanied l a praktykówiteoretykówzarządzani anacałymświecie.Nowetren-

d y izjawiskacywilizacyjne,ekonomiczneispołecznego nieustannieredefiniująoczekiwaniawobecsferypubliczn ej,tymsamymwpływa-

jątakżenaciągłąewolucjękoncepcjiipraktykewaluacyjny ch.Stądp i e r w s z y rozdziałmanaceluomówienienajważ niejszychnurtówteo-

retycznychorazwątkówpraktycznychzwiązanychztakujęt ąproble-matykąewaluacji.

1.1. Ewaluacja–korzeniepojęcia

Poszukującwyraźnejcezuryczasowejdlapoczątkówws półcze-snychpraktykewaluacyjnych,możnaje odnaleźć wlatach60.XXwie-

ku,gdywnaukachozarządzaniuwieleuwagipoświęcanonar zędziomkontroli,którychwielość,złożoność,atakżeteorety czneipraktyczneograniczeniadoprowadziłydowykształce niaosobnego,specyficznego

(18)

obszarubadawczego⁶.Jednakprawdziwyrozkwitzainteres owaniapro-

blematykąewaluacjiwsferzepublicznejnastąpiłpóźniej,na przełomielat70.i80.,cowiązałosięzfundamentalnymiprze obrażeniamiwpo-

strzeganiurolipaństwajakodostawcyusługspołecznych.W razzodej-

ściemodkoncepcjiwelfarestatedoszłodoposzerzeniaopo dmiotyprywatneipozarządowegronaaktorówodpowie dzialnychzakształ-

towaniepolitykpublicznych.Różnorodnośćformorganizac yjnychi towarzyszącychimsposobówdziałaniawymusiłak oniecznośćwy-

pracowaniauniwersalnychnarzędziocenyskutecznościi ekono-

micznejefektywnościdziałania,którejednocześnieuwzglę dniałabyrealizacjęwybranychwartościspołecznych,m.in .demokratycznejp a r t y c y p a c y j n o ś c i ideliberaty wności⁷.

ObecniewsamychStanachZjednoczonychAmeryki,g dzieewa-

luacjarozwijałasięnajbardziejdynamicznie,rocznieprzep rowadzas i ę dziesiątkitysięcyewaluacjiprogramówpubli cznych.Tysiąceludziznajdujewnichzatrudnienie,asetkiró żnychorganizacjikonkuru-

jezesobąoewaluacyjnekontrakty⁸.Ewaluacjaprogramó wpublicz-

nychstałasięusankcjonowanądziałalnością,każdegoroku wydajesięn a niąsetkimilionówdolarów.Postępującaglob alizacjaprzyczyniłas i ę doopracowaniastrategiiipodejś ćewaluacyjnychudostępnianychnacałymświecie,jakrówn ieżwzbogacaniaichiadaptowaniadolokal-

negokontekstuiuwarunkowańspołeczno-politycznych⁹. Wkontekścieeuropejskimwyróżniasiędwadeterminant yrozprze-

(19)

strzenianiasięideiewaluacji.Pierwszymznichsąpotrzebyo bywateli

6

F.Hansson,OrganizationalUseofEvaluations.Governancea ndControlinResearchEvaluation,,,Evaluation”2006,Vol.12 (2), s. 159-178.

7

Por.J.Edelenbos,A.VanBuuren,TheLearningEvaluation.ATheore ticalandEmpiricalExploration,,,EvaluationReview” 2005,Vol.29 (6), s. 591-612;

E.R.House,K.R.Howe,Deliberativedemocraticevaluation,,,NewD irectionsforEvaluation”2000,Vol.2000 (85), s. 3-12.

8 E.R.House,Ewaluatorwspołeczeństwie,

[w:]L.Korporowicz(red.),Ewaluacjaw edukacji,OficynaNaukowa, Warszawa1997, s. 15.

9 M.Q.Patton,Przyszłetrendywewaluacji, [w:]A.Haber,Z.Popis(red.),

(R)ewaluacja.Poszukiwanienowychmetodocenyefektów,Pol skaAgencjaRozwojuPrzedsiębiorczości,Warszawa2013, s.

36.

(20)

17

Eiazicci–

krzenneprcęcni

–

rosnącapresjaopiniipublicznejwobeczapewnieniatranspar entnościd z i a ł a ń orazodpowiedzialnościrządzącychza uchwalaneprawoiza-dania

realizowaneześrodkówpublicznych¹⁰.Drugidotyczywpływ ówzewnętrznych,doktórychzaliczasięrosnącąpopularnoś ćorazdyfuzjęstandardówwypracowanychwramachkonce pcjiNewPublicManage-ment–

szczególniewprzypadkukrajówczłonkowskichUniiEuropej -

skiej¹¹.Należyzwrócićuwagę,żeewaluacjastanowirównież kluczowye l e m e n t nowszychkoncepcjizarządzaniap ublicznego–LocalGover-nanceiGoodGovernance–

oraztakichmetodzarządzania,jakzarzą-

dzanieprzezceleidziałania(managementbyobjectives,act ivitybasedmanagement),któresąjednymizpopularnych metodzarządzaniaw sektorzepublicznym.

Analogiczniemożnawyróżnićdwaobszarykorzyściorg anizacyj-nychwynikającychzprowadzenia praktyk ewaluacyjnych:wewnętrznyi zewnętrzny.W pierwszympr zypadkuewaluacjamanacelupu-

b l i c z n e uwierzytelnieniesięprzedinteresariuszamidzię kitworzeniuizebraniuinformacjidotyczącychstosowanyc hpraktykzarządczychorazefektówdziałań.Procestakini erzadkostanowikompilacjęod-

m i e n n y c h perspektyw,przezcobraćmusipoduwagę zróżnicowane(nierzadkosprzeczne)interesyróżnychgr upspołecznychiichocze-

kiwaniawobecdziałańorganizacji.Wdrugimprzypadkuten samze-stawdanych–jakoinformacjazwrotna–

zarządzającywykorzystujądousprawnieniadziałańorazw ypracowaniakatalogunajlepszychpraktykzarządczych¹².

Odnoszącsiędowielościdefinicji,możnaprzyjąć,żeewal uacjajestz o r g a n i z o w a n ą isystematycznąanaliząor azokreślaniemstopniare-

a l i z a c j i przezorganizacjęczygrupęstawianychjejwy

(21)

Współczesnedefnncceerzzunennen prdecjcnieiaziccn

18

magań,wynika-

j ą c y c h zzałożonychcelów,przypisanychzadańioczekiwa ńklientów.

10 S.VanVoorst,EvaluationcapacityintheEuropeanComission,

„Evaluation”2 0 1 7 , Vol.23 (1), s. 24-41.

11 V.Pattyn,Whyorganizations(donot)evaluate?

Explainingevaluationactivitythroughthelensofconfigurationalco mparativemethod,„Evaluation”2014,Vol.2 0 ( 3 ) , s . 3 4 8 - 3 6 7 .

12 F.Hansson,Organizationaluse…,op.cit.

(22)

Oznaczaonaprocesbadaniajakiegośwydarzenia,projektu czywywo-

ł a n e g o zjawiska,któregosensiznaczeniechcemyuchw ycić,atakżeo c e n ę wpływupodejmowanychdziałań,inter wencjiczywdrażanychi n n o w a c j i . Omawianytermin obejmujezróżnicowanyzestawmetodzorientowanychn akrytycznąipogłębionąrefleksjęnadwartościąija-

k o ś c i ą konkretnegodziałaniaocharakterzepublicznym¹

3.Możeonobyćprojektem,zadaniempublicznym,programe mczystrategią.Moż-

liwajestrównieżewaluacjadziałańorganizacji,pewnejgrup yprogra-

mów,wreszciecałychpolitykpublicznychbądźmiędzynaro dowych.

Semantycznieewaluacjatoszacowaniewartości,które różnisięo d oceny¹⁴:

1. większymskupieniemnaanalitycznymisystematyczn ymproce-

sie(systematicinquiry),oznaczającymużyciemetodn aukowych,stosowaniepewnegorygoryzmunaukow egoitechnikpocho-dzącychznaukspołecznych;

2. badaniemzarównojakościprojektuczyinterwencji(

meritquality),jakrównieżwartościwkategoriacheko nomicznych(worthvalue);

3. objęciemprocesudziałaniaprojektuczyprogramu, jakijegoefektówlubrezultatów.

Jakkolwiekewaluacjajestprocesembadawczymiwykorz ystujena-

ukowemetodybadań,odbadaństrictenaukowychodróżnia ją¹⁵:

1. utylitaryzm–

wspieranieko n k re t n y c h działań,wywoływaniei w ypływanienazamianywrzeczywistych,istniejących projek-tach;

2. badaniepołączonezoceną–

wynikibadańwiążąsięzpojęcia-

(23)

miwartości,przydatności,sensuczyinnymikategoria mi,którezałożymywramachewaluacji;

13 K.Olejniczak,Wprowadzenie…,op.cit.,s. 19.

14

K.Olejniczak,Ewaluacjajakonarzędziezarządzaniawsektorzepu blicznym,

[w:]G.Gorzelak,A.Tucholska(red.),Rozwój,region,przestrzeń,Min isterstwoRozwojuRegionalnego,Warszawa2007, s. 363-365.

15 Ibidem.

(24)

Głónenztyteretycznee iaziccn

19

3. interakcja–

wprocesiebadawczymkontakt,negocjacjaidialogz r óżnymiuczestnikamiewaluowanejorganizacji,proc esulubinterwencjigrakluczowąrolę;

4. określonasiławpływu–

brakprawnegonakazuwykonaniazale-

c e ń , bliższy„miękkiej“poprawie,doskonaleniuczys topniowe-muwdrażaniurekomendacji.

1.2. Głównenurtyteoretycznewewaluacji

Zarysowaneróżnicewpostrzeganiucelówiprzebiegue waluacjidoprowadziłydowykształceniasięodmiennychszk ółipodejść,awrazz nimiszereguparadygmatówewaluacyj nych¹⁶.Zbiegiemlatwykry-

s t a l i z o w a ł y siędwaodmienneobozy–

racjonalistycznyikonstrukty-

wistyczny.Ewaluacjaracjonalistycznakoncentrujesięnaoce nie,wjakis p o s ó b działaniaorganizacjiprzyczyniłysiędo osiągnięciauprzedniozdefii o w a n y c h , mierzalnychceló w.Podejściekonstruktywistycznekładzienacisknaproces ynegocjacji,wramachktórychceleorgani-

z a c y j n e stanowiąwynikinterakcjimiędzyaktoramizaang ażowanymiw funkcjonowaniewybranego

podmiotu¹⁷.Różnicemiędzypodejścia- mizilustrowanowtabelinr1.

(25)

20 Współczesnedefnncceerzzunennen prdecjcnieiaziccn

16 K.L.Bledsoe,J.A.Graham,TheUseofMultipleEvaluationApproaches inProgramEvaluation,

„AmericanJournalofEvaluation”2005,Vol.26 (3),s . 3 0 2 - 3 1 9 .

17 J.Edelenbos,A.VanBuuren,Thelearning…,op.cit.

(26)

Tabela1.Wartościpoznawczeszkołyracjonalistyczneji k onstruktywistycznejwbadaniachewaluacyjnych

Szkołaracjonalistyczna Szkołakonstruktywistyczna Istrtnrjće n ę t zni(pid

i ) Istrtnrjćzen ę t zni(szer kiikceptri a n r j ć )

Pen r j ć (stiłrjćeprt i z i a n r j ć ) O b n e

Wniygrdnr jćMrżanrjćrdz rrin ni

Rzetea nrjćPrtne d z ia n r j Źródło:tłumaczeniezaT.Phillips,J.P.deWet,Towardsrigorous

practice:Aframeworkforassessingnaturalisticevaluat ionsinthedevelopmentsector,

„Evaluation”2017,Vol.23(1),s.102-120.

Podejścieracjonalistyczne–dominującehistorycznie–

koncen-

trujesięnametodachilościowychiwiążesięzideąpowtarza lnego,m i e r z a l n e g o eksperymentuspołecznego(sta tystycznebadanierelacjim i ę d z y czynnikamiXiY)¹⁸.Nast awienietomierzyprocesywujęciuekonomicznym,wpersp ektywieefektywnościorazskutecznościdzia-

łań,wymagającodewaluatorówklarownegosprecyzowani acelówor-ganizacjiprzedprzystąpieniemdobadania¹⁹.

Wramachewaluacjiracjonalistycznejfunkcjonujądwa nurty:formującyorazpodsumowujący.Pierwszyz nichkon centrujesięnaefektywnościprocesów,zaśinformacjeuzys kanewjegotokumogąposłużyćdowprowadzanianatychmi astowychkorektiusprawnieńw sposobiedostarczaniau sługspołecznych.Ewaluacjapodsumowu-

jącazwracauwagęnaskutecznośćdziałańidokonywanaje stzwyklew przypadkujużzakończonychprojektów.Dostar czasięwtenspo-

sóbinformacjinatematstopniawypełnieniapierwotnychz ałożeń

18

(27)

Por.L.Deng,L.Freeman,PlanningforEvaluation:UsingRegressionD iscontinuitytoEvaluateTargetedPlace-BasedPrograms,

„JournalofPlanningEducationandResearch”2011,Vol.31 (1), s.

308-318;D.Guyadeen,

M.Seasons,EvaluatingTheoryandPractice:ComparingProgramEval uation

andEvaluationinPlanning,

„JournalofPlanningEducationandResearch”2016,firstpublishedd ate:November-03-2016,DOI: 10.1177/0739456X16675930.

19 D.Guyadeen,M.Seasons,EvaluatingTheory…,op.cit.

(28)

21

iumożliwiaracjonalnądecyzjęzarządczą,przedewszystki modnośniekontynuacjiwcześniejprowadzonychdziałań²⁰ .

Wpodejściukonstruktywistycznymewaluacjędefiniuje sięprzezpryzmatkulturyorganizacyjnej.Gromadzenieinf ormacjinatematpraktykwewnętrznychorazoczekiwańsp ołecznychmapobudzaćdoautorefleksji–

odkrywania,dostosowaniaidefiniowaniacelóworganizacj iprzezakumulacjęjakościowejwiedzynajejwłasnytemat.P rzyjmuje się,żewten sposób wzmacnia się kreatywnośćiinnowacyj-

nośćwposzukiwaniunowychformrealizowaniausługs połecznych.Innymisłowy,ewaluacjakonstruktywistyczn aniejestprocesemneu-

tralnym,nastawionymnawypracowanieobiektywnych,st andardo-

wychwyników.Oznaczaonaindukcyjnąanalizęzłożone gosystemupowiązańmiędzycelamiorganizacji,realizowa nymidziałaniamiorazw i z j am i , jakienatematorganizacji mająwszyscyinteresariuszezaan-

gażowaniwjejfunkcjonowanie²¹.

Bardziejszczegółowejprezentacjipostrzeganiaewalua cjidokonałaJenniferGreene²²,wyróżniającczterygłówne nurtyteoretyczne:

1. postpozytywistyczny, 2. pragmatyczny,

3. interpretatywny, 4. krytyczny.

Nurtpostpozytywistycznyodnosisiędotradycjinauk przyrodni-

czych,opartychnaeksperymentalnychmetodachilościow ych,ma-

jącychnacelupodniesienieefektywnościiskutecznościpr ocesów.Podejścietozakładastosowanieuniwersalnychza sadmatematycz-

(29)

nych,dziękiczemumożliwejestporównywanieiwybórtych działań,któregwarantująnajlepszerezultaty(zwłaszczaw perspektywiefinan-

s o w e j ) . Procesewaluacyjnywymagawtymprzypadkuj asnegookre-

śleniacelóworganizacyjnych,odnoszącychsięmierzalnych kryteriów,

20 Ibidem.

21

S.Ivaldi,G.Scaratti,G.Nuti,Thepracticeofevaluationasanev aluationofpractices,,,Evaluation”2015,Vol.21 (4), s. 497- 512.

(30)

anastępnieprzeprowadzenieeksperymentalnych,statys tycznieistot-nychpomiarów²³.

Nurtpragmatycznywykształciłsięwodpowiedzinaprak tyczneproblemyzwykorzystaniempoddanychstandaryza cjikryteriówsku-

tecznościiefektywnościdziałań,najakietrafialiewaluatorz ystosu-

jącypodejściepostpozytywistyczne.Argumentowano,ż eewaluacjapowinnabyćzawszedostosowanadospecyfi kizadaniapublicznego.P r z e z toewaluacjamanacelunie tylewskazanieprojektumogącegolepiejodinnychrealizow ać cele społeczne,iledostarczenie zarządzają- cyminformacjiodnośnieobszarów,którewramachwybran egodzia-

łaniamożnapoprawić celempodniesieniacałościowejs kutecznościi efektywności²⁴.

Nurtinterpretatywnywyszedłpozaramyorganizacjiir ealizowa-

nychprzezniądziałań,kładącnacisknaideępluralizmupo znawcze-go–

poznaniewizjiświatawszystkichinteresariuszyzaangażow anychw wybranedziałanie.W tensposóbwiększynaciskz aczętokłaśćnametodyjakościowe,umożliwiającepoznani emotywacjiorazopiniiróżnychgrupspołecznych,zaangażo wanychwfunkcjonowaniewybra-

n e j organizacji.Womawianymnurciesubiektywnepostul aty,uwagiiprzemyśleniastająsięważniejszeodracjonalist ycznychrelacjistaty-

stycznychiekonomicznychmiernikówefektywności,coprze łożyłosięnazwiększenieodpowiedzialnościspołecznejoraz wzrostlegitymizacjidziałańpublicznych²⁵.

Nurtkrytycznystanowirozwinięcieinterpretatywnego przezzwiększenienaciskunaprzebiegprocesównegocjac yjnychmiędzyinteresariuszami(decydentami,beneficjent amidziałań,ewaluatoramietc.).Wtensposóbewaluacjasta jesięnarzędziemdialoguspołecz-

(31)

n e g o , służącymdefiniowaniucelóworganizacyjnychprz ezłączenieo d m i e n n y c h perspektywiwizjidziałania.P odejściekrytycznezwra-

cauwagęnawalkęzwykluczeniemspołecznympoprzezpr omocję

23 Ibidem,s. 3.

24 Ibidem.

25 Ibidem.

(32)

23

inkluzywnościiupodmiotowieniaspołecznegoorazdemokr atycznościprocesówdecyzyjnychwsektorzepublicznym²⁶ .Podsumowującyopisnajważniejszychróżnicmiędzyposz czególnyminurtamiewaluacjiprzedstawionowtabelinr2.

Tabela2.Głównenurtywewaluacji Koncepcjafilozo

ficzna Promowanewar

tości Kluczowiodbior

cy Preferowaneme

tody Prstprzytynzu

efektyn rjćeskzt ecznrjć

e

decydencn

narjcnre:

e k s p e y uentye inianzikrz y j c n /krszt

Piguityzu

knernn ctrep ikty cznrjćekrnt r a i cikrjc

knernncypr cektóez i z ą d z i c ą c y

narjcnrencikrjc nre:inknetye

ynidy er b s e icce

Intep etity nzu pazianz uezrzzu nennee óżnrrdnrj ć

eianzzcącydz niłinnier d b n r cyd z n i ł i ń

cikrjcnre : s t z d n i p zypidkze

ynidyei n i a n z i drkzu

Nztkytyczny

euincypi cciezprdu nrtrnenne ez u n i n i s

rdbnrcydzniłińe gzpydefir yzrine

zczestnnczą ce:z c z e s t n n c t r nnteesinzszy cikrj cnryunnarjc Źródło:tłumaczeniewłasnezaD.Guyadeen,M.Seasons,EvaluatingTheory…,op.cit.,s. 3.

Taksilniezarysowaneróżnicew postrzeganiuewaluacji dopro-wadziłydo„wojnyparadygmatów”–

teoretycyipraktycyewaluacjipodzielilisięnaobozysympa tykówneoklasycznegorealizmuorazindukcyjnychkonstr uktywistów.Dopierwszychsilniejprzemawia-

łaobietnicaobiektywnejpewności,jakąwczasachprzełom uXXiXXIwiekudawałametodaeksperymentalna.Drudzyz wracaliuwagę,ż e wynikiuzyskanewramachtakiegopodej ściaopierająsięnaaprio-

rycznychkryteriach,wtensposóbprzedstawiającnierzeteln

einiemia-rodajne rezultaty–

zwłaszczawprzypadkuprogramówspołecznych²⁷.

26 Ibidem.

27 Por.K.J.Bledsoe,J.A.Graham,Theuseof…,op.cit.;T.Phillips,J.P.deWet,

(33)

Towardsrigorous…,op.cit.

(34)

Ponieważewaluacjastanowinarzędzipraktyczne,rozt erkifilozo-

ficznemusiałyustąpićwobecutylitarnegopytaniaoto,któr epodej-

ściedefactobardziejsłużydecydentomiaktoromżyciapub licznego,przyczyniającsiędopoprawyjakościpolitykpublic znych.Czybędzietoewaluacjajakościowa,biorącapoduwa gęszerszykontekstspołecz-

ny,alejednocześnietrudniejszadopóźniejszejweryfikacji?

Amożeilościowa,oferującakonkretnewskazówkizarządc ze,alewwąskimkontekścieorganizacjiwyizolowanejodoto czenia?Jakkolwiekpodej-

mowanopróbyzobiektywizowanegouporządkowanianur tówewalu-

acyjnychpodkątemichmożliwejprzydatności,napytaniate nieudałosięjednoznacznieodpowiedzieć²⁸.

Niemożnośćrozwiązaniafundamentalnegosporuepist emologicz-

n e g o doprowadziładowykształceniasięnurtuwielop aradygmatycz-

negowewaluacji,zakładającegorównoczesnewykorzystan ieróżnychperspektyw,podejśćinarzędzibadawczych(tri angulacja),celemna-

kreśleniapełniejszegoobrazuorganizacjiorazlepszejocen yspraw-

n o ś c i programu,projektubądździałania.Dogmatyczny spórmiędzykonstruktywistamia realistamiustąpiłwobec podejściamieszane-

go,dążącegodoukazaniajaknajwiększejilościdanychdot yczącychskutecznościprocesóworaztowarzyszącychimo pinii,motywacjietc.W ujęciuwieloparadygmatycznymdob órkonkretnychnarzędziewalu-

acjiokreślanieapriorycznydogmat,alekonkretnepotrzebyz arządczei polityczne,zuwzględnieniemskalidziałańobjęty choceną²⁹.

(35)

28 Por.D.L.Stufflebeam,Meta-

evaluation,,,JournalofMultidisciplinaryEvaluation”2011,Vol.7(15) , s. 99-158;

L.R.Peck,Y.Kim,J.Lucio,AnEmpiricalExaminationofValidityinEvalua tion,,,AmericanjournalofEvaluation”2012,Vol.33 (3), s. 350-365.

29

Por.K.L.Bledsoe,J.A.Graham,Theuseof…,op.cit.;K.Hayton,Eval uatingtheevidence–

amovetoamoreRealisticEvaluation:AcasestudyofRegionalSele ctiveAssistanceinScotland,,,Evaluation”2015,Vol.21 (2), s.

248-262.

(36)

25

Sprsrbypridzennidzniłińei azicycnych

1.3. Sposobyprowadzeniadziałańewaluacyjnych

Wodróżnieniuodtradycyjnejkontroli,ewaluacjęmożna scha-

rakteryzowaćjakoocenęidoskonaleniedziałańwtrakcieic htrwa-nia,aniejedynienakonieckonkretnegoprojektu–

wtymkontekścied z i a ł a n i e skierowanejestnietylkonap rzeszłośćiteraźniejszość,alerównież(amożeprzedewszys tkim)przyszłość³⁰.Należyzwrócićuwa-

gę,żezewzględunamomentprowadzeniabadaniawyróżni ćmożnanastępującerodzajeewaluacji³¹:

• ewaluacjęexante–

przedrozpoczęciemdziałania,zadania,pro- jektuczyprogramu;

• ewaluacjęexpost–

pozakończeniudziałania,zadania,projektuc z y prog ramu;

• ewaluacjęadhoclubongoing–

wykonywanąwtrakcietrwaniaprogramu,zwykle jednak wzaawansowanymjegostadium.

Ewaluacjaexantedotyczyprzedewszystkimprocesówp lanistycz-

nych:doboruobszarudziałania,definiowaniabeneficjentó w,opraco-

wywanialistymożliwychakcji,projektowaniawynikówdział aniaorazbudżetowania³².Tentypewaluacjiuznajesięzaszcz ególnieproblema-

tyczny,ponieważtrudnojednoznaczniewykazaćjejwpływ napopra-wę

skutecznościisprawnościrealizowanychpóźniejdziałań³³. Ewaluacjaexpostbudzimniejkontrowersji,ponieważpos iadawy-raźnypunktodniesienia–

dotyczyocenyrealizacjizaplanowanychd z i a ł a ń wodnie sieniudouprzedniozdefiniowanychzamierzeńorazicheko nomicznejefektywności³⁴.Zewzględunahistorycznieblis kie

(37)

30 J.Edelenbos,A.VanBuuren,TheLearningEvaluation…,op.cit.

31 K.L.Bledsoe,J.A.Graham,Theuseof…,op.cit.

32

P.Roberts,EvaluatingRegionalSustainableDevelopment:Approa ches,MethodsandthePoliticsofAnalysis,,,JournalofEnvironment alPlanningandManagement”2006,Vol.49, s. 515-532.

33 L.Deng,L.Freeman,Planningfor…,op.cit.

34 L.Laurian,M.M.Shaw,EvaluationofPublicParticipation.ThePractices ofCertifiedPlanners,,,JournalofPlanningEducationandResearch”

2007,Vol.2 8 , s . 2 9 3 - 3 0 9 .

(38)

związkiewaluacjizpraktykamikontrolnymi,tapierwszaczę stoprzyj-

mujepostaćexpost,koncentrującsięnarozbieżnościach międzyza-łożeniamiaefektamiwybranegoprogramu–

naopisiezamierzonychizdefiniowaniuniezamierzonychz mian,jakiewywarłaaktywnośćor-

ganizacjiwtokurealizacjidanego działania³⁵.

Ewaluacjatypuongoingjestprocesemnajbardziejzłożon ym,nasta-

wionymnawytypowaniemożliwychkierunkówtransformac jidanegoprojektuorazwskazaniedziałańzaradczychnawy padekwystąpie-

n i a określonychczynnikówryzyka³⁶.Wtokudziałańewalu acyjnycho p r a c o w u j e sięzestawmiariwskaźników,p ozwalającydecydentomnaidentyfikacjęzagrożeńorazd okonywaniestosownychkorekt,umożliwiającychpomyśl nąrealizacjęzałożonegocelu³⁷.Podejściet o uznajesięza ważnykrokwstronęracjonalnegomodeluzarządza- niaorganizacją,wramachktóregodokonujesięciągłego dostosowa-

n i a iulepszaniaplanów,założeńorazpraktykiwoparciuo mierzalneip o r ó w n y w a l n e kryteria³⁸.Wtymkontekście działaniaewaluacyjnem o ż n a powiązaćzideązarządzani ajakościąiciągłegodoskonalenia,zogniskowanegonausta wicznymdefiniowaniu,mierzeniuidoskona-

leniuprocesóworganizacyjnych³⁹.

Należyodnotować,żeewaluacjapowinnaobejmowaćni etylkowymiarprogramowy,alerównieżjednostkowy.Ic hoćjakośćusługspołecznychzależyodsposobufunkcjono waniaorganizacjijakoca-

łośc i, tendeterminowanyjestprzezindywidualnewizjepra cownikówd o t y c z ą c e wykonywanejprzeznichpracy

40.Wtymkontekściezwra-

c a sięrównieżuwagę,żedziałaniaewaluacyjnewymagająs prawności

(39)

36

V.Oliveira,P.Pinho,EvaluationinUrbanPlanning:AdvancesandProspects, ,,JournalofPlanningLiterature”2010,Vol.24, s. 343-361.

38 L.Laurian,M.M.Shaw,Evaluationof…,op.cit.

39 B.Montrosse-

Moorhead,J.C.Griffith,TowardstheDevelopmentofReportingSta ndardsforEvaluators,,,AmericanjournalofEvaluation”2017,first publisheddate:April-13-2017,DOI:

10.1177/1098214017699275.

40 S.Ivaldi,G.Scaratti,G.Nuti,Thepracticeof…,op.cit.

(40)

widentyfikacji,wyjaśnianiuorazumiejętnymtłumaczeniuk ryteriówprzyjętychdoopisusytuacjiprogramu.Wtakimuję ciudziałniatepełniąnierzadkofunkcjęperswazyjnąimoty wacyjną,wspierająteżpoczuciesłusznościpracowników administracjiodnośniesensupo-

dejmowaniakonkretnychdziałańwsferzepublicznej⁴¹. Zewzględunatakszerokiespektrummożliwościwykorz ystaniaewaluacjidowodzono,żeprocesocenyniemożezam ykaćsięwsztyw-

nychramachdefiniowaniaipomiaruwyników(costawiałob yjązbytbliskotradycyjnejkontroli).Zaczętozwracaćuwagę ,żewtakimprzy-

padkudziałaniaewaluacyjneprowadzićmogądowykształc eniasię

„kulturyaudytu”,któramanaceluwskazanienajważniejszy chzmianprojektowychprzezwykorzystaniewyłącznienar zędziilościowych,kwantyfikującychprzebiegirezultatynaj ważniejszychprocesów⁴².Po-

zwalaonaoceniaćekonomicznąefektywnośćprojektów,t ymsamymu m o ż l i w i a opiniipublicznejdokonanieszyb kiejocenywartościdzia-

łańwrelacjidoponoszonychnakładówfi ansowych.Alezdr ugiejstronypozbawiaorganizację motywacjidoreflek sjinadzłożonością i niepewnościąotoczeniaorganizac yjnego,ograniczającinnowacyj-

n o ś ć iprzedsiębiorczośćmenedżerówodpowiedzialnych zarealizacjęzadańpublicznych⁴³.

41

(41)

Por.N.L.Smith,EmpowermentEvaluationasEvaluationIdeology,,,A mericanjournalofEvaluation”2007,Vol.28 (2), s. 169-

178;E.J.Fuller,L.Hollingworth,

J.Liu,EvaluatingStatePrincipalEvaluationPlansAcrosstheUnitedStat es,

,,JournalofResearchonLeadershipEducation”2015,Vol.10 (3), s.

164-192.

42 F.Hansson,OrganizationalUse…,op.cit.

43 S.Ivaldi,G.Scaratti,G.Nuti,Thepracticeof…,op.cit.

(42)

1.4. Obszaryewaluacjiirolaewaluatoraw procesieoceny

Przyjmujesię,żefundamentemdziałańewaluacyjnych jestdoko-

naniedokładnejcharakterystykidziałania,projektuczypro gramupu-

blicznegowodniesieniudonastępującychpięciuobszarów⁴

4:

1. potrzeby–

opisuproblemuwymagającegorozwiązaniaorazcha rakterystykigrupydocelowej;

2. teorii–

analizyzałożeńikoncepcjizwiązanychzdanymproble- memspołecznymorazmetodjegorozwiązania;

3. procesu–

dokładnegoopisusposobówoddziaływanianapro- b l e m społeczny,umożliwiającegoocenęskutecz nościorazwy-

pracowaniepowtarzalnychstandardówiprocedur;

4. wpływu–

opracowanianarzędzipomiaruumożliwiającycho c e n ę postępówdziałaniawodniesieniudozdefiniowa nychpo-t r z e b społecznych;

5. efektywności–

określeniastopniarealizacjicelówdziałaniaw odnie sieniu doponoszonychnakładówfinansowych.

Napodstawietakokreślonychzałożeńmożnapóźniejdo konaćewaluacjiwzakresie⁴⁵:

1. wybranegoobszaru(wąskozdefiniowanyproblem,gr upadoce-lowa),

2. wybranegokomponentu(makrokategoriadziałania publiczne-go),

3. całościsystemu(zintegrowanyzestawpowiązańw danejdzie-dzinie).

(43)

44 E.Bowen,E.Gilchrist,ComprehensiveEvaluation:AHolisticApproach toEvaluatingDomesticViolenceOffenderProgrammes,,,Internat ionalJournalofOffenderTherapyandComparativeCriminology”2 004,Vol.48 (2),

s. 215-234.

45

J.A.Supovitz,B.SnyderTaylor,B.,SystemicEducationEvaluation.E valuatingtheImpactofSystemwideReforminEducation,,,Americ anJournal

ofEvaluation”2005,Vol.26 (2), s. 204-230.

(44)

Obsziy eiaziccnnrai eiazitriprc esnerceny

29

Bezwzględunapoziomocenyprzyjmujesię,żeewaluacj awin-

n a generowaćpodobnyzestawinformacji,pozwalającyn aczerpaniemożliwieuniwersalnejwiedzynatematprzebie guzadaniapubliczne-

go.Wtymkontekściemożnawyróżnićzestawpięciuuni wersalnychobszarówzapewniającychrzetelnośćewaluac ji⁴⁶:

1. analizęprocesów(processanalysis),

2. monitorowanieprogramów(programmonitoring), 3. ocenę wpływu(impactassesment),

4. analizę kosztowo-efektywnościową(cost- effctivenessanalysis),

5. ocenęprocesuprojektowania(designprocess).

Analizaprocesówodnosisiędoidentyfikacjiorazopisunaj ważniej-

s z y c h czynnościworganizacji(zwykledzielonychnawe wnątrzorga-

n i z a c y j n e orazskierowanenazewnątrz),którewpływa jąnaosiąganieprzezniącelów.Wtokuanalizyprocesówzwy kleposzukujesięin-

f o r m a c j i jakościowej,stądczęstostosowanyminarzędz iamisąobser-

w a c j a , wywiady,grupyfokusowe,analizadokumentacji.J ednocześnien i e wykluczasięmetodilościowych,wtymm.

in.wykorzystaniaróż-n e g o rodzajukartwyników–

ostatecznydobórnarzędzizwyklezale-

ż y odprzyjętychograniczeńczasowychorazbudżetowych dladziałańewaluacyjnych⁴⁷.

Oileanalizaprocesówkoncentrujesięnasprawnościizd olno-

ściachorganizacyjnych,otylemonitorowanieprogramów wychodzipozawybranypodmiot,kładącnacisknaefektyk ońcowedziałańz perspektywyichodbiorców.Wtensposób oceniasięprzedewszyst-

kimsubiektywniepostrzeganąskutecznośćdziałańorazpr ocesyko-

munikacyjnez grupądocelową,cowiążesięz przeświadcz eniemo wyższejskutecznościprogramówcechującychsięi

(45)

ntensywnąkomu-

nikacjąmiędzydostawcamiiodbiorcamiusług⁴⁸.

46

Por.E.M.Howell,A.Yemane,AnAssessmentofEvaluationDesigns.Ca seStudiesof12LargeFederalEvaluations,,,AmericanJournalofEval uation”2006,Vol.

27 (2), s. 219-236; L.Laurian,M.M.Shaw,Evaluationof…,op.cit.

47 E.M.Howell,A.Yemane,AnAssessmentof…,op.cit.

48 Por.E.M.Howell,A.Yemane,AnAssessmentof…,op.cit.;L.Laurian, M.M.Shaw,Evaluationof…,op.cit.

(46)

Stworzeniepełnegoopisurelacjimiędzydostawcąaodbi orcądzia-

łaniawymagaprzeprowadzeniaszerokozakrojonychbadań ocharak-

t e r z e zarównojakościowym(przedewszystkimanaliza dokumentóworganizacyjnych–

instrukcji,broszurinformacyjnych,stronyinterne-

towej,formalnychprocedurzadawaniapytań),jakiilości owym(np.monitorowanieliczbyzapytańikontaktów,pomia rczasuodpowiedzin a zapytania,ewidencjonowanielic zbyuczestnikówdziałań).Ponie-

ważpozyskiwanieianalizatakichdanychjestprocesemrel atywnied ł u g o t r w a ł y m idrogim,niekoniecznieznajduje zastosowaniewprak-tyce–

zamienniestosujesięuproszczoneankietysatysfakcji,któr ez w y k l e niedająrzetelnejodpowiedzinapytanieoodczuc iaspołecznedotyczącerealizowanegodziałania⁴⁹.

Podczasgdymonitorowanieprogramówodnosisiędosu biektyw-nej ocenyodbiorcówrealizowanego działania, badaniewpływuma

nacelupoznanieobiektywnegowpływupolitykpublicznych, programówczyprojektównarzeczywistośćpoprzezkonfro ntacjęichefektówz pierwotnymizałożeniami.Wtakimprzy padkuzakładasięnietylkop o ró w n a n i e zmianwybranyc hwskaźnikówwczasie,aleteżdokona-

nieeksperymentalnegozestawieniagrupybiorącejudział wdziałaniuz taką,któragoniedoświadczyła(eksperymentz wykorzystaniemgru-pykontrolnej)⁵⁰.

Analizakosztowo-

efektywnościowamacharakterstricteilościowy

– poleganazestawieniuwynikówdziałańiprzeliczeniuichn azuży-

teśrodki.Wtensposóbtworzysięwspółczynnikifinansowe, którychwartośćwinnabyćwprzyszłościudoskonalana.Za kluczowyproble-

memzwiązanyztymobszaremocenyuznajesiękoniecznoś ćodpo-

(47)

wiedniegozaprojektowaniaipóźniejszegoprowadzeniaszc zegółowegob u d ż e t u wperspektywiezadaniowej–

budżettradycyjny,grupującykosztywogólnychkategoriac h,niepozwalanaskutecznepowiązanie

49 Ibidem.

50 E.M.Howell,A.Yemane,AnAssessmentof…,op.cit.

(48)

31

wydatkówi działań,a tymsamymuniemożliwiamonitoro wanieefektywności⁵¹.

Ostatnimobszaremewaluacji,odnoszącymsiędopersp ektywyexante,jestocenaprocesuprojektowania,czylianali zasposobu,wjakipodjętosięplanowaniawybranegoproj ektu.Wykorzystującmetodyj a k o ś c i o w e , dokonujesię tuopisum.in.sposobudoborugrupydoce-

l o w e j , działańpodjętychnarzeczidentyfikacjiinteresari uszy,spraw-

nościprocesównegocjacyjnychiplanistycznychczykryterió wdoboruwskaźnikówocenydziałania.Wodniesieniudomet odologiiilościowejszacujesiękosztyzwiązanezprzygotowa niemdziałaniaiodnosijedop ó ź n i e j s z e j sprawnościje gorealizacji.Wtensposóbmożnazdefinio-

waćistaraćsięrozwiązaćzarównoproblemywewnątrzorg anizacyj-

n e (np.problemyadministracyjne,brakizasobów),jakize wnętrzne(np.naciskipolityczne,nieuwzględniającekryter iumwykonalnościdziałania)⁵².

Jakkolwiekdziałaniaewaluacyjnemogąkłaśćdowolniewi ększylubm n i e j s z y nacisknawspomnianewyżejobszary ,przyjmujesię,żerze-

t e l n a ewaluacjawinnasięodnieśćdokażdegoznich⁵³.Jed nocześnieteoretycyzwracająuwagę,żeuwzględnieniewsz ystkichzagadnieńniemusiprzełożyćsięnapóźniejsząużyt ecznośćraportuewaluacyjne-

go.Wtymkontekścieważnejest,bysposóbopracowaniainf ormacjij a s n o tłumaczyłrelacjemiędzycelamistrategi cznymiikonkretnymid z i a ł a n i a m i organizacjiorazd okonywałopisuczynnikówryzyka,ja-

kiemogąwystąpićwtrakcierealizacjiprzyszłychdziałań⁵⁴.Z wracasięt a k ż e uwagęnawizualizacjędanychilościowyc h,umożliwiającąichin-

t u i c y j n e zrozumienie,atymsamymzwiększeniewpływ unaprzyszłe

(49)

51 Por.E.M.Howell,A.Yemane,AnAssessmentof…,op.cit.;L.Laurian, M.M.Shaw,Evaluationof…,op.cit.

52 Ibidem.

53 K.L.Bledsoe,J.A.Graham,TheUseof…,op.cit.

54

S.Sridharan,MakingEvaluationsWork.ACommentaryontheCaseStudy, ,,AmericanJournalofEvaluation”2008,Vol.29 (4), s. 516-519.

(50)

procesydecyzyjne⁵⁵.Wtymkontekścienależyodnotować,ż eskutecz-

nośćdziałańewaluacyjnychwdużowiększymstopniuzależ ygłównieodindywidualnychuwarunkowańorganizacy jnych–przedewszyst-

k i m orientacjinapotrzebyinteresariuszy(poczuciemisji)–

niżodwy-

korzystaniakonkretnychnarzędziopracowaniaiprezentacji danych⁵⁶.Zwracasięrównieżuwagęnakoniecznośćzaanga żowaniasiędecyden-tówwprocesyewaluacyjne–

bezichwyraźnegowsparciaewaluacjanie przekładasięnauczeniesięorganizacji^57.

Zewzględunacelewaluacji,możnapodzielićjąnatrzyrodz aje^58:

1. instrumentalną, 2. konceptualną, 3. perswazyjną.

Podejścieinstrumentalneodnosisiędoracjonalnościwp rocesieewaluacyjnym,wramachktóregonapodstawieob iektywnychkry-

teriówmerytorycznychmożliwejestpodjęciedecyzjiokon tynuacjib ą d ź zaprzestaniuwybranychdziałań.Ewaluacj akonceptualnamanaceluwypracowaniewczasieswojego przebieguwiedzynatematpro-

cesówspołecznychzachodzącychwewnątrzorganizacjiiwj ejotocze-

n i u dziękizbieraniuiinterpretowaniuinformacji.Zkole ipodejścieperswazyjnewiążesięzwykorzystaniemewalu acjidoprzekonaniao aksjologicznejsłuszności,częstowop arciuozgóryprzyjętezałoże-

nia.Jednakwostatnimprzypadkuewaluacjazamiastsłużyć poprawiesprawnościpolitykpublicznych,możestaćsięnarz ędziemwcynicznejw a l c e politycznej⁵⁹.

55

(51)

N.Elmquist,J.S.Yi,Patternsforvisualizationevaluation,,,Info rmationVisualization”2015,Vol.14 (3), s. 250-269.

56 V.Pattyn,Whyorganizations…,op.cit.

57

J.Reeve,D.Peerbhoy,Evaluatingtheevaluation:Understandingthe utilityandlimitationsofevaluationasatoolfororganizationallearnin g,„HealthEducationJournal”2007,Vol.66 (2), s. 120-131.

58 P.Dahler-

Larsen,SurvivingtheRoutinizationofEvaluation.TheAdministrativ eUseofEvaluationinDanishMunicipalities,,,Administration&

Society” 2000,Vol.32 (1), s. 70-92.

59 Ibidem.

(52)

33

Mającnawzględzieopisanykontekstpolitycznyietycznye waluacji,a takżezasygnalizowanewcześniejryzykoepiste mologiczne(induk-

cyjny,subiektywistycznycharakterwybranychpodjeśćewa luacyjnych),szczególnąuwagępoświęcasięproblematyce odpowiedniegowyboruewaluatorów.Znaczeniemająniety lkoichdoświadczenia,kompeten-

cjebądźcechycharakteru,alerównieżryzykowystąpienia potencjal-

negokonfliktuinteresów,którymożedoprowadzićdoznieks ztałceniaocenyzadańpublicznych⁶⁰.Zwzględunapodmiot dokonującybadańwyróżnićmożnatrzyrodzajeewaluacji:

1. zewnętrzną–

gdyjestprzeprowadzonaprzezzewnętrznegoeks- p e r t a c z y organizację;

2. wewnętrzną–

gdyprzeprowadzająjąosobalubzespółbezpo- średniobądźpośredniozwiązanizdziałaniem,projek temczyprogramem,wyraźniejednakniezależniwsto sunkudoocenia-negodziałania;

3. autoewauluację–

gdyprzeprowadzonajestprzezuczestnikaprocesów poddawanychewaluacji.

Każdyzewspomnianychtypówcharakteryzujesięwa damiizale-

tami.Oileewaluacjazewnętrznaniebudziwiększychkontr owersjiz w i ą z a n y c h zniezależnościąiobiektywizme mprocesuoceny,wiążesięzwyższymryzykiemnieprzyda tnościzarządczejraportuewalu-

acyjnegozewzględunaograniczonąznajomośćspecyfikid ziałaniazestronyosobydokonującejoceny.Dlaporównani a,ewaluacjawe-

w n ę t r z n a gwarantujegłębszezrozumienieistotyzadan iapublicznego,jednakprowadzićmożedopodejrzeńokonfl iktinteresówlubstron-

niczość.Wtymkontekścienajwiększekontrowersjebudz

(53)

ąpraktykiautoewaluacyjne.Zjednejstronyzwracasięuwag ę,żewzhierarchizo-

wanejstrukturzesektorapublicznegowdrożenietakichprak tykmożebyćsposobemutrzymanialubwywalczeniaauton omiiorganizacyjnej,pozwalającejnarealizacjęinnowacyjny chprzedsięwzięć.Zdrugiejzaś

(54)

skutecznośćtakiegorozwiązaniawymagatrudnych,projak ościowychprzeobrażeńkulturyorganizacji,doktórychmoż nazaliczyć⁶¹:

a) zapewnieniecyklicznegorozwojuzawodowegopracow ników,

b) włączenieinteresariuszywprocesydecyzyjne, c) zerwaniez„mentalnościąfolwarczną”–

koordynacjadziałańz innymiorganamiadministracji publicznej,

d) zapewnieniekanałówefektywnejkomunikacjizewnęt rznejize-wnętrznej,

e) utrzymaniewysokiegomoralepracownikówi

poczuciamisji.Trudnościzprowadzeniempraktykautoe waluacyjnychprzesądza-

jąowiększejpopularnościewaluacjiwewnętrznejoraz–

zwłaszczaw krajachUniiEuropejskiej–

zewnętrznej⁶².Powszechnewykorzysta-

n i e ewaluacjizewnętrznychnietylkostanowiprzyczynępo stępującejprofesjonalizacjiewaluatorów,aleteżimpulsdoo pracowaniauniwer-

s a l n y c h standardówzawodowych.Zewzględunaopi sanewcześniejproblemynaturyfilozoficzno-

poznawczej,inicjatywymającenaceluwypracowanietzw.

metaewaluacji–porozumieniawzakresiestandar-

dówdziałaniaorazuniwersalizacjipraktykimetodologiiją charakte-r y z u j ą c y c h –

natrafiająnapoważnetrudnościwuzyskaniuszerszegopop arciateoretykówipraktyków⁶³.Doprzykładówtakichuniw er-salnychregułnależą:ConsolidatedStandardsofReporting Trials–

CONSORT,ConsolidatedCriteriaforReportingQualitativeR esearch

– COREQ,QualitativeResearchGuidelines–

QRG,TransparentRe-

portingofEveluationswithNonrandomizedDesigns–

TREND,Chec-klistforEvaluation-SpecificStandards–

CHESS.

Ostatniąkontrowersjęzwiązanązczynnikiemludzkimw ewalu-

a c j i stanowirolainteresariuszywprocesieocenydziałańpu

(55)

blicznych,zwłaszczawprzypadkustosowaniapodejściakr ytycznegowewalu-

acji,gdyzbiórindywidualnychopiniiiprzekonaństanowifun damentocenyorganizacji.Przedewszystkim–

podobniejakwprzypadku

61

J.Vanhoof,P.VanPetegem,Designingandevaluatingtheprocessof schoolself-evaluations,„ImprovingSchools”2011,Vol.14 (2), s.

200-212.

62 Ibidem.

63 B.Montrosse-Moorhead,J.C.Griffith,Towardsthe…,op.cit.

(56)

EiazicciXXInekz–

prbaeuynyzinni 35

profesjonalnychewaluatorów–

interesariuszymożnauznaćzarów-

noprawnychpartnerówadministracjitylkowtedy,gdycipo siadająodpowiedniekompetencjeorazwiedzęnatematzag adnieńwspółtwo-

rzonychzsektorempublicznym.Dodatkowątrudnośćstan owinie-

uniknionykonfliktinteresówmiędzyróżnymigrupamispołe cznymi,któryograniczazdolnośćdowypracowaniameryt orycznejwartościdodanej wramachdziałańewaluacyjn ych.Wkonsekwencjibadaniainteresariuszyzwykleprowa dzonesąwsposóbuproszczony:naaktu-

alniedostępnejgrupiebeneficjentówdziałań, którymda jesięmożli-

w o ś ć wypowiedzijedyniewramachwąskich,odgórnien arzuconycho p c j i badaniasatysfakcji,rzadkodostarczaj ącegoinformacjęzwrotnąo istotnymznaczeniudlakadryki erowniczejdanegopodmiotu⁶⁴.

1.5. EwaluacjawXXIwieku–problemyiwyzwania

Teoretycyipraktycyewaluacjiidentyfikująszeregobszar ów,którew y m a g a j ą dalszegoopisuisystematyzacjizar ównowkwestiizałożeńpoznawczych,jakipraktycznegost osowaniaewaluacjidopoprawyskuteczności.Wciążżywyp ozostajespórepistemologicznymiędzyra-

c j o n a l i s t a m i akonstruktywistami.Zjednejstronymożn azaobserwo-

wać,żeprocesyewaluacjiodchodząodpróbdokonaniaautor ytarnycho c e n organizacjiwstronęśledzeniajejdziałań.Ty msamymniemożli-

westajesięwyciąganiewnioskówprzezkierującychorazde cydentówpublicznych⁶⁵.Zdrugiejstronydajesięstwierdzić, żesektorpublicznynadalprzywiązujedużąwagędowniosko

(57)

waniaopartegonadowodach,z czymwiążąsięciągłepróbyd ostosowaniaeksperymentalnychnarzę-

d z i ilościowychwewaluacjidonowychobszarówdziałania–

równieżt y c h , wktórychtrudnostosowaćkwantyfiko walnekryteria⁶⁶.Drugi

64 P.Dahler-Larsen,SurvivingtheRoutinization…,op.cit.

65 Por.J.Edelenbos,A.VanBuuren,TheLearningEvaluation…,op.cit.;C.

Bezzi,

EvaluationPragmatics,,,Evaluation”2006,Vol.12 (1), s. 56-76.

66 F.Hansson,OrganizationalUseof…,op.cit.

(58)

zewspomnianychtrendówobserwowanyjestprzedewszyst kimwod-

niesieniudoprogramówfinansowanychprzezUnięEuropejs ką,którejspecyfikawymuszaobowiązekporównywaniawy nikóworazdyfuzjiw i e d z y międzykrajamiczłonkowskimi⁶

7.

Kolejnewyzwaniewzględempraktykiewaluacyjnejodn osisięd o wykorzystaniainteresariuszyorazocenyparty cypacjispołecznej,któreczęstostanowiąważnyelementd ziałańpublicznych.Przedewszystkim zwraca sięuwagęnaproblemdoboru uczestników badaniaopinii.Niezawszeselekcjonujesięichwodniesieniu dokompetencji,c e l ó w lubobszaruewaluacji,alemającn awzględziewyłącznieprak-

tycznekryteriumdostępności⁶⁸.Kolejnewyzwaniedotycz ydoborun a r z ę d z i doopisuipomiarupartycypacjispołe cznej–niezawszeod-

p o w i a d a j ą c y c h celomdziałaniapublicznegoitraktowa nychwdalekoidącymuproszczeniu.Zwracasięuwagę,żeo bokpowszechniestoso-

wanychstatystykdotyczącychfrekwencjiuczestnikówor azpomiaruzadowoleniazachodzikoniecznośćpowszechni ejszegowykorzystanianarzędziocharakterzejakościowym :wywiadów,obserwacjiorazana-

l i z y tekstów(np.informacjiprasowychnt.wybranegoproje ktu)⁶⁹.

Zagadnienietowiążesięzproblememocenyprocesówk omuni-kacjiwdziałaniupublicznym–

zarównowwymiarzezewnętrznym,jakiwewnątrzorganiz acyjnym⁷⁰.Wpierwszymprzypadkuzwracasięuwagę,żew praktyceewaluacyjnejanalizakomunikacjizintere-

sariuszamibywaczęstozaniedbywana(zwyjątkiemtychpr zypadków,w którychkomunikowaniesięzotoczeniemzost ałowyraźniesfor-

mułowanejakoceldziałania).Wdrugimpodkreślasięznac zeniewe-

(59)

wnętrznychprocesówkomunikacyjnychdlapodnoszenias prawności

67 S.J.Lilley-

Walker,M.Hester,W.Turner,EvaluationofEuropeanDomesticViole ncePerpetratorProgrammes:TowardaModelforDesigningandRep ortingEvaluationsRelatedtoPerpetratorTreatmentInterventions,

„InternationalJournalofOffenderTherapyandComparativeCrimin ology”2016, DOI1 0 . 1 1 7 7 / 0 3 0 6 6 2 4 X 1 6 6 7 3 8 5 3 .

69 L.Laurian,M.M.Shaw,Evaluationof…,op.cit.

70 C. Bezzi,EvaluationPragmatics,op.cit.

(60)

działańorganizacji,sprzyjającychpoprawieresponsywn ości,koordy-nacjiijakościdziałańpublicznych⁷¹.

Problematykaocenyprocesówkomunikacyjnychprowa dzidoko-

lejnegowyzwaniastawianegopraktykomewaluacyjnym.

Chodzio ocenęwspółdziałaniamiędzyorganizacyjnegoo raz–szerzej–mię-

d z y s e k t o r o w e g o . Zewzględunamożliwośćwspółd zieleniazasobówo r a z pozytywnywpływnajakośćprojektó w,współdziałaniestałosięw a ż n ą praktykąwdostarcza niuusługspołecznych–zwłaszczawob-

szarachniszowych,wymagającychwiedzyeksperckiej.Wt ensposóbpojawiłasiękoniecznośćopracowanianowychst andardówraporto-

waniaorazmiarocenyskutecznościiefektywnościdziałańr ealizowa-

nychdziękiporozumieniuróżnychorganizacji.Jednakobsza rtenniezostałdotejporydostateczniedobrzeopisanyanip rzezpraktyków,aniteoretyków⁷².

Wtymkontekścieszczególnąuwagęnależypoświęcićws półpra-

cymiędzysektorempublicznymaorganizacjaminon- profit,gdyżz e względunaspecyfikęsektorapozarządoweg ojego

podmiotyczęstom a j ą problemyzewaluacjąswoichdział ań.Wyzwaniestanowim.in.m o ż l i w o ś ć przełożeniacel ównakonkretnemierniki,dobórmetodo-

logiioraznarzędzipomiaru,jakrównieżograniczonezasob yczasui pieniędzy.Ztegopowoduorganizacjetrzeciegosekt oraniepoczyniłyistotnychpostępówwpopularyzacjiprakt ykewaluacyjnych,costa-

nowiistotnąprzeszkodęwnawiązywaniuiutrzymaniupart nerskichporozumieńzsektorempublicznym,któryodsw oichkooperantówwymagajasnych,obiektywnychdowod ówna zmianęspołeczną⁷³.

(61)

71E.

Hogard,R.Ellis,EvaluationandCommunication.UsingaCommuni cationAudittoEvaluateOrganizationalCommunication,,,Evaluati onReview” 2006,Vol.30 (2), s. 171-187.

72

L.I.Marek,D.P.Brock,J.Salva,EvaluatingCollaborationforEffectiv eness:ConceptualizationandMeasurement,,,AmericanJournalo fEvaluation”2015,Vol.36 (1), s. 67-85.

73 K.C.Liket,M.Rey-Garcia,K.E.H.Maas,WhyAren’tEvaluationsWorking andWhattoDoAboutIt:AFrameworkforNegotiatingMeaningfulEv aluationinNonprofits,,,AmericanJournalofEvaluation”2014,Vol.3 5(2), s. 171-188.

(62)

Należyprzytymzwrócićuwagę,żeproblemyzestosowani emprak-

tykewaluacyjnychtodomenanietylkopodmiotówpoza rządowych.Mimodoświadczeńirozbudowanejmetodykid użewątpliwościbada-

c z y budzizdolnośćsektorapublicznegodopraktycznego stosowaniawnioskówzewaluacji–

dokonywaniakorektidostosowańpodnoszą-

c y c h jakośćrealizowanychzadań.Przedewszystkimzaob serwowano,ż e organizacjeodpowiadającezakształtpolity kpublicznychczęstoniedysponująbądźniealokujądostatec znychzasobówdoprzeprowadze-

niakompleksowychdziałańewaluacyjnych.Zwracasięt akżeuwagęn a problemcykluwyborczego,przezktóryad ministracjapublicznam a silniejszątendencjędorozpoczy nanianowychprojektówiprzed-

s i ę w z i ę ć niżdokontynuacjiipoprawystarych,zainicjo wanychprzezpoprzednikówpolitycznych.Wspominasięró wnieżoegoistycznejn i e c h ę c i urzędnikówipolitykówdo ewaluacji,gdyżmożeonastano-

wićpodstawędopociągnięciaichdoodpowiedzialnościwpr zypadkuw y k r y c i a problemówzrealizacjązadań⁷⁴.

Zwracasiętakżeuwagęnaproblematykępolityzacjidz iałańewa-

luacyjnych,któreniedostarczająeksperckiejwiedzypozw alającejnaustalanieprzyszłychpriorytetówdziałańiprogra mów,alewykorzy-

stywanesąjakonarzędziewalkiowładzę,pozwalającenaprz erzucaniesięodpowiedzialnościązaproblemyi niepowod zenia.W tenspo-

sóbraportyewaluacyjnepowszechniestająsięnakierowa nenietylen a szerokorozumianąpoprawępolitykpublicz nych,alewspieraniekonkretnychwizjirozwojuspołeczneg owoparciuopartykularnepre-

f e r e n c j e światopoglądowe⁷⁵.Oilecorazczęściejspoty kaneewaluacjedziałańwpływającychnaśrodowiskonatu