EWALUACJA POLITYK PUBLICZNYCH
2. Cel, przedmiot, generacje, rodzaje i funkcje ewaluacji
Z punktu widzenia przedmiotu badań ewaluację można podzielić na: ewa-luację projektu, ewaewa-luację programu, ewaewa-luację polityki, ewaewa-luację tematyczną oraz metaewaluację. Ewaluacja projektu skupia się na badaniu danego projektu, najczęściej współfinansowanego ze środków zewnętrznych. Ewaluacja progra-mu to oszacowanie jakości całego prograprogra-mu, który może posiadać różne cele.
Ewaluacja ma dać odpowiedź, czy osiągnięto założone wskaźniki ujęte w pro-gramie.
Ewaluacja tematyczna skupia się na otaksowaniu danego, wybranego ob-szaru badawczego. Ewaluacja polityki to ocena działań podejmowanych przez władze publiczne z wykorzystaniem narzędzi finansowych, prawnych, instytu-cjonalnych, których celem jest zaspokojenie określonych potrzeb społeczno-gospodarczych. To także ocena tego, co władza robi, jak to robi, a także czego nie robi, a zdaniem interesariuszy powinna wykonywać. Metaewaluacja to przeprowadzenie kolejnej oceny innej ewaluacji bądź serii ewaluacji12.
W naukach o polityce publicznej można wyróżnić cztery generacje ewalu-acji. Pierwsza generacja – pomiar istotny nacisk kładzie na mierzalność efektów przy zastosowaniu typowych standardowych narzędzi pomiaru13.
Druga generacja ewaluacji – opis koncentruje się na opisie mocnych i sła-bych stron danej polityki publicznej w odniesieniu do założonych celów. Ewa-luator jest zewnętrznym obserwatorem zachodzących zjawisk. Można zatem stwierdzić, iż jego rola jest również marginalna.
Trzecia generacja ewaluacji – ocena zasadza się na obiektywnej ocenie po-lityki publicznej. Ewaluator pełni w niej rolę pewnego rodzaju autorytetu. Jest obiektywnym ekspertem, który ocenia daną politykę i wyciąga wnioski.
Czwarta generacja ewaluacji – ewaluacja dialogiczno-konstruktywistyczna podkreśla rolę ewaluacji jako procesu w pełni demokratycznego, prowadzonego wspólnie z różnymi interesariuszami. Cechuje się ona przejściem od paradyg-matu pozytywistycznego do przedmiotu badania i sytuacji badawczej w
11 A. Zybała, op. cit., s. 10.
12 K. Olejniczak, M. Ferry, Ewaluacja w praktyce sektora publicznego, [w:] Ewaluacja jako standard zarządzania w sektorze publicznym, red., B. Pietras-Goc, Kraków 2008, s. 11–12.
13 Rola ewaluatora jest w tej generacji marginalna (techniczna).
Tomasz HOFFMANN
73
ku paradygmatu humanistycznego. Ewaluator koordynuje zachodzące interakcje między uczestnikami badania ewaluacyjnego polityki publicznej a jej wyko-nawcami i odbiorcami14.
Reasumując, można przyjąć, iż ewaluacja polityki publicznej zyskała ostat-nimi czasy na znaczeniu, rozszerzyła zakres swojego oddziaływania, zróżnico-wała metodologię i zapewniała sobie wpływ na działania w polityce publicznej.
Ewaluacja czwartej generacji jest świadoma i pewna swojej tożsamości15. Dość istotne są sprawy związane z rodzajami i funkcjami ewaluacji. H.
Radnor wskazuje na trzy uniwersalne formy ewaluacji, tj: profesjonalny moni-toring16, profesjonalny przegląd17 oraz ewaluację strategiczną18. Inna metodolo-gia zakłada, że ewaluacja polityki publicznej koncentruje się wokół ewaluacji ex-ante, mid-term, ex-post.
Ewaluacja ex-ante jest przeprowadzana przed wdrażaniem określonej poli-tyki publicznej, ocenia ona, na ile planowane działania w ramach polipoli-tyki są trafne z punktu widzenia potrzeb poszczególnych interesariuszy. Powinna ona odpowiedzieć na następujące pytania: czy polityka publiczna dotyczy faktycz-nych i istotfaktycz-nych wyzwań oraz problemów, w jakich warunkach ma być realizo-wana owa polityka, czy cele są właściwie zdefiniowane, czy cele są przejrzyste, czy są powiązane z celami innych polityk/programów, czy są realistyczne i możliwe do osiągnięcia.
Ewaluacja mid-term jest realizowana w trakcie wdrażania danej polityki publicznej, poddaje ona analizie osiągnięte na tym etapie poszczególne rezulta-ty. Ewaluacja ta może się przyczynić do podjęcia pewnych działań korygują-cych, których celem jest likwidowanie powstałych rozbieżności między zakła-daną polityką a rozbieżnościami powstałymi w trakcie wdrażania.
Ewaluacji mid-term odpowiada na następujące pytania: jakie osiągnięto do tej pory rezultaty, czy są one zgodne z zakładanymi na początku celami, czy pojawiały się jakieś okoliczności sprzyjające, czy zagrażające wdrażanej polity-ki publicznej. Ewaluacja ta najczęściej jest przeprowadzana przez ekspertów zewnętrznych. Chodzi o to, aby zapewnić maksymalną bezstronność w ocenie rezultatów wdrażanej polityki publicznej.
Ostatnim rodzajem ewaluacji jest ewaluacja ex-post. Jej celem jest określe-nie, na ile udało się zrealizować zakładaną politykę publiczną, jej działania
14 B. Turowski, Ewaluacja polityk publicznych, [w:] Wprowadzenie do nauk o polityce publicznej, red., M. Zawicki, Warszawa 2014, s. 90.
15 Por. Ewaluacja w polityce publicznej, red., A. Surdej, Warszawa 2013, s. 24–25.
16 Profesjonalny monitoring odnosi się do stopnia zadowolenia beneficjentów polityki publicznej z podejmowanych działań.
17 Profesjonalny przegląd dostarcza informacji dotyczących wpływu polityki publicznej na jej beneficjentów.
18 Za jej pośrednictwem zbiera się informacje o jakości podejmowanych działań. Zob. H. Randor, Ewaluacja, Warszawa 1996, s. 14–16.
EWALUACJA POLITYK PUBLICZNYCH
74
i procesy. Ewaluacja ta prowadzi do możliwości formułowania wniosków i rekomendacji, które stanowią cenne źródło informacji koniecznych przy pla-nowaniu kolejnych interwencji. W ewaluacji tej istotna jest odpowiedź na na-stępujące pytania: jakie rezultaty przyniosła określona polityka publiczna, jakie one są w zestawieniu z zakładanymi celami, czy są trwałe i użyteczne, czy wdrażana polityka jak dotąd przyniosła określone efekty dla szeroko rozumia-nego otoczenia, wreszcie – czy pojawiły się efekty uboczne oraz czy wdrażana polityka publiczna warta jest dalszej kontynuacji, co w tym przypadku należa-łoby zmienić19.
Inne podziały ewaluacji wyodrębniają ewaluacje szacunkową, w połowie okresu realizacji, pełną. Ponadto można się spotkać z podziałem na ewaluację wewnętrzną i zewnętrzną. Kolejny podział podaje M. Majewski, wyróżniając ewaluację formatywną, konkluzywną, front-end20. Można zatem stwierdzić, iż ewaluacja i jej rodzaje są weryfikowane za pośrednictwem kultury racjonalnego tworzenia, wdrażania i oceniania interwenci dokonywanych przez władze pu-bliczne wszelkich szczebli. Ewaluacja jest również charakteryzowana przez pryzmat funkcji, jakie spełnia. Wyróżnić można funkcje: poznawczą – w której ewaluacja charakteryzuje mechanizm podjętej interwencji oraz ocenia jej wpływ na określoną społeczność lub obszar21, sprawozdawczą – polega ona na informowaniu władz publicznych, realizatorów programu, beneficjentów o pod-jętych działaniach.
Kolejną funkcją jest rola normatywna. W jej wyniku za pomocą ewaluacji ocenia się zgodność i sens podjętych działań publicznych. Można więc przyjąć, że funkcja normatywna ewaluacji przyczynia się do pomocy decydentom w ocenie wartości interwencji danej polityki publicznej.
Ostatnia funkcja to edukacyjna, w której ewaluacja przedstawia określone wnioski i rekomendacje na przyszłość. Powstałe w ten sposób postulaty przy-czyniają się najczęściej do udoskonalenie interwencji publicznych itp.22
W prowadzonych politykach publicznych, które skupiają się na badaniu te-go, co władza robi, a czego nie robi, czyli jakie podejmuje w efekcie decyzje i czy są one zgodne z oczekiwaniami społecznymi, doniosłą rolę pełnią kryteria ewaluacyjne, które oceniają daną politykę publiczną. Dają one odpowiedź na
19 Zob. Teoria i praktyka ewaluacji interwencji publicznej, red., K. Olejniczak, M. Kozak, B.
Lendzion Warszawa 2008, s. 24–26; K. Faliszek, Wprowadzenie do badań ewaluacyjnych. Aspek-ty teoreAspek-tyczne i prakAspek-tyczne na podstawie doświadczeń badawczych, Toruń 2013, s. 38–43.
20 Por. M. Majewski, Ewaluacja – narzędzie wprowadzania i oceny standardów jakości szkoły,
„Edukacja i Dialog” 2000 r., nr 119, s. 12–20. Zob. też. K. Faliszek, Wprowadzenie do badań ewaluacyjnych. Aspekty teoretyczne i praktyczne na podstawie doświadczeń badawczych, Toruń 2013.
21 Funkcja ta skupia się również na tym, jak dana ewaluacja rozwiązuje określone problemy.
22 Wprowadzenie do nauk o polityce publicznej, red., M. Zawicki, Warszawa 2014, s. 91–92.
Tomasz HOFFMANN
75
pytanie, czy polityka publiczna została wdrożona pozytywnie, czy też jej wdra-żanie stało się porażką.
Ewaluacja jest często definiowana jako wzorzec pewnego postępowania, które charakteryzuje się określonymi kryteriami. Do najważniejszych kryteriów ewaluacji zaliczyć można trwałość, trafność, efektywność, skuteczność, oddzia-ływanie, dodatkowość, efekt zdarzenia niezależnego, efekt przemieszczania, efekt podwójnego pomiaru wyników, efekt substytucji, efekt netto a efekt brut-to23.
Trwałość to stopień, w jakim efekty przeprowadzonej interwencji utrzymu-ją się po jej zakończeniu. Efekty powinny być trwałe i pozytywne, świadczy to o dobrze przemyślanej i przeprowadzonej interwencji. Trafność to z kolei sto-pień, w jakim cele interwencji są zgodne z oczekiwaniami społecznymi, w tym oczekiwaniami beneficjentów. Efektywność to natomiast ocena właściwego przekształcenia zasobów wykorzystywanych w danej interwencji. Chodzi w niej o zbadanie, czy środki finansowe, zasoby ludzkie i czasu zostały dobrze wyko-rzystane. Skuteczność pozwala ocenić, w jakim stopniu dane cele przedsięwzię-cia zostały osiągnięte. W tym kryterium porównuje się stan zakładany ze sta-nem osiągniętym w przeprowadzonej interwencji w ramach polityki publicznej.
Innym kryterium ewaluacji jest oddziaływanie, a więc wszystkie konsekwencje wdrożenia danego przedsięwzięcia dla potencjalnych beneficjentów24.
W ewaluacji polityki publicznej istotną rolę spełnia kryterium dodatkowo-ści. Stanowi ono stopień, w jakim osiągnięte wyniki w efekcie danej interwencji są jej wyłączną konsekwencją. Stosowanie tego kryterium pozwala ocenić, w jakim stopniu osiągnięte efekty wystąpiłyby w wyniku przeprowadzonej in-terwencji, a jakie nie wystąpiłyby, gdyby owej interwencji nie stosowano. Zna-czącą rolę w ewaluacji polityk publicznych pełni efekt zdarzenia niezależnego, czyli stopień, w jakim efekty wystąpiłyby niezależnie od realizacji przedsię-wzięcia25.
Równie ważny jest efekt przemieszczania. Jest to stopień, w jakim produk-ty programu redukują wyniki w innym miejscu nieobjęproduk-tym oddziaływaniem danej polityki publicznej. Istotę tego kryterium stanowi to, w jaki sposób po-wstałe produkty powodują efekt przemieszczenia i które grupy społeczne, ob-szary geograficzne czy segmenty rynku ponoszą określone straty w wyniku interwencji danej polityki publicznej26.
Innym kryterium ewaluacji jest efekt podwójnego pomiaru wyników, który koncentruje się wokół stopnia, w jakim produkty danego przedsięwzięcia
23 K. Faliszek, Wprowadzenie do badań ewaluacyjnych. Aspekty teoretyczne i praktyczne na podstawie doświadczeń badawczych, Toruń 2013, s. 50–53.
24 Wprowadzenie do nauk o polityce publicznej, op. cit., s. 93.
25 Tamże.
26 K. Faliszek, op. cit., s. 53
EWALUACJA POLITYK PUBLICZNYCH
76
na przypisać dwóm lub większej liczbie innych przedsięwzięć. Kolejnym efek-tem jest tzw. rezultat substytucji polegający na tym, iż efekty danej interwencji w odniesieniu do jej beneficjentów zostały uzyskane kosztem innych podmio-tów działających na obszarze wdrażania polityki publicznej27. Ostatnim kryte-rium ewaluacyjnym jest efekt netto a efekt brutto. Efekty brutto to wszystkie rezultaty związane z danym przedsięwzięciem, z kolei efekty netto to te, które powstały wyłącznie w wyniku wdrożenia danej interwencji w ramach polityki publicznej28. Znaczącą doniosłość pełni pomiar i zarazem efekty ewaluacji, o których mowa będzie poniżej.