Cele i kryteria oceny interwencji publicznej

Interwencja publiczna to każde działanie angażujące zasoby publiczne. Zgodnie z obowiązującymi przepisami, nie można go jednak utożsamiać z pojęciem „pomoc publiczna”, gdyż nie każda interwencja publiczna podpada pod przepisy o pomocy publicznej. Każda interwencja publiczna wymaga badania zasadności jej podejmowania oraz przejrzystej oceny uzyskiwanych efektów. To zdanie, które dziś brzmi jak truizm, wcale nie było takie oczywiste kilkadziesiąt lat temu. Historycznie pierwsze metody pomiaru skuteczności i efektywności wydatkowania publicznych pieniędzy pojawiły się w latach 20. ubiegłego wieku, ale ich dynamiczny rozwój nastąpił w okresie powojennym w Stanach Zjednoczonych, a ich rozkwit datuje się na lata 60. i 70. ubiegłego wieku zarówno w USA jak i w Europie. Początkowo dotyczyły one oceny nowych, innowacyjnych metod nauczania, alokacji budżetowych i, zwłaszcza, walki z ubóstwem. Te trzy „tradycje” do dziś mają wpływ na proces oceny interwencji publicznych w postaci różnych funkcji oraz preferowanych narzędzi pomiaru. W rozwoju ewaluacji zadań publicznych wyróżnia się cztery typologie, które pojawiały się kolejno jako krytyka lub rozwinięcie już istniejących i wszystkie znajdują dziś sprzymierzeńców (tabela 13). Nadal żywa jest dyskusja pomiędzy zwolennikami metod ilościowych a zwolennikami metod jakościowych oraz promotorami podejścia partycypacyjnego. Wielu naukowców i praktyków przyjmuje jednak pragmatyczne

i realistyczne podejście do ocen efektów interwencji publicznych, kładąc nacisk na rozpoznanie związków przyczynowych, funkcjonujących w ramach programu, w celu zbadania powodów poprawnego lub wadliwego działania programu oraz uzyskania odpowiedzi na pytanie komu i w jakich warunkach przynosi on korzyści. W związku z powyższym należy wykorzystać wszelkie możliwe podejścia badawcze⁷².

Tabela 13. Etapy rozwoju oceny interwencji publicznych

Etap Charakterystyka procesu

I generacja POMIAROWA

Nacisk na mierzalność efektów i środków. Próba ilościowego ujęcia zjawisk, co powinno prowadzić do porównywalności oraz obiektywizmu oceny. Nacisk na podobieństwo standardów badań z obowiązującymi w naukach przyrodniczych. Ewaluator zewnętrzny, niezależny.

II generacja OPISOWA

Poszerzenie badań ilościowych o opis praktyki interwencji, aby usprawnić programy a także umożliwić sięgniecie po alternatywne środki. Ewaluator to zewnętrzny obserwator, którego zadaniem jest dostarczenie danych do obiektywnego pomiaru osiąganych rezultatów i wyciągnięcie wniosków w celu ewentualnej modyfikacji programu.

III generacja MENEDŻERSKA

Poszerzenie zadań ewaluatora, który nie tylko zajmuje się pomiarem realizacji celów oraz opisem działania programu, ale również powinien ocenić czy same cele zostały poprawnie zdefiniowane. Powinien formułować rekomendacje, które mają wpływać na realizację tego programu, ale również być wykorzystywane przy innych interwencjach. Ma dostarczyć obiektywną ocenę programu, a nie tylko mierzyć stopień realizacji celów. IV generacja

PARTYCYPACY-JNA

Zmiana podejścia do ewaluacji. Partycypacyjny charakter procesu, w który zaangażowani są wszyscy interesariusze, zwłaszcza beneficjenci. Ewaluator staje się moderatorem w procesie oceny. Obiektywizm i pomiar ilościowy schodzą na drugi plan. Dominuje podejście jakościowe z naciskiem na opis złożonych aspektów rzeczywistości. Słowem kluczowym jest partycypacja, która oznacza udział wszystkich interesariuszy w procesie ustalania potrzeb informacyjnych, kryteriów i warunków przeprowadzania ewaluacji, a także interpretacji danych i wykorzystania wyników. Źródło: Opracowanie własne na podstawie: S. Mazur (red.): Ewaluacja funduszy strukturalnych…, op. cit., s. 12-15.

W Polsce trwa dyskusja nad celami zasadami i funkcjami ewaluacji, ale również nad poprawnością i zasadnością używania terminu „ewaluacja” i jego semantycznej relacji do słowa „ocena”. Te terminy są zdefiniowane w słownikach języka polskiego następująco: ocena to: 1. opinia o czymś lub o kimś dokonana w wyniku analizy, 2. określenie rozmiaru lub zakresu czegoś, 3. określenie materialnej wartości czegoś, 4. umowny sposób zakwalifikowania pracy i postępów ucznia lub studenta, zaś ewaluacja to określenie wartości czegoś⁷³. Jednak specjaliści przypisywać będą w praktyce pojęciu „ewaluacji” dwie pierwsze definicje terminu „ocena”. Trwa więc spór o zakres obu pojęć, a część specjalistów podkreśla, że „ewaluacja” jest pojęciem szerszym (to proces), więc ocena się w nim zawiera (jako czynność, element ewaluacji). Inni uważają, że ewaluacja to synonim oceny⁷⁴. Zdarzają się

72 S. Mazur (red.): Ewaluacja funduszy strukturalnych…, op. cit., s. 12-15 za: R. Pawson, N. Tilley: Realistic Evaluation, Sage, London, 1997, s. 39.

73

Słownik Języka Polskiego PWN. Wydawnictwo Naukowe PWN, Warszawa 2010, s. 546 oraz Słownik wyrazów obcych PWN. Wydawnictwo Naukowe PWN, Warszawa 2010, s. 269.

74 W oficjalnych tłumaczeniach aktów prawnych UE, termin ewaluacja jest tłumaczony jako ocena np. Rozporządzenie Rady (WE) nr 1083/2006 z dnia 11 lipca 2006 r. ustanawiające przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności i uchylające rozporządzenie (WE) nr 1260/1999.

również poglądy, że ewaluacja jest procesem oddzielnym od oceny, a więc możliwa jest ewaluacja bez oceny, co jest sprzeczne z etymologią. Nie wnikając w semantyczne spory oraz z pełną świadomością, że istnieją różne podejścia i ich uzasadnienia, to jednak w tym opracowaniu terminy „ewaluacja” i „ocena” będą używane zamiennie, przy czym ten pierwszy będzie stosowany zwłaszcza w przypadku odnoszenia się do procedur unijnych, gdzie terminy ewaluacja ex ante, ewaluacja mid-term i ewaluacja ex post weszły już do powszechnego użytku zarówno w świecie naukowców jak i praktyków. Z przyczyn pragmatycznych zostaną pominięte również rozważania nad definicją pojęcia ewaluacji, a zostaną one zastąpione opisem funkcji i kryteriów, jakie musi spełniać poprawna ewaluacja.

Głównym celem ewaluacji jest ocena podejmowanej interwencji publicznej (efektywności, skuteczności, trwałości), która ma prowadzić do lepszego alokowania zasobów, zgodnego z kierunkami polityki rozwoju społeczno-gospodarczego. Główny podział procesów ewaluacji jest związany z momentem jej przeprowadzania (ex ante, mid-term, ex post), sposobem realizacji (wewnętrzna i zewnętrzna) oraz celami dla jakich jest wykonywana. Czas oraz cel wpływają w sposób decydujący na dobór metod badawczych. Cele te są definiowane odmiennie dla różnych typów ocen/ewaluacji, a mianowicie:

• diagnoza mogących pojawić się problemów w trakcie realizacji, ocena zgodności z celami strategicznymi oraz przyjętego sposobu pomiaru generowanych efektów – ewaluacja ex ante,

• diagnoza pojawiających się problemów i trudności – ewaluacja on-going,

• ulepszanie sposobu zarządzania i wdrażania, ocena zgodności z wymaganiami prawnymi – ewaluacja kształtująca,

• ocena stopnia osiągnięcia planowanych rezultatów – ewaluacja podsumowująca, retrospektywna,

• ocena wybranych aspektów interwencji, np. związanych z zagadnieniami polityki horyzontalnej UE – ewaluacja tematyczna.

W aktach prawnych i wytycznych UE ewaluacja jest dzielona na strategiczną (obejmującą ocenę programu lub grupy programów pod kątem realizacji priorytetów krajowych i wspólnotowych) i operacyjną, gdy jej celem jest wspieranie realizacji lub ocena programu operacyjnego⁷⁵. Oceny strategiczne są przeprowadzane przez Komisję w ścisłej współpracy z państwem członkowskim. Realizacja każdego celu polityki strukturalnej i spójności musi być poddana strategicznej ocenie ex post.

75 Rozporządzenie Rady (WE) nr 1083/2006, op. cit.

Przechodząc do opisu podstawowych funkcji i kryteriów dokonywania ewaluacji, znowu należy odwołać się do ogromnego zróżnicowania i odmiennych podejść w literaturze przedmiotu. Tabela 14 zawiera wybrane funkcje ewaluacji programów lub projektów według różnych źródeł. Jednak do najważniejszych funkcji należy zaliczyć:

1. Zapewnienie, że użycie środków publicznych jest usprawiedliwione oraz że są one wykorzystywane w najlepszy możliwy sposób.

2. Ocenę w jakim zakresie cele zostały zrealizowane (i czy były właściwie zdefiniowane), jak zostały wykorzystane dostępne zasoby oraz jakie generują oddziaływanie.

3. Ulepszanie procesu wdrażania interwencji, co ma zapewnić osiąganie właściwych wyników.

4. Gromadzenie i rozpowszechnianie wiedzy, budowanie i promowanie standardów postępowania.

W zależności od celu i momentu przeprowadzania ewaluacji różne jej cechy będą bardziej widoczne. Ewaluacja ex ante kładzie nacisk na funkcje poznawcze (i planistyczne), ewaluacja mid-term skupia się na optymalizowaniu działań i wyciąganiu wniosków, które mogą usprawnić działanie. Ewaluacja ex post w największym stopniu spełnia funkcję konkluzywną (oceniającą) i formatywną (stymulowania usprawnień). Pierwsze trzy typologie funkcji ewaluacji (tabela 14) są do siebie dość zbliżone. Interesujące jest czwarte podejście, które utożsamia z każdą funkcją ewaluacji jej rodzaj – o ile funkcja poznawcza (charakterystyczna dla ewaluacji ex ante, ale obecna w innych typach) oraz konkluzywna (typowa dla ewaluacji ex post) wydają się być spójne z wymienionymi wcześniej, o tyle dwie następne sugerują odmienne podejście. Funkcja administracyjna (ewaluacja, której celem jest zapewnienie właściwej alokacji środków z budżetu) oraz funkcja społeczno-polityczna (ewaluacja zakładająca osiągnięcie określonych wyników, mających wpływać na decydentów) nie wydają się być już tak oczywiste⁷⁶.

76

M. Szałaj: Mechanizmy doboru kryteriów oceny ewaluacji ex post. (w:) Ewaluacja ex post – Teoria badawcza i praktyka. A. Haber (red), PARP, Warszawa 2007, s. 65-68.

Tabela 14. Funkcje ewaluacji programów rozwoju społeczno-gospodarczego

LP. Funkcja Charakterystyka

I Rozliczenia i egzekwowanie odpowiedzialności

Kontrolowanie i rozliczanie, sprawdzanie zgodności prowadzonych działań oraz wykorzystania zakładanych środków z założonymi celami. Równocześnie wpływa na standardy rządzenia transparentność i rozliczalność działań.

Poznawcza Gromadzenie wiedzy, ustalenie związków przyczynowo-skutkowych pomiędzy podejmowanymi interwencjami a skutkami społecznymi.

Rozwojowa (formatywna)

Stymulowanie usprawnień i rozwoju organizacyjnego, analiza przyczyn sukcesów i niepowodzeń, w celu lepszej realizacji programów/projektów w przyszłości, właściwe wykorzystanie wyników ewaluacji.

II Planowania Ustalanie priorytetów dla polityki publicznej.

Optymalizacji Zapewnia właściwe alokowanie środków publicznych. Ulepszania Podnoszenie jakości podejmowanych interwencji.

Upowszechniania Wymuszanie publikacji wyników (wraz ze wskazaniem odpowiedzialności). III Poznawcza Opis mechanizmów interwencji, ocena jej wpływów na społeczeństwo, badanie

użyteczności.

Sprawozdawcza Informowanie interesariuszy (donorzy, realizatorzy programu, społeczność lokalna, beneficjenci bezpośredni).

Normatywna Ocenianie zasadności i sensu podejmowanych działań publicznych, wspiera decydentów w ocenie wartości interwencji oraz planowaniu przyszłych działań. Edukacyjna Rekomendowanie rozwiązań, które mogą wpływać na polepszenie

podejmowanych w przyszłości (lub kontynuowaniu) interwencji publicznej. IV Poznawcza Ocenianie działań i uzyskanych rezultatów, przyjętego systemu wdrażania

interwencji, empiryczne weryfikowanie przyjętych w trakcie programowania założeń.

Konkluzywna Empiryczne weryfikowanie efektów ilościowych, implikuje stosowanie kryterium skuteczności rozumianego jako ocena stopnia realizacji zakładanych efektów rzeczowych, zakłada decyzyjne wykorzystanie wyników.

Społeczno-polityczna

Promowanie określonej idei lub rozwiązania systemowego, ma za zadanie dostarczyć wyniki i rekomendacje wpływające na procesy decyzyjne w z góry przyjęty sposób. Rzadziej stosowana w administracji, częściej przez organizacje społeczne.

Administracyjna Ocenianie zarządzania środkami publicznymi. Odpowiada na potrzeby związane z zarządzaniem publicznym.

Źródło: Opracowanie własne na podstawie: S. Mazur (red.): Ewaluacja funduszy strukturalnych…, op. cit., s. 19-20; Guide to the evaluation of Socio-Economic Development…, op. cit., s. 42 oraz A. Haber: Proces Ewaluacji ex post…, op. cit., s. 44-57; M. Szałaj: Mechanizmy doboru kryteriów…, op. cit., s. 65-68.

W przypadku ewaluacji ex post, która z punktu widzenia tej pracy jest najbardziej interesująca, funkcje tego procesu można doprecyzować następująco⁷⁷:

1) Ulepszanie planowania:

• ocena uzasadnienia podjęcia danej interwencji poprzez zweryfikowanie adekwatności celów do potrzeb i problemów społeczno-gospodarczych,

• zapewnienie racjonalnej alokacji zasobów – weryfikacja logiki interwencji (rysunek 15) i racjonalności wyznaczonych celów.

2) Poprawa wdrażania i kontrola jakości:

• modyfikacja istniejącej struktury, procedur i procesu zarządzania interwencją publiczną,

• minimalizowanie negatywnych efektów ubocznych zarządzania opartego na wynikach,

• podnoszenie efektywności realizacji działań poprzez sprawdzanie, na ile interwencja realizuje zakładane cele, jaka jest jakość wytworzonych produktów;

3) Wzmocnienie odpowiedzialności:

• informowanie interesariuszy i opinii publicznej o skuteczności działań publicznych, • informowanie interesariuszy i opinii publicznej o efektywności podjętych działań

publicznych.

4) Wspieranie procesów uczenia się:

• wyjaśnianie czynników i procesów wpływających na podejmowane działania, ich sukces lub porażkę (w tym także efektów ubocznych),

• weryfikowanie teorii leżących u podstaw danej polityki, programów lub projektów, • promowanie dobrych wzorców,

• budowanie zdolności ewaluacyjnych.

5) Wzmacnianie partnerstwa i poczucia współwłasności:

• wzmacnianie powiązań i współpracy między uczestnikami danej inicjatywy,

• włączanie interesariuszy w podejmowane działania, dyskusję nad ich oceną i kierunkami rozwoju (aktywizowanie),

• włączanie interesariuszy we współdecydowanie, zwłaszcza tych grup, które były dotąd marginalizowane.