Rodzaje wska źników i zasady ich tworzenia dla programów współfinansowanych ze źródeł zagranicznych

W rozdziale został II omówiony model oceny interwencji publicznej oraz podstawy teoretyczne dotyczące wskaźników i ich funkcji. Przekładają się one na praktykę tworzenia systemów oceny interwencji publicznej. W tak rozumianej logice interwencji publicznej można wyróżnić trzy hierarchie: celów, efektów i wskaźników. Tworzą one rodzaj macierzy, której prawidłowe wypełnienie ułatwia przygotowanie, realizację i ocenę programów. Opracowywanie takiej macierzy dla konkretnego programu wymaga zarówno podejścia „od góry – do dołu” (definiowanie celów nadrzędnych i ich dezagregacja), jak i „od dołu – do góry” (zdefiniowanie potrzeb na najniższym, lokalnym poziomie oraz ich wpisanie w cele nadrzędne). Sztuka polega na skompilowaniu obu podejść i znalezieniu wspólnie wypracowanego konsensusu. Pomocne mogą być w tym prawidłowo definiowane i równolegle opracowywane wskaźniki. W takim ujęciu wskaźniki stają się uniwersalnym językiem umożliwiającym łączenie i opisywanie celów poprzez efekty, jakie mają zostać osiągnięte.

Rysunek 27. Unijna hierarchia celów, efektów oraz wskaźników

Cel globalny, ogólny

Cel Programu, do którego aplikuje dana interwencja ‐ priorytet, do którego realizacja jej będzie się przyczyniać

Nakłady i ich wskaźniki

Zasoby i środki, udostępnione przez władze finansujące oraz wykorzystane przez instytucje realizujące projekt, potrzebne do dostarczenia produktu i realizacji celu bezpośredniego

Wskaźniki oddziaływania Opisują konsekwencje interwencji, które

wychodzą poza jej bezpośrednie i natychmiastowe działanie na bezpośrednich beneficjentów. Mają zastosowanie w perspektywie

średnioterminowej

Oddziaływanie

Długookresowe, strukturalne skutki interwencji działające na szerszą populację i większy obszar (np. na cały region, jego mieszkańców i środowisko naturalne). Pojawiają się dopiero po pewnym czasie

od zamknięcia interwencji, ale można je bezpośrednio powiązać z podjętymi działaniami

Hierarchia celów Hierarcha wskaźników Hierarchia efektów

Wskaźniki produktu

Opisują produkt (w jednostkach fizycznych) działalności osób, instytucji realizujących

działania Wskaźniki rezultatu

Przedstawiają informacje na temat zmian zachodzących w odniesieniu do

bezpośrednich odbiorców, beneficjentów

Cele operacyjne

Cele określające produkt (infrastrukturę, rzeczy, wartości), jakie mają zostać

wypracowane w czasie interwencji

Produkty

Wartości, rzeczy, elementy infrastruktury, które zostały wytworzone w czasie projektu

Rezultaty

Bezpośredni skutek interwencji (korzyści i ułatwienia) dla jej bezpośrednich odbiorców. Pełen rezultat jest widoczny dopiero po zamknięciu

wszystkich działań w ramach interwencji Cel bezpośredni projektu

Sens istnienia tej interwencji, bezpośredni powód, dla którego

podjęto interwencję

Potrzeby i problemy, do rozwiązania których interwencja ma się przyczynić

W wytycznych na obecny okres programowania 2007-2013 („Wskaźniki monitoringu i ewaluacji”) wyodrębniono kilka typów wskaźników¹²⁹. Nawiązują one do logiki interwencji publicznej w układzie produkt–rezultat–oddziaływanie (tabela 18, rysunki 13, 15 oraz 27). Ponadto wskazuje się na istotną rolę wskaźników wkładu (odnoszące się do alokowanego budżetu) oraz wskaźników finansowych (monitorowanie rocznych zobowiązań i płatności). Oczywiste jest, że projektowane wskaźniki muszą być zgodne z omawianą logiką interwencji publicznej. Ich teoretyczna charakterystyka nie zmieniła się w kolejnych okresach programowania. Jednak okazuje się, że to co spójne, proste i przejrzyste w wytycznych w praktyce generuje wiele problemów. Wskaźniki produktu są stosunkowo łatwe do zdefiniowania i monitorowania, a wskaźniki rezultatu powinny być możliwe do łatwego (taniego) generowania. W praktyce jednak są one mylone ze sobą. Prawdziwym wyzwaniem jest zaprojektowanie wskaźników oddziaływania dobrze spełniających wymagania. O ile wskaźniki produktu i rezultatu można monitorować, o tyle wyznaczenie wskaźników oddziaływania wymaga ewaluacji. Są one znacznie mniej „pewne”, gdyż wymagają dużej agregacji danych, badane skutki są oddalone w czasie, a efekty zachodzą w „żywym organizmie gospodarki”, co oznacza, że rejestrowane skutki mogą być wywołane innymi czynnikami (efekty nastąpiłyby bez podejmowania interwencji lub, co gorsza, interwencja była przeciwskuteczna). Dlatego w zaleceniach Komisji kładzie się nacisk na poprawne zdefiniowanie i monitorowanie przede wszystkim wskaźników rezultatu, na podstawie których można budować wskaźniki oddziaływania bezpośredniego, a te dopiero mogą być wykorzystywane do ewaluacji oddziaływania globalnego interwencji¹³⁰. Innymi słowy, kładzie się nacisk na budowanie właściwego aparatu pomiaru w myśl zasady, że lepiej jest poznać i zmierzyć rezultaty, nawet nie znając pełnego oddziaływania, niż tracić środki i czas na uzyskanie niepewnych i dyskusyjnych pomiarów oddziaływań – co nie znaczy oczywiście, że należy zaniechać prób ich ewaluacji. Kosztowne ewaluacje oddziaływania powinny być przeprowadzane tylko i wyłącznie dla najważniejszych priorytetów (zwłaszcza horyzontalnych: ochrona środowiska, innowacyjność, równouprawnienie, wykluczenie społeczne, przedsiębiorczość). Jak wskazują analizy i badania przeprowadzanych w różnych krajach ewaluacji funduszy strukturalnych, prawidłowa ocena produktów, rezultatów i oddziaływania napotyka na wiele trudności¹³¹.

129

Przewodnik po metodach ewaluacji…, op. cit., 8 i nast.

130 W wytycznych unijnych postępowanie to nazywane jest „step by step” i jest tłumaczone na j. polski wprost niezbyt szczęśliwie „krok po kroku”.

131 J. E. Furubo, R. Sandahl, R. C. Rist: International Atlas of Evaluation, New Brunswick, London, Transaction Publishers, cop. 2002.; K. Olejniczak (red.): Praktyka ewaluacji efektów…, op. cit., s. 25; J. Górniak, K. Keler: Wskaźniki ewaluacji ex post…, op. cit., s. 16.

W praktyce w programach wymagane jest zdefiniowanie wskaźników kontekstowych, bazowych i kluczowych. Wskaźniki kontekstowe powstają w trakcie procesu programowania, powinny odzwierciedlać strukturę analizy społeczno-gospodarczej, a zwłaszcza analizy SWOT, pokazywać tło interwencji. Ponadto muszą być spójne ze wskaźnikami monitorowania polityki regionalnej, strategii lizbońskiej i podstawowych programów reform gospodarczych w kraju. Źródłem danych może być statystyka krajowa, pod warunkiem, że dostarcza odpowiednio zdezagregowanych danych (np. z podziałem regionalnym, sektorowym, na płcie, wiek, wielkość podmiotu). Znaczenie wskaźników kontekstowych jest kluczowe dla procesu programowania, jednak ze względu na dużą ogólność i źródło pochodzenia danych są często dewaluowane (jak np. Plan ewaluacji programu operacyjnego Infrastruktura i środowisko 2007-2013 – są definiowane jako wskaźniki ogólno- lub łatwo dostępne¹³², co wskazuje na brak zrozumienia całego procesu programowania i ewaluacji). Siłą rzeczy dokumenty programowe nie mogą zawierać celów ilościowych takich wskaźników¹³³. Wskaźniki kontekstowe są niezbędne do ewaluacji programów i wymagane do corocznego raportowania w Komisji.

Wskaźniki/wartości bazowe określają natomiast początkową wielkość cechy, w stosunku do której dokonuje się następnie pomiaru wskaźnika programu. Można je ustalać według koncepcji statycznej (podanie wartości w konkretnym punkcie w przeszłości) lub dynamicznej (wartość wskaźnika oceniana dla całego okresu programowania). Powinny być one określone na każdym poziomie interwencji – od programów po konkretne projekty.

Każdy program lub projekt może być oceniany przy pomocy dużej liczby wskaźników, zgodnych ze specyfiką podejmowanych działań i sytuacji zastanej. Aby zapewnić porównywalność wyników na bardziej ogólnym poziomie, zaleca się zawarcie wśród nich wskaźników kluczowych (core indicators), wymaganych regulacjami unijnymi¹³⁴. Wskaźniki kontekstowe są kluczowe dla badania oddziaływania interwencji, zwłaszcza przy analizowaniu zagadnień horyzontalnych. Nie stanowią one odrębnego systemu wskaźników, a są jedynie wyróżnione z istniejących zbiorów i powinny być sprawozdawane w określony sposób. Podział i różnice poszczególnych typów wskaźników pokazuje tabela 55.

132 Plan ewaluacji POIiŚ 2007-2013, MRR, Warszawa 2008, s. 8.

133 Przewodnik po metodach ewaluacji: Wskaźniki monitoringu i ewaluacji…op. cit., s. 14.

134 Rozporządzenie Rady (WE) nr 1083/2006 z dnia 11 lipca 2006 r. ustanawiające przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności i uchylające rozporządzenie (WE) nr 1260/1999, art. 37.

Tabela 55. Typy wskaźników w ocenie programów i projektów finansowanych z funduszy strukturalnych

Wskaźniki Cel ^Poziom

programowania Źródło danych Kontekstowe Pokazują tło działania programu (na które program niekoniecznie oddziałuje) odzwierciedlają strukturę analizy

społeczno-gospodarczej programu, w szczególności analizy SWOT. Są istotne przy ocenie potrzeb regionalnych, a także w monitorowaniu rozwoju ogólnego kontekstu programu. Wskaźniki nie opisują celów ilościowych. Powinny być spójne z krajowymi wskaźnikami (np. Krajowego programu reform) oraz unijnymi (np. lizbońskimi).

Dokumenty programowe

Oficjalne statystyki badania

Bazowe Podają początkową wartość, wielkość, stan podanej zmiennej, w stosunku do której dokonuje się porównania otrzymanych wartości wskaźnika. Nadają działaniom programu odpowiedni kontekst. Pozwalają na zrozumienie znaczenia interwencji w odniesieniu do istniejącej sytuacji, potrzeb i polityki krajowej. Definiując wskaźniki bazowe można wyróżnić dwa podejścia:

Program Oficjalne statystyki badania

Statyczne – proste określenie wartości wskaźnika w pewnym punkcie przeszłości lub ustalenie wartości odniesienia dla działań tego samego lub podobnego instrumentu.

Oficjalne statystyki badania

Dynamiczne – tworzenie scenariuszy bazowych i sytuacji kontrfaktycznych, wartość wskaźnika określana dla całego okresu programowania. Zróżnicowane techniki Wskaźniki produktu rezultatu oddziaływania

Umożliwiają przejście od systemu wdrażania programów publicznych opartych na wkładzie do systemu ukierunkowanego na uzyskiwane efekty. Powinny być kwantyfikowane na odpowiednim poziome dezagregacji, zanim wdrażanie programu zostanie rozpoczęte. Ujawniają wszystkie słabości programu (w tym nieprecyzyjne definiowanie celów) jak również możliwości pozyskania danych w odpowiedniej dezagregacji. Kwantyfikacja celów jest dla wybranych wskaźników kontrolą jakości. Wskaźniki wymagają skwantyfikowanych wartości docelowych, w przeciwnym razie stopień realizacji celu nie będzie mógł zostać zmierzony.

Kwantyfikowanie produktów powinno się odbywać na poziomie działań (nie tylko projektów), a rezultatów na wszystkich poziomach, tak by umożliwić odzwierciedlenie osiągania najważniejszych celów programu. Kwantyfikacja oddziaływania jest oderwana od działań operacyjnych (więc nie jest kwantyfikowana na poziomie projektu).

Program, priorytet programu, działanie programu, projekt Techniki prognostyczne, szeregi czasowe lub małe modele sektorowych,

kluczowe Zgłaszane przez Komisję Europejską niezbędne wskaźniki, których powinien dostarczać system monitoringu i ewaluacji programów i projektów. Nie są oddzielnym systemem monitorowania, są one podzbiorem wszystkich wskaźników, który ma specjalne zastosowanie.

Dokument programowy

Statystyki krajowe, system monitoringu dla programu Opis celów każdego priorytetu programu w postaci oczekiwanych rezultatów, charakteryzują kluczowe elementy oczekiwanych

zmian, powinny być w razie możliwości powiązane z np. celami lizbońskimi. Wskaźniki mogą się znacznie różnić między programami. Ale powinny umożliwiać analizy tematyczne.

dla celów horyzontalnych

Opisujące zagadnienie horyzontalne, np. ochrona środowiska, innowacyjność itp. nie stanowią odrębnego systemu wskaźników, są podzbiorem wszystkich wskaźników.

Wspólne minimum

Wskaźniki rzeczowe i finansowe, które mogą zostać wykorzystane do porównywania lub agregacji danych w ramach różnych programów, priorytetów czy działań (wspólne minimum wskaźników kluczowych). Nie stanowią odrębnego systemu wskaźników, są podzbiorem wszystkich wskaźników.

Każdy z typów wskaźników jest charakterystyczny dla różnych poziomów programowania. Komisja Europejska dopuszcza jednak dużą dowolność, choć przyporządkowuje ogólne typy wskaźników do różnych elementów strategii krajowych (Narodowe Strategiczne Ramy Odniesienia) i programów operacyjnych (tabela 56). Wydaje się jednak, że na najwyższych poziomach powinny dominować wskaźniki ogólne i bardziej zagregowane, a na niższych bardziej szczegółowe. Oprócz nazwy definicji wskaźnika oraz jego wartości bazowej powinny być podawane: źródło danych, częstotliwość pomiaru lub opis metody pomiaru¹³⁵. Charakterystyka systemu wdrażania powinna wskazywać instytucje odpowiedzialne za zbieranie i udostępnianie danych oraz zawierać szczegółowe zasady raportowania i zasady aktualizacji wskaźników kontekstowych i programowych.

Tabela 56. Ogólna struktura wskaźników w programach krajowych

Lp. Element dokumentu Typ wskaźnika Wymagania Narodowe Strategiczne Ramy Odniesienia

I Analiza społeczno-gospodarcza

w. kontekstowe -nazwa/definicja

-wartość bazowa

II Opis strategii w. NSS -nazwa/definicja

-wartość bazowa

w. kluczowe -nazwa

III Priorytety w. oddziaływania lub rezultatu w. produktu, jeżeli konieczne -nazwa/definicja -wartość bazowa -skwantyfikowany cel

-opis metody pomiaru bądź źródło danych Program operacyjny

I Analiza społeczno-gospodarcza

w. kontekstowe -nazwa/definicja

-wartość bazowa

-źródło danych, częstotliwość pomiaru

II Opis strategii w. oddziaływania lub rezultatu

nazwa/definicja -wartość bazowa

-skwantyfikowany cel

-źródło danych bądź opis metody pomiaru

-podział ze względu na płeć i na wielkość

przedsiębiorstwa, któremu udzielone jest wsparcie

w. kluczowe nazwa/definicja

III Priorytety w. rezultatu w. produktu

-nazwa/definicja -wartość bazowa

-skwantyfikowany cel

-opis metody pomiaru bądź źródło danych

-podział ze względu na płeć i na wielkość

przedsiębiorstwa, któremu udzielone jest wsparcie

Źródło: Indicative Guidelines on Evaluation Methods: Monitoring…,: op. cit. s. 16-18.

Mnogość podmiotów zainteresowanych wynikami monitoringu i ewaluacji przyczynia się do wzrostu liczby wskaźników, a tym samym złożoności procesu raportowania. Nie jest to sytuacja dogodna, gdyż tworzenie i utrzymywanie systemów gromadzenia danych jest kosztowne (zarówno po stronie administracji, jak i beneficjentów). Dlatego zalecane jest, by

te same wskaźniki pełniły różne funkcje (np. wskaźnika kluczowego, horyzontalnego i programu). System wskaźników powinna charakteryzować: kompletność, łatwość zarządzania i równowaga (nie wszystkie zagadnienia czy programy muszą być tak samo szczegółowo opisane wskaźnikami), natomiast poszczególne wskaźniki powinny się charakteryzować: trafnością, wrażliwością, dostępnością oraz uzasadnionymi kosztami pozyskania danych¹³⁶. Ponadto wskaźniki dla NSS i programów operacyjnych powinny być spójne, a system wskaźników powinien odpowiadać potrzebom informacyjnym UE, w tym realizacji strategii lizbońskiej

W praktyce prawidłowe zdefiniowanie wskaźników przysparza licznych kłopotów, ponieważ cele są kompleksowe i często mało precyzyjne. Czasami brakuje jednoznacznych definicji pojęć, które zostały użyte w celu¹³⁷. Niestety w Polsce zdarza się jeszcze „zapominać” o wskaźnikach w trakcie programowania, co skutkuje niespójnym systemem wskaźników, który nie odzwierciedla właściwie zmian osiąganych dzięki interwencji. Ponadto częstym problemem jest brak wskaźników bazowych oraz zbytnia szczegółowość wskaźników w dokumentach strategicznych, a za mała w operacyjnych i na poziomie konkretnych projektów. Głębsza analiza problemów adekwatności i spójności wskaźników zawarta zostanie w dalszych rozdziałach.

Podsumowując, aby system wskaźników był poprawny niezbędne jest:¹³⁸ • zrozumienie logiki oddziaływania,

• pogłębienie analizy kontekstowej (wsparte wskaźnikami kontekstowymi), • skwantyfikowanie celów (odpowiednio opisane wskaźnikami programu),

• opracowanie zrozumiałych definicji badanych zjawisk i odpowiadających im wskaźników,

• określenie wartości bazowych wskaźników,

• opisanie metod i częstotliwości pomiaru oraz źródeł danych.

3. Spójność celów związanych z ochroną wód w dokumentach operacyjnych okresu