EWALUACJA POLITYKI SPÓJNOŚCI
5.3. Kryteria ewaluacyjne
W planowaniu ewaluacji – na co wskazywały definicje ewaluacji przytoczone na początku tego rozdziału – bardzo ważne jest podjęcie decyzji dotyczącej sposobu dokonania oceny. Chodzi tu o dobranie odpowiednich kryteriów ewa-luacji stosowanych do określonego rodzaju badania. Jak wspomniano na po-czątku tego rozdziału Komitet Pomocy Rozwojowej Organizacji Współpracy Gospodarczej i Rozwoju w swojej definicji ewaluacji zaproponował konkretne kryteria ewaluacji projektów i programów finansowanych ze środków Unii Eu-ropejskiej. Obecnie stosowane są one również w większości programów i projektów finansowanych przez organizacje takie jak ONZ czy Bank Świato-wy. Również Komisja Europejska zaleca przeprowadzanie oceny wpływu pro-jektów funduszy unijnych wg następujących kryteriów ewaluacyjnych22
:
trafność lub adekwatność (relevance) – pozwala ocenić, do jakiego stopnia
cele programów są odpowiednie w stosunku do potrzeb i priorytetów
obsza-rów objętych interwencją. W jakim stopniu cele polityki spójnóści odpo-wiadają potrzebom danego sektora czy regionu?
użyteczność (utility) – pozwala ocenić, do jakiego stopnia oddziaływanie programów odpowiada potrzebom grupy docelowej. Czy realizacja polityki spójności przyczyni się do zaspokojenia potrzeb lub rozwiązania proble-mów regionów?
21
O wpływie prognoz demograficznych na bieżące i prognozowane wartości wskaźników rynku pracy można przeczytać w Kusideł, Modranka [2011].
22
skuteczność (effectiveness) – pozwala ocenić, do jakiego stopnia
oddziały-wanie programów przyczyniło się do osiągnięcia ich celów szczegółowych
i ogólnych.
efektywność (efficiency) – pozwala ocenić poziom ekonomiczności pro-gramów, na przykład poprzez stosunek poniesionych nakładów do uzyska-nych rezultatów. Badanie efektywności powinno pozwolić na stwierdzenie jak oszczędnie poszczególne nakłady zostały przekształcone w wyniki i rezultaty.
trwałość (sustainability) – pozwala ocenić, w jakim zakresie można ocze-kiwać, że pozytywne zmiany będą trwać po zakończeniu programu.
Powyższe kryteria stosuje się zazwyczaj w odniesieniu do konkretnych projek-tów. W niniejszej pracy podjęto próbę oceny całej polityki spójności według te-go schematu. W związku z tym należało określić zależności pomiędzy powyż-szymi kryteriami, a potrzebami beneficjentów, celami programów, nakładami, działaniami i wynikami. Zależności te, w przypadku dowolnej interwencji, po-kazuje rys. 5.3.1, zaś w rozdziale 6 starano się zweryfikować działania polityki spójności w kontekście poszczególnych kryteriów.
Rys. 5.3.1. Zależności pomiędzy kryteriami ewaluacyjnymi a potrzebami, celami, nakładami i oddziaływaniem programów
Źródło: Ewaluacja programów …[1997, rys. 2.2, s. 18]
W kontekście ewaluacji polityki spójności zasadniczym wyzwaniem jest wła-ściwe określenie potrzeb, celów i wyników/rezultatów/konsekwencji jej oddzia-ływania. Wszystkie te kryteria zdefiniowano wg pierwszego celu polityki spój-ności (którego nazwa w okresie programowania 2000-2006 brzmiała: „Wspar-cie regionów zapóźnionych”, zaś w okresie 2007-2013: „Konwergencja”), na
Użyteczność i Trwałość Efektywność Skuteczność Trafność Trafność ocena program Potrzeby
Cele Nakłady Działania Wyniki
Rezultaty Konsekwencje
rej starano się odpowiedzieć na pytanie zawartej w jej tytule: o związki konwe-rgencji gospodarczej z osiąganiem celów polityki spójności).
Ogólnie sformułowany cel (pierwszy) polityki spójności: konwergencja, wyma-gał większej operacjonalizacji. Poniżej przyjęto, że jest to konwergencja regio-nalnych PKB per capita (czyli konwergencja gospodarcza). Przy tak sformuło-wanym celu potrzeby regionów można zdefiniować podobnie do Komisji Euro-pejskiej – poprzez kryterium PKB per capita. Takie kryterium – PKB per capita poniżej 75% średniej unijnej – stosuje Komisja Europejska do kwalifikacji re-gionów NUTS 2 do realizacji głównego celu polityki spójności.
Zgodnie z rys. 5.3.1. kryterium skuteczności wymaga sformułowania rezulta-tów, które określono jako wzrost regionalnych PKB per capita, który można przypisać realizacji w nich polityki spójności. Kryterium użyteczności wymaga sformułowania długofalowych rezultatów (konsekwencji) oddziaływania pro-gramów. W przypadku realizacji polityki spójności w ramach celu 1 jest nim osiąganie konwergencji PKB per capita (jest to oczywiście zawężenie skali od-działywania do obszaru gospodarki, ale tylko tego obszaru dotyczy niniejsza praca).
Poniżej sformułowano schemat przyjętej logiki oddziaływania celu 1 polityki spójności w kontekście kryteriów ewaluacyjnych, który stworzono na wzór ogólnej logiki oddziaływania programów zawartej w przewodniku do ewaluacji autorstwa Dyrekcji Generalnej XIX Komisji Europejskiej.
Rys. 5.3.2. Powiązanie nakładów, oddziaływania i celów polityki spójności w kontekście osiągania konwergencji wewnętrznej
Źródło: opracowanie własne na podstawie Ewaluacja programów …[1997, rys. 2.1, s. 17]
5.4. Podsumowanie
Zawartość niniejszego rozdziału służyła odpowiedzi na trzecie z kolei pytanie szczegółowe sformułowane w związku z realizacją celu pracy związanego z oceną wpływu realizacji polityki spójności na osiąganie konwergencji – pytanie o metody ewaluacji tej polityki.
W ewaluacji wpływu polityki spójności stosuje się metody ilościowe, które po-zwalają oszacować efekt (wyrażony wartościami wybranych wskaźników), jaki został uzyskany dzięki realizacji tej polityki. W im większym stopniu realizacja projektów była uzależniona od interwencji – tym większy efekt netto. W teorii, efekt ten powinien być mierzony jako różnica pomiędzy efektami z udziałem programu i bez niego. W praktyce, nie można obserwować obu tych stanów jednocześnie, dlatego znaczenia nabierają metody ustalenia hipotetycznej sytua-cji pokazującej co stałoby się, gdyby programy nie były wdrażane (tzw. scena-riusz kontrfaktyczny, alternatywny).
Ce le po lit yk i s pó jn oś ci O dd zia ły wa nie po lit yk i s pó jn oś ci (wp ły w na g os po da rk ę) Konsekwencje (konwergencja regionalnych PKB per capita) Cel ogólny: konwergencja gospo-dacza Rezultaty (wzrost PKB który można przypisać reali-zacji PS)
Cel szczegółowy: więk-sze tempo wzrostu go-spodarczego (szczegól-nie w regionach
opóź-nionych) Cel operacyjny: większa aktywność inwestycyjna (szcze-gólnie w regionach opóźnionych) Wyniki (wzrost inwe-stycji który można przypi-sać realizacji PS) Działanie polityki spójności Nakłady (na realizację celu 1 polityki spójności)
nych beneficjentach tego programu. Zakres oddziaływania polityki spójności jest tak szeroki, że do pomiaru jej efektów potrzebne są ramy analityczne całej gospodarki. Dlatego do analiz tego typu używa się zazwyczaj dużych, dość skomplikowanych modeli ekonomicznych, odzwierciedlających funkcjonowa-nie całych gospodarek. Na ich podstawie buduje się scenariusze rozwojowe, których porównanie pokazuje wpływ polityki spójności na różnorakie wskaźni-ki gospodarcze, w szczególności na PKB per capita.
W rozdziale tym pokazano jakie typy modeli stosowane są w Polsce i Europie do ewaluacji polityki spójności (por. p. 5.1). Generalnie trudno jest wskazać jedno, najlepsze narzędzie do ewaluacji wpływu polityki spójności, a przekonanie autorów co do przewagi jednego rozwiązania nad drugim jest często subiektywne, a czasami bywa negatywnie zweryfikowane przez czas i nowe teorie. Sam sposób uwzględnienia funduszy unijnych w modelach eko-nomicznych i zakładane ich oddziaływanie na gospodarkę znacznie różnicuje pomiędzy sobą te konstrukcje i stanowi jedno ze źródeł rozbieżności wyników pochodzących z różnych modeli. Modele te – będąc autorskimi konstrukcjami – odzwierciedlają zarówno teorie ekonomiczne, jak i doświadczenia, wiedzę i przekonanie samych autorów co do przebiegu procesów gospodarczych. Kon-sekwencją tego faktu jest sposób inkorporowania do modelu funduszy unijnych, co powoduje, że brak jest w tym temacie jednego wzorca postępowania – stąd duża różnorodność stosowanych w Polsce i Europie modeli.
Wyniki wszystkich modeli pokazują, że wpływ dodatkowych funduszy jest ge-neralnie pozytywny (przyczynia się do wzrostów PKB per capita krajów je wy-korzystujących). Polska nie jest pod tym względem wyjątkiem – realizacja poli-tyki spójności pobudza w niej wzrost gospodarczy. Odziaływanie to jest jed-nakże zróżnicowane regionalnie, co pokazują badania z następnego rozdziału, w których starano się odpowiedzieć na pytania o oddziaływanie polityki spójności w kontekście sformułowanych w rozdziale 5.3. kryteriów ewaluacyjnych.