Instrumenty kontrolne

Procedura przetargowa jest bardzo rozbudowana, co ma zapewnić jej więk‑

szą przejrzystość, jak również ułatwić dostęp przez odpowiednie, ogłaszane z dużym wyprzedzeniem, konkursy szerokiemu gronu potencjalnych zaintere‑

sowanych podmiotów. Większe sformalizowanie pozwala na redukcję niepra‑

widłowości przy realizacji, ale może też ograniczać dostęp do środków nowym organizacjom czy podmiotom, które nie mają odpowiedniego doświadczenia i wiedzy, np. o sposobie pisania projektów. Słuszne wydają się jednak dwa spo‑

soby udzielania pomocy. Zarówno pomoc pośrednia, jak i bezpośrednia mają swoje zalety i wady. Każda z nich może być nadużywana, czy to przez skorum‑

powane rządy, czy też przez organizacje lub firmy nastawione na chęć zysku, a nie świadczenie pomocy. Największą wadą jednego i drugiego instrumentu jest wciąż słaba koordynacja pomocy i jakość doboru projektów oraz możliwo‑

ści oceny rzeczywistego wpływu udzielonej pomocy na likwidację ubóstwa.

4. Instrumenty kontrolne

W ramach współpracy na rzecz rozwoju podejmowane są szerokie działania na rzecz ewaluacji oraz kontroli podejmowanych działań i projektów na trzech poziomach: ewaluacji realizacji poszczególnych programów i projektów, kon‑

troli spójności i celowości polityki rozwojowej oraz kontroli jej finansowania i efektywności wydatkowanych środków.

4.1. Ewaluacja projektów pomocy rozwojowej

Zgodnie z definicją OECD ‑DAC, ewaluacja to systematyczna i obiektywna ocena projektu w toku lub zakończonych programów bądź polityki ich projek‑

towania, wdrażania i wyników. Ewaluacja ma zapewnić obiektywną ocenę wy‑

konania strategii, polityki czy programu. Jednocześnie powinna identyfikować i wyjaśniać nie tylko, jakie zmiany zaszły, ale krytycznie ocenić, dlaczego mia‑

ły one miejsce bądź nie¹⁵⁸. Reforma w zakresie zarządzania i ewaluacji pomocy rozpoczęła się w 2000 r. i obejmowała badania oceny wyników polityk oraz

pa.eu/europeaid/prag/annexes.do?header_description=DEVCO+Prag+to+financial+and+contrac tual+procedures+applicable+to+external+actions+financed+from+the+general+budget+of+the +EU+and+from+the+11th+EDF&header_keywords=ePrag%2C+europa [Dostęp: 17.04.2015 r.].

158 EEAS, KE, Evaluation matters. In an increasingly complex and challenging environment for international development, the importance of demonstrating our results and learning from experience has gained significant value, 2014, s. 6, https://ec.europa.eu/europeaid/sites/devco/fi les/evaluation ‑matters_en_0.pdf [Dostęp: 6.01.2016 r.].

programów regionalnych i sektorowych, a także skuteczności programowania.

W latach 2002—2005 Wspólna Jednostka Oceny dla Dyrekcji Generalnej Euro‑

peAid, Rozwoju i Spraw Zagranicznych Komisji Europejskiej opracowała moż‑

liwości podejmowania oceny, mającej na celu zaspokojenie potrzeb określonych w 2000 r.¹⁵⁹ Obecnie, w ramach swojej polityki ewaluacji, EuropeAid prowadzi wiele konsultacji z udziałem delegatur i personelu, jak również oceny przez mechanizmy państw członkowskich UE. W ramach polityki działań na rzecz ewaluacji powołano kierownictwo wyższego szczebla dla EuropeAid i ESDZ (ang. Senior Management of EuropeAid and EEAS), które między innymi nad‑

zoruje projektowanie i realizację dokumentów ramowych oceny i zapewnia jej aktualizację, jak również spójność z innymi dokumentami¹⁶⁰. Ponadto powo‑

łano komórkę zajmującą się ewaluacją (ang. Evaluation Unit), do której zadań należy zapewnienie na poziomie instytucjonalnym koordynacji i spójności oce‑

ny działalności, rozwoju metodologii i narzędzi, umożliwiających lepszą ocenę zarządzania strategią ocen oraz koordynowania działań w zakresie ewaluacji z innymi podmiotami¹⁶¹. Ze strony służby zewnętrznej powołano Development Co ­operation Co ­ordination Division (DCCD), którego celem jest koordynacja działań zewnętrznych w zakresie współpracy na rzecz rozwoju, zarówno na szczeblu politycznym, jak i operacyjnym. Na poziomie operacyjnym programy rozwojowe powinny być poddawane ewaluacji zarówno przez ESDZ, jak i Euro‑

peAid, a dla każdego projektu lub programu powołuje się menedżera oceny, jako członka obsługi operacyjnej, który jest odpowiedzialny za zlecanie ewaluacji, zapewniając jej jakość, wspieranie upowszechniania wyników itp. W 2013 r. po‑

wołano również The Evaluation Correspondents’ Network, które stanowi forum podległe wydziałowi ewaluacji i ma na celu ułatwienie wymiany doświadczeń, pomysłów, wiedzy w zakresie ewaluacji¹⁶². Ponadto w 2014 r. sporządzono pro‑

gram ewaluacji programów regionalnych, sektorowych, tematycznych i innych na lata 2014—2018¹⁶³, w którym przewidziano, że oceny odbywać się będą na różnych poziomach, w tym monitorowanie i ocena poszczególnych projektów i programów będą zarządzane przez przedstawicielstwa i komórki odpowie‑

dzialne, oceny strategiczne zaś, które obejmują ogólne kierunki w ramach po‑

159 Zob. External Relations Directorate General, Development EuropeAid Co ‑operation Of‑

fice, Joint Evaluation Unit, Evaluation Methods for the European Union’s External Assistance, Methodological bases for evaluation, Luxemburg, 2006.

160 EEAS, KE, Evaluation matters…, s. 13.

161 Ibidem, s. 14.

162 Więcej KE, Capacity4development, EU, The Evaluation Correspondents’ Network, http://capacity4dev.ec.europa.eu/public ‑design_monitoring_evaluation/blog/evaluation ‑corre spondents%E2%80%99 ‑network [Dostęp: 20.11.2015 r.]; EEAS, KE, Evaluation matters…, s. 13—15.

163 European Commission, Multi ‑annual evaluation plan for strategic evaluations — 2014—

2018, 2014, https://ec.europa.eu/europeaid/sites/devco/files/strategic ‑evaluation ‑work ‑programme ‑ 2014 ‑2018_0.pdf [Dostęp: 1.05.2015 r.].

197

4. Instrumenty kontrolne

szczególnych krajów, regionów oraz sektorów, zarządzane będą przez Komórkę do spraw Ewaluacji¹⁶⁴. KE przyjęła również system monitorowania w zakresie oceny zorientowanej na rezultaty (ang. results oriented monitoring, ROM). Sys‑

tem ten jest jednak bardzo krytycznie oceniany przez TO. W sprawozdaniu doty‑

czącym systemów oceny monitorowania¹⁶⁵ Trybunał Obrachunkowy stwierdził, że stosowane przez EuropeAid systemy oceny i ROM nie są w wystarczającym stopniu wiarygodne. „Działalność EuropeAid w zakresie oceny zorientowanej na rezultaty jest dobrze zorganizowana, brakuje jednak całościowego nadzoru nad działaniami związanymi z oceną programów. Nie poświęca się także wy‑

starczającej uwagi kwestii wydajnego wykorzystania zasobów przeznaczonych na ocenę i ROM”. TO uznał także, że „systemy oceny i ROM nie gwarantują w wystarczającym stopniu, że formułowane na ich podstawie ustalenia są od‑

powiednie i miarodajne”¹⁶⁶.

Niewątpliwym problemem w ramach ewaluacji działań pomocy rozwojowej jest metodologia badania. Potrzebę tę dostrzeżono w ostatnich latach, gdy OECD wraz z EuropeAid, pod auspicjami OECD/DAC EVALNET, powołały Grupę do spraw Ewaluacji i Wsparcia Budżetowego (ang. Steering Group for the evalu­

ation of budget support). Jednym z jej pierwszych działań było uruchomienie opracowania wspólnego podejścia do ewaluacji wsparcia budżetowego¹⁶⁷, a na‑

stępnie dwóch dokumentów dotyczących oceny metodologicznej. Pierwszy z nich przedstawia bardziej szczegółowy opis metodologii¹⁶⁸, a drugi proponuje narzę‑

dzia oceny Kroku 2 metodologii, która jest oceną wyników i wpływu na strategie rządowe¹⁶⁹. Narzędzie to było stosowane w kilku krajach i jest wykorzystywane do oceny wyników sposobów udzielania wsparcia budżetowego¹⁷⁰. W ostatnich

164 Raporty będące wynikiem ewaluacji publikowane są na stronie http://ec.europa.eu/eu ropeaid/how/evaluation/evaluation_reports/.

165 Trybunał Obrachunkowy, Sprawozdanie specjalne 18/2014, Systemy oceny i monitorowa­

nia zorientowanego na rezultaty stosowane przez EuropeAid.

166 Ibidem, s. 6.

167 E. Caputo, A. Lawson, M. van der Linde, 2008, Methodology for Evaluation of Budget Support Operations at Country Level, Issue paper, DRN ‑ADE ‑EC ‑NCG ‑ECORYS, http://

ec.europa.eu/europeaid/how/evaluation/evaluation_reports/reports/2008/1258_isspap_en.pdf [Dostęp: 1.05.2015 r.].

168 European Commission, Paper on „Methodological details”, 2009.

169 P. Comper nolle, A. de Kemp, Tools for „Step 2”: The evaluation of the impact of government strategies, 2009, http://ec.europa.eu/europeaid/how/evaluation/evaluation_reports/re ports/2008/1258_too_stp2_en.pdf [Dostęp: 1.05.2015 r.].

170 Zob np.: DANIDA, Evaluation of Budget Support In Tanzania, Terms of Reference, 2011, http://um.dk/en/~/media/UM/Danish ‑site/Documents/Danida/Resultater/Eval/ToR_BS_Tan‑

zania_www.pdf [Dostęp: 1.05.2015 r.]. E. Caputo, C. Valmarana, S. Mouley, G. Cor m, Evaluation des opérations d’aide budgétaire de la Commission Européenne à la Tunisie entre 1996 et 2008, Brussels, DRN 2011; A. Lawson, J. Habas, M. Keita, E. Paul, B. Versail‑

les, A. Mur ray ‑Zmijewski, Evaluation conjointe des opérations d’aide budgétaire au Mali 2003—2009, Brussels 2011; A. De Kemp, J. Faust, S. Leiderer, Between high expectations

latach opracowano również dwa dokumenty w tym zakresie: sporządzony przez OECD Budget Support Evaluation Guidelines¹⁷¹ oraz unijny Capacity development evaluation guidelines. Rapid Assessment for Capacity Development (RAC), który opiera się na aktualnej reformie współpracy technicznej UE (tj. strategii Back‑

bone¹⁷²) i programie skuteczności pomocy. Według RAC, głębsza analiza proce‑

sów rozwoju na poziomie instytucjonalnym dostarczy danych z zakresu pogłębia‑

nia możliwości rozwoju¹⁷³. Ponadto, dokonując ewaluacji, na przestrzeni ostatnich lat opublikowano wiele raportów i sprawozdań oceniających realizację współpra‑

cy na rzecz rozwoju w zakresie wsparcia budżetowego¹⁷⁴, tematycznego¹⁷⁵, regio‑

nalnego¹⁷⁶ czy też poszczególnych państw¹⁷⁷.

and reality: an evaluation of budget support in Zambia, Bonn—the Hague—Stockholm, BMZ / Ministry of Foreign Affairs / Sida 2011.

171 OECD, DAC Network on Development Evaluation, Evaluating Budget Support Metho‑

dological Approach, 2012, http://www.oecd.org/dac/evaluation/dcdndep/Methodological%

20approach%20BS%20evaluations%20Sept%202012%20_with%20cover%20Thi.pdf [Dostęp:

1.05.2015 r.].

172 Backbone Strategy on „Reforming Technical Co ‑operation and Project Implementation Units” to kompleksowa reforma, zapoczątkowana w lipcu 2008 r., mająca na celu przekształce‑

nie współpracy technicznej (TC) finansowanej przez Komisję Europejską. Obejmuje ona zmianę systemów i narzędzi oraz praktyk i zachowań wszystkich zainteresowanych stron współpracy.

Więcej European Commission, The Backbone Strategy on Reforming Technical Cooperation and Project Implementation Units for External Aid provided by the European Commission, KE, EuropeAid, Luxemburg, 2009; European Commission, The Guidelines No. 3, Making Technical Cooperation More effective EuropeAid, Luxemburg, 2009.

173 Zob. European Commission, Evaluation Methodology & Baseline Study of European Commission Technical Cooperation Support, Raport Development Researchers Network, 2012, (EuropeAid/122888/C/SER/Multi Request for Service: N° 2010/232724/1), s. 36 i nast.

174 European Commission, Synthesis of Budget Support Evaluations: Analysis of the Fin­

dings, Conclusions and Recommendations of seven Country Evaluations of Budget Support, Quality and Results Unit, EuropeAid, Raport, 2014, https://ec.europa.eu/europeaid/sites/devco/

files/strategic ‑evaluation ‑synthesis ‑ec ‑budget ‑support ‑1335 ‑main ‑report ‑201411_en.pdf [Dostęp:

1.05.2015 r.].

175 Na przykład F. Pet r ucci, Evaluation of EU Support to Gender Equality and Women’s Empowerment in Partner Countries — Final Report, Volume 1: Main Report, 2015; Europe‑

an Commission, EuropeAid, 2015, https://ec.europa.eu/europeaid/sites/devco/files/evaluation ‑ cooperation ‑ec ‑gender ‑1338 ‑main ‑report ‑201504_en.pdf [Dostęp: 1.05.2015 r.].

176 European Commission, Evaluation stratégique de la coopération de l’Union européen­

ne avec la région Pacifique (2006—2012), EuropeAid, 2014, https://ec.europa.eu/europeaid/si tes/devco/files/strategic ‑evaluation ‑cooperation ‑ec ‑pacific ‑1337 ‑main ‑report ‑20141201_fr_0.pdf [Dostęp: 1.05.2015 r.].

177 European Commission, Evaluation de la coopération de l’Union européenne avec la République Togolaise 2007—2013 Rapport final Volume I — Volume principal, Octobre 2014, Eu‑

ropeAid, 2014, https://ec.europa.eu/europeaid/sites/devco/files/strategic ‑evaluation ‑cooperation ‑ ec ‑togo ‑1336 ‑main ‑report ‑201410_fr.pdf [Dostęp: 1.05.2015 r.]; A. Paugan, Evaluation conjoin‑

te des opérations d’appui budgétaire au Maroc — Période 2005—2012 — Publication de 2014

— Rapport principal, Komisja Europejska, EuropeAid, 2014, https://ec.europa.eu/europeaid/