Pomiar i etapy ewaluacji

Pomiar ewaluacji następuje za pośrednictwem określonych wskaźników, które pozwalają zachować rzetelność ewaluacji. Wskaźnik to zdefiniowany pomiar celu, który ma zostać osiągnięty w wyniku danej interwencji. Wskaźniki można podzielić na ilościowe i jakościowe. Wskaźniki ilościowe określają wy-mierne cechy danego faktu²⁹, wskaźniki jakościowe odnoszą się do wyników interwencji³⁰.

W ramach ewaluacji polityki publicznej można wyróżnić wskaźniki pro-duktu, rezultatów oraz oddziaływania. Wskaźniki produktu obejmują swoim działaniem wszystkie rzeczy materialne, przeznaczone dla odbiorców danej polityki³¹, wskaźniki rezultatu to wszystkie bezpośrednie efekty oddziaływające na potencjalnych beneficjentów bezpośrednio po wdrożeniu określonej polityki publicznej, z kolei wskaźniki oddziaływania to efekty danej polityki występują-ce po pewnym czasie od zakończenia wdrażania interwencji w ramach polityki publicznej³².

Wskaźniki powinny być wiarygodne i zarazem spójne. Można zatem po-wiedzieć, że wskaźnik powinien być prosty, mierzalny, akceptowalny, realny i zarazem określony w czasie³³.

Reasumując, można skonstatować, iż pomiar ewaluacji następuje za pomo-cą wskaźników produktu, rezultatów oraz oddziaływania. Ewaluacja, która

27 Wprowadzenie do nauk o polityce publicznej, op. cit., s. 94.

28 Aby uzyskać w czasie ewaluacji oszacowanie efektów netto, należy odjąć od efektów brutto efekty związane ze zjawiskiem zdarzenia niezależnego, efektem substytucji oraz efektem prze-mieszczania. Por. K. Faliszek, op. cit., s.53.

29 Na przykład ilość beneficjentów, ich średni wiek czy poziom wykształcenia.

30 Na przykład rodzaje reakcji na wdrażany projekt.

31 Na przykład długość drogi czy ilość szkoleń – to typowe produkty.

32 K. Faliszek, op. cit., s. 34.

33 Zob. I. Papanicolas, P.C. Smith, E. Mosialos, Methodological Paper: What are the methodolog-ical issues related to measuring health care performance, European Commission, Brussels 2008, s. 23–30.

Tomasz HOFFMANN

77

gażuje określone podmioty, składa się z pewnych etapów, do których należą:

planowanie, projektowanie, realizacja, raportowanie i wykorzystanie wyników ewaluacji³⁴. Etap planowania ewaluacji polega głównie na analizie potrzeb za-mawiającego ewaluację oraz określeniu odpowiednich celów badania i dalszych zagadnień szczegółowych. Proces planowania rozpoczyna się od podjęcia decy-zji o rozpoczęciu badań ewaluacyjnych, a kończy podpisaniem umowy z wyko-nawcą.

Należy podkreślić, iż najczęściej badania ewaluacyjne są zlecane podmio-tom zewnętrznym z zastosowaniem ustawy Prawo zamówień publicznych. Jed-nostki zlecające określają parametry i kryteria, które musi spełnić ów podmiot przystępujący do badań ewaluacyjnych. Wybiera się taki podmiot, który posia-da określoną wiedzę, potencjał i doświadczenie.

Kolejnym etapem ewaluacji jest projektowanie, czyli konceptualizacja ba-dania ewaluacyjnego. W tym etapie precyzuje się przedmiot ewaluacji, formu-łuje szczegółowe listy pytań ewaluacyjnych oraz opracowuje zakres zadań dla wykonawcy badan ewaluacyjnych. Bardzo ważne w tym etapie jest określenie pytań ewaluacyjnych, które mogę mieć charakter opisowy, przyczynowo-skutkowy, normatywny, predyktywny i krytyczny³⁵.

Dalszy etap ewaluacji to realizacja badania, czyli szczegółowe odniesienie do kryteriów i elementów ewaluacji, określenie narzędzi ewaluacyjnych, pozy-skanie danych niezbędnych do przeprowadzenia ewaluacji, dogłębna eksplora-cja danych, formułowanie określonych ocen przeprowadzonej interwencji³⁶.

Po zakończeniu ewaluacji sporządzany zostaje raport ewaluacyjny, który dostarcza określone informacje o przeprowadzonych działaniach interwencyj-nych w ramach polityki publicznej. Raport składa się z kilku części, tj. stresz-czenia, spisu treści, wprowadzenia, opisu metodologii, opisu wyników badań, wniosków i rekomendacji.

Dodatkowo raport ewaluacyjny może być uzupełniony o aneksy, w których zawarte zostają informacje bardzo szczegółowe, takie jak zakres zadań wyko-nawcy, metodologia, skład zespołu ewaluacyjnego, harmonogram badania oraz wykaz dokumentów wykorzystanych w badaniu. Raport ewaluacyjny powinien być napisany w miarę prostym językiem, w sposób zrozumiały dla potencjalne-go zainteresowanepotencjalne-go. Ważnym elementem każdepotencjalne-go postępowania ewaluacyj-nego jest zastosowanie odpowiedniej kultury, a zarazem zachowanie pewnych

34 Ewaluacja jako standard zarządzania w sektorze publicznym, red., B. Pietras-Goc, Kraków 2008, s. 26.

35 Wprowadzenie do nauk o polityce publicznej, op. cit., s. 98.

36 Tamże, s. 99.

EWALUACJA POLITYK PUBLICZNYCH

78

standardów ewaluacyjnych³⁷. W badaniach ewaluacyjnych szczególną rolę peł-nią metody i techniki ewaluacji. Podzielić je można na metody strukturyzacji badania, metody obserwacji, metody analizy danych oraz metody formułowania ocen. W ramach metod strukturyzacji można wyróżnić model logiczny skupia-jący się na definiowaniu i wzajemnym określeniu związków pomiędzy po-szczególnymi elementami programu i między celami różnego poziomu, zaso-bami i wynikami danej polityki publicznej³⁸.

W modelu logicznym można wyróżnić mapę oddziaływania, która opiera się na spotkaniach osób i instytucji zaangażowanych w realizację progra-mu/polityki z ewaluatorami. Podczas spotkania najczęściej dochodzi do wypra-cowania konsensusu w sprawie efektów programu itp. Ostatnim elementem mieszczącym się w analizie logicznej są konsultacje z interesuriaszami. Polega-ją one na włączeniu szerszego grona społecznego w proces identyfikacji ewalu-acji i formułowania pytań ewaluacyjnych³⁹. W przypadku metod technik i ob-serwacji wyróżnić można studium przypadku, panel ekspertów, zogniskowany wywiad grupowy, wywiad indywidualny, badania ankietowe, wykorzystanie danych administracyjnych oraz wykorzystanie danych wtórnych.

Studium przypadku jest metodą polegającą na badaniu ograniczonej liczby specyficznych przypadków czy projektów, które zdaniem ewaluatorów będą miały znaczenie porównawcze dla polityki poddawanej ewaluacji. Można zatem stwierdzić, że studium przypadku jest przykładem pogłębionej analizy, w której ramach dokonuje się identyfikacji i interpretacji danego programu czy polityki.

Z kolei panel ekspertów to wykorzystanie wiedzy specjalistów w dziedzinie objętej ewaluacją. Metoda ta jest dość często stosowana w przypadku złożonych przypadków, projektów czy polityk publicznych. Inną metodą jest zogniskowa-ny wywiad grupowy. Skupia się on na badaniach jakościowych, polegających na pogłębionych dyskusjach prowadzonych przez określonego moderatora w grupie kilku czy kilkunastu osób. Zadaniem moderatora jest odpowiednie ukierunkowanie pytań tak, aby dowiedzieć się jak najwięcej na temat będący przedmiotem badania. W badaniach ewaluacyjnych metoda ta pozwala na do-konanie analizy złożonych zagadnień, wobec których metody ilościowe są nie-wystarczające. Innym rodzajem badań ewaluacyjnych są techniki obserwacyjne.

W ich ramach można wyróżnić wywiad indywidualny, którego celem jest uzy-skanie zwrotnej informacji o wszystkich aspektach interwencji, zachowaniach osób uczestniczących w programie lub będących jego beneficjentami,

37 A. Zybała, Polityki publiczne. Doświadczenia w tworzeniu i wykonywaniu programów publicz-nych w Polsce i inpublicz-nych krajach. Jak działa państwo, gdy zamierza rozwiązać zbiorowe problemy swoich obywateli, Warszawa 2012, s. 313.

38 Przykładem modelu logicznego jest mapa logiczna.

39 Proces ten zawiera takie elementy, jak: identyfikacja interesariuszy, strukturyzacja konsultacji, analiza uzyskanych danych czy opracowanie stałych zasad konsultacji.

Tomasz HOFFMANN

79

fikowanie indywidualnych opinii itp. Na podstawie wywiadów można uzyskać wiedzę na temat dynamiki określonych zjawisk społecznych.

Równie ważne są badania ankietowe, w których podstawowym narzędziem jest ankieta. Nas jej podstawie można uzyskać określone informacje, opinie i istotne dane dotyczące ewaluacji danej polityki publicznej. W badaniach wy-korzystuje się także dane administracyjne, które pozyskuje się z dokumentacji prowadzonego projektu, oraz dane wtórne pozyskiwane z różnych instytucji i urzędów krajowych czy zagranicznych⁴⁰.

W przypadku analizy danych stosowanych w badaniach ewaluacyjnych wyróżnić można analizę grup porównawczych, analizę czynnikową oraz modele makroekonomiczne. Analiza grup porównawczych polega na porównywaniu dwóch podmiotów, z których jedna była bądź też jest beneficjentem polityki publicznej, a druga pozostawała poza jej wpływem.

Innym rodzajem eksploracji jest analiza czynnikowa, które określa korela-cje między jednostkami a charakteryzującymi je zmiennymi, które później przedstawiane są w postaci graficznej. Model makroekonomiczny jest budowa-ny po to, aby przeprowadzić symulację funkcjonowania różbudowa-nych aspek-tów sytuacji gospodarczej najczęściej na poziomie regionu, ale także kraju czy na poziomie międzynarodowym. W ewaluacji modele makroekonomiczne są wykorzystywane do wyjaśnienia określonych zjawisk ekonomicznych, opraco-wania prognozy oraz wariantowych scenariuszy zmian gospodarczych mają-cych istotny wpływ na polityki publiczne⁴¹.

Ostatnim procesem przeprowadzania ewaluacji jest analiza kosztów i ko-rzyści, analiza skuteczności kosztowej oraz analiza wielokryterialna. Analiza kosztów i korzyści jest metodą oddziaływania ekonomicznego netto interwencji publicznej, wykonywaną w celu stwierdzenia, czy projekt bądź polityka pu-bliczna są akceptowalne z punktu widzenia korzyści społecznych⁴².

Analiza skuteczności kosztowej koncentruje się wokół porównania uzyska-nych lub przewidywauzyska-nych efektów interwencji z całkowitymi jej kosztami. Za pomocą tej metody można wybrać określoną alternatywę interwencji. Ostatnia

40 Wprowadzenie do nauk o polityce publicznej, op. cit., s. 106.

41 Najbardziej znane modele makroekonomiczne to modele HERMIN i QUEST. Model HERMIN został pierwotnie zbudowany do modelowania gospodarki irlandzkiej. Następnie został on wyko-rzystany do ewaluacji wpływu funduszy pomocowych, przedakcesyjnych i strukturalnych na procesy gospodarcze zachodzące w krajach członkowskich Unii Europejskiej, źródło:

https://www.ewaluacja.gov.pl/Wyniki/Strony/Hermin.aspx, data odczytu: 14.07.2014 r. Podobnie jest, jeśli chodzi o model QUEST, który jest globalnym makroekonomicznym modelem

wykorzy-stywanym do analizy polityki makroekonomicznej, źródło:

http://ec.europa.eu/economy_finance/research/macroeconomic_models_en.htm, data odczytu:

14.07.2014 r.

42 Analiza ta jest wykorzystywana przy ewaluacji ex-ante projektów infrastrukturalnych lub pro-jektów społecznych.

EWALUACJA POLITYK PUBLICZNYCH

80

metoda to analiza wielokryterialna, która pozwala dokonać syntezy różnych stanowisk prezentowanych przez beneficjentów polityki publicznej. Dzięki tej metodzie uzyskuje się informacje o strukturze priorytetów, konfliktów itp. Jest ona bardzo użyteczna przy ewaluacji polityk publicznych, bowiem pomaga wypracować konsensus między interesariuszami danej interwencji publicznej⁴³.