Ewaluacja

Ewaluacja rozumiana może być jako instrument podwyższania jakości inter-wencji publicznej w ramach funduszy strukturalnych.⁴ Ale nie jest to jedyny cel jaki przyświeca jej prowadzeniu. Ewaluacja służyć może także udoskonale-niu prowadzonych działań, w tym działań prowadzonych na rzecz wspierania inteligentnych specjalizacji, refleksji i głębszemu zrozumieniu zachodzących procesów, czy też osiąganych efektów, także zrozumieniu przyczyn ewentual-nych rozbieżności. W końcu ewaluacja służyć może poznaniu niezamierzoewentual-nych efektów, zarówno pozytywnych jak i negatywnych oraz analizie mechanizmów prowadzących do osiągania tych wyników oraz sformułowaniu rekomendacji odnośnie zmian funkcjonujących mechanizmów.

Podobnie jak w przypadku systemu monitoringu, również w przypadku systemu ewaluacji nie ma jednego standardowego podejścia do procesu oce-ny inteligentoce-nych specjalizacji. System ewaluacji definiować będą: moment realizacji ewaluacji, zakres ewaluacji, zdefiniowane kryteria ewaluacyjne oraz metodyka badania, jak również pośrednio sposób wyznaczenia inteli-gentnych specjalizacji, sposób prowadzenia monitoringu inteliinteli-gentnych specjalizacji i inne czynniki. Dodatkowo prowadzonej ewaluacji przyświecać może każdorazowo inny cel. Celem tym może być nie tylko poprawa skutecz-ności i efektywskutecz-ności interwencji, ale również zwiększenie przejrzystości i pro-mowanie podejmowanych działań przez instytucje publiczne, czy też poznanie mechanizmów funkcjonowania programów, działań, itp.

Moment realizacji badania ewaluacyjnego determinował będzie typ prowadzo-nego badania. Komisja Europejska w wytycznych do formułowania regionalnych strategii innowacji wskazuje jedynie na konieczność przeprowadzenia ewaluacji ex-ante. Ma ona służyć weryfikacji planowanej logiki interwencji, a także przewi-dzianych nakładów, produktów, rezultatów strategicznych i rezultatów.⁵ Ewaluacja śródokresowa (ang. mid-term), która zasadniczo realizowana jest w połowie okre-su wdrażania danego programu, działania, czy instrumentu, tutaj może przybrać formę oceny średnioterminowej, tj. realizowana może być w perspektywie trzech–

czterech lat od momentu wyznaczenia specjalizacji. Ocenę mid-term można po-wiązać z okresem wdrażania funduszy UE, a co za tym idzie, realizowana będzie

4 W literaturze przedmiotu spotkać można wiele definicji ewaluacji. Ogólnie ewaluacja to proces oce-ny efektów lub założeń realizacji interwencji publicznej przeprowadzaoce-ny w oparciu o odpowiednie kryteria (trafności, skuteczności, efektywności, użyteczności, trwałości) za pomocą odpowiedniej metodologii w celu poprawy jakości podejmowanych działań, ze szczególnym uwzględnieniem celów jakie interwencja ma realizować.

5 Guide to Research and Innovation Strategies for Smart Specialisations (RIS 3), KE 2012.

w połowie okresu wdrażania poszczególnych programów. Ocena ta prowadzić może do zasadniczych zmian polityki/programu/działań/specjalizacji. Bazuje również na widocznych rezultatach i informacji zwrotnej od interesariuszy regio-nalnych, w tym instytucji wdrażających i beneficjentów polityki.⁶

Kontekst i zakres ewaluacji, a także potrzeby informacyjne sprzyjać będą realizacji bieżących badań ewaluacyjnych (ang. on-going). W odniesieniu do poszczególnych modułów systemu monitorowania omówionych wyżej stwier-dzić można, że ewaluacja on-going bazować może na danych i informacjach zebranych w ramach każdego z modułów. Ostatnim typem ewaluacji jest ewa-luacja ex-post, która co do zasady prowadzona jest po zakończeniu realizacji wsparcia (programu, działania, instrumentu, itd.). W przypadku prowadzonej

6 Guide to Research and Innovation Strategies for Smart Specialisations (RIS 3), KE 2012.

Moment realizacji

• poprawa interwencji (weryfikacja specjalizacji)

• zwiększenie przejrzystości i promowanie

Metodyka badania

• techniki ilościowe

• techniki jakościowe

• techniki prognostyczne

• itd.

Kryteria ewaluacji

• trafność

• skuteczność

• efektywność

• użyteczność

• trwałość

Zakres ewaluacji

• Ocena efektów wsparcia

Rysunek 5. Elementy definiujące sposób ewaluacji inteligentnych specjalizacji

Źródło: opracowanie własne.

polityki, także w przypadku ewaluacji inteligentnych specjalizacji, trudność wynika z braku punktu w czasie, w którym oceny takiej można dokonać (inte-ligentne specjalizację są elementem polityki i jako takie nie mają zamkniętego wymiaru czasowego). Podobnie jak w przypadku ewaluacji mid-term, również tutaj można powiązać ocenę ze wsparciem finansowym udzielanym w ramach programów operacyjnych. W takim przypadku ewaluacja ex-post realizowana powinna być pod koniec lub z końcem okresu programowania 2014–2020 a jej celem powinna być ocena oddziaływania polityki.

Innym wymiarem procesów ewaluacji są determinujące ten proces kryteria ewaluacyjne. W literaturze przedmiotu najczęściej wymienia się pięć głównych kryteriów – są to:

● Trafność – mówi o tym, czy cele i instrumenty zostały właściwie zapro-jektowane – może być mierzona w trybie ex ante, bieżącym lub w ramach oceny śródokresowej;

● Skuteczność – mówi o tym, czy cele zostały osiągnięte – mierzona w trybie ex ante, bieżącym, w ramach oceny śródokresowej lub ex post;

● Efektywność – porównuje osiągnięte wyniki z zainwestowanymi nakładami – mierzona w trybie ex ante, bieżącym, w ramach oceny śródokresowej lub ex post;

● Użyteczność – mówi o tym, czy potrzeby beneficjentów zostały zaspokojone bądź też czy problemy społeczno-gospodarcze zostały rozwiązane – mierzona w trybie ex post;

● Trwałość – mówi o tym, czy osiągnięte wyniki zostały utrzymane po zakoń-czeniu interwencji – mierzona w trybie ex post.⁷

Z perspektywy poprawy jakości interwencji publicznej oraz doskonalenia prowa-dzonych działań na rzecz wspierania inteligentnych specjalizacji najistotniejsze będą pierwsze trzy spośród wyżej wymienionych. Koncentracja na tych aspektach pozwoli dokonać potencjalnych zmian we wdrażanych programach. Pozostałe kryteria mają wymiar szerszy i w większym stopniu dotyczą prowadzonej polityki innowacyjnej, choć oczywiście też dotyczyć mogą poziomu wdrażanych programów.

Biorąc pod uwagę powyższe kryteria można stwierdzić, że ich wybór będzie podyktowany celem konkretnego badania. Inny katalog kryteriów sformułowany zostanie w przypadku ewaluacji, której celem będzie weryfikacja wybranych inteligentnych specjalizacji, inny w przypadku oceny mającej na celu poprawę przejrzystości prowadzonych działań, a jeszcze inny w przypadku oceny mecha-nizmów funkcjonowania wsparcia.

7 Por. Założenia dla koordynacji systemu M&E w Polsce.

Jednym z ważniejszych elementów definiujących ewaluację inteligentnych specjalizacji jest jej zakres. Nawiązując do proponowanego wyżej systemu mo-nitorowania specjalizacji, można przyjąć, że ewaluacja dotyczyć może oceny stopnia osiągania planowanych wskaźników, oceny potencjału regionu lub kraju w obszarze inteligentnych specjalizacji i szerszego kontekstu ich wyboru, w końcu dotyczyć może oceny działań finansowanych ze środków UE lub innych środków na rzecz wspierania inteligentnych specjalizacji i efektów tego wsparcia. Powyższe zestawienie nie wyczerpuje jednak zakresu badań ewaluacyj-nych prowadzoewaluacyj-nych w kontekście oceny inteligentewaluacyj-nych specjalizacji. W zasadzie każdy ze szczegółowych elementów wymienionych w odniesieniu do modułów systemu monitorowania wymagać może dokonania pogłębionej oceny. Doty-czy to np. oceny powiązań regionalnych inteligentnych specjalizacji z krajo-wymi specjalizacjami, wsparcia nie-beneficjentów programów operacyjnych, którzy funkcjonują w obszarze inteligentnych specjalizacji, czy też potencjału gospodarki w obszarze nisz stanowiących potencjalne inteligentne specjalizacje.

Ważnym obszarem ewaluacji, wynikającym z braku zewnętrznego spojrzenia i zewnętrznej perspektywy w procesie wyznaczania inteligentnych specjalizacji, może być również obszar potencjału regionalnych specjalizacji w ujęciu mię-dzynarodowym.⁸ Zakres będzie obejmował tutaj ustalenie pozycji regionu na określonych niszach/rynkach globalnych i w międzynarodowych łańcuchach wartości. Z kolei prowadząc działania monitoringowe, instytucje zarządzające stanąć mogą przed koniecznością realizacji badania on-going, odnoszącego się np. do stopnia realizacji wybranego wskaźnika lub grupy wskaźników, obrazu-jących realizację celów regionalnej strategii innowacji.

Ocena potencjału inteligentnych specjalizacji w województwie pomorskim Województwo pomorskie obrało własną ścieżkę wyznaczenia inteligentnych specjalizacji. Ich wybór ma tutaj bowiem charakter konkursu, a cały proces ma charakter oddolny. Podczas konkursu zgłoszonych propozycji oceniane są takie elementy jak:

A. Wyzwania, trendy, potencjalny rynek B. Potencjał gospodarczy i technologiczny C. Benchmarking (krajowy i międzynarodowy) D. Strategia i plan działań

E. Dotychczasowe inicjatywy wspierające rozwój specjalizacji

8 Jak wynika z przeprowadzonych badań, tylko nieliczne regiony analizowały zewnętrzną perspektywę w procesie wyznaczania inteligentnych specjalizacji.

Powyższe elementy stanowić mogą gotowy zakres szerokiej ewaluacji ex-anteinteligentnych specjalizacji na poziomie regionu, także w odniesieniu do innych regionów Polski oraz kraju.

Ocena potencjału regionu lub kraju odnosząca się do jednego z modułów zarysowanego systemu monitorowania inteligentnych specjalizacji może mieć bardzo szeroki charakter. Zakres ewaluacji zdeterminowany będzie tutaj w zasa-dzie jedynie dostępnością danych w poszczególnych obszarach zainteresowania lub możliwością ich pozyskania. Na podstawie analizy przypadków zagranicz-nych sformułować można następujący, przykładowy katalog obszarów oceny w ramach ewaluacji ex-ante, on-going i mid-term:

● Podejście strategiczne: poparcie dla strategii innowacji na najwyższym szczeblu politycznym; priorytetyzacja inwestycji publicznych w badania / edukację / innowacje w regionie; przewidywalność w ramach polityki inno-wacji dla podmiotów regionalnych i wsparcie regionalnych podmiotów jako podstawa polityki innowacji;

● Policy mix: współpraca na poziomie lokalnym, regionalnym, krajowym i UE w zakresie polityk (B+R, innowacje, edukacja, informatyka); koordynacja polityk w regionie;

● Przedsiębiorczość: korzystne warunki dla inwestycji kapitałowych, aniołów biznesu i funduszy kapitału podwyższonego ryzyka; środowisko sprzyjają-ce tworzeniu nowych przedsięwzięć biznesowych; istnienie nisz, istnienie instrumentów wspierania komercjalizacji; wspieranie młodych, innowacyj-nych przedsiębiorstw;

● Ocena infrastruktury cyfrowej: istniejąca i planowana infrastruktura cyfro-wa (sieci szerokopasmowe), dostępność, stopień realizacji Agendy Cyfrowej;

● Zasoby ludzkie: atrakcyjność warunków dla pracowników nauki, mobilność personelu jednostek naukowych;

● Sektor publiczny: istnienie przepisów/procedur wspierających powstawanie innowacji; wprowadzanie innowacji w organizacjach sektora publicznego;

● Edukacja i badania naukowe: istnienie i zakres szkoleń na temat przedsię-biorczości i twórczego rozwiązywania problemów; organizacje edukacyjne i badawcze; istnienie polityki w celu wspierania stałej współpracy jednostek naukowych z przedsiębiorstwami; uwzględnienie roli kluczowych techno-logii wspomagających (KET);

● Finanse: przewidywalność ram finansowania; trwałość inwestycji publicz-nych w badania, edukację i innowacje; efektywność systemów wsparcia;

finansowanie prywatne.