Procedury dokonywania ewaluacji i monitoringu

Procedura monitoringu

Zadania związane z prowadzeniem monitoringu będą realizowane przez pracowników biura LGD. W poniższej tabeli szczegółowo rozpisano aspekty funkcjonowania i realizacji LSR, które będą podlegać analizie i ocenie.

Elementy podlegające monitorowaniu

Badane aspekty Źródła danych

Funkcjonowanie LGD

 Realizacja szkoleń dla pracowników LGD

 Realizacja szkoleń dla organów LGD

 Efektywność doradztwa w biurze LGD

 Liczba porad i charakter doradztwa świadczonego w biurze LGD,

 Ocena świadczonego doradztwa

 Częstotliwość i regularność spotkań organów LGD,

 Frekwencja na spotkaniach organów LGD

 Dane własne LGD

 Badania ankietowe:

o osoby korzystające z doradztwa, o osoby uczestniczące w spotkaniach,

szkoleniach organizowanych przez LGD

Realizacja planu

działania  Przestrzeganie przyjętych procedur  Dane własne LGD Realizacja LSR  Stopień osiągnięcia założonych wartości

wskaźników (rezultatów i produktów)

 Realizacja działań skierowanych do grupy defarowyzowanej

 Ocena skuteczności stosowanych kryteriów wyboru

 Stopień wykorzystania funduszy

 Wysokość zakontraktowanych środków

 Dane własne LGD

 Ankieta monitorująca dla beneficjentów i grantobiorców

 Dane zebrane z prowadzonych konkursów

Realizacja planu komunikacyjnego

 Liczba i charakter działań promocyjnych podjętych przez LGD,

 Liczba i charakter uczestnictwa w

działaniach zewnętrznych wobec LGD (w tym wydarzeniach lokalnych i

ponadlokalnych

 Postępy w realizacji planu komunikacji

 Realizacja wskaźników planu komunikacyjnego

 Efektywność działań komunikacyjnych

 Stopień rozpoznawalności LGD wśród mieszkańców obszaru

 Dane własne LGD

 Statystyki stron internetowych oraz statystyki innych wykorzystywanych w planie komunikacyjnym narzędzi komunikacyjnych (np. ulotki)

 Badania ankietowe osób uczestniczących w spotkaniach, szkoleniach

organizowanych przez LGD

Charakterystyka źródeł danych oraz sposobów pomiaru i oceny danych:

 Dane własne LGD – dane gromadzone w toku normalnej działalności LGD, w szczególności w ramach obowiązkowej sprawozdawczości realizowanej przez Stowarzyszenie. Dane własne obejmują:

◦ Wskaźniki planu komunikacji

◦ Dane ilościowe dotyczące doradztwa w biurze

◦ Dane gromadzone w trakcie naborów (m.in. terminy naborów, ilość złożonych wniosków, środki finansowe przypisane do naborów)

◦ Wskaźniki LSR i PROW

◦ Realizację budżetu LSR

◦ Dane dotyczące pracy organów LGD

◦ Informacje o szkoleniach dla pracowników i członków organów LGD.

 Badania własne:

◦ Ankieta monitorująca dla beneficjentów i grantobiorców – badanie pozwoli na zbieranie istotnych informacji dotyczących postępu rzeczowo-finansowego. Pozwoli także

pogłębić informacje uzyskane z wniosków o dofinansowanie operacji, m.in. pozwoli na dezagregację obowiązkowych wskaźników PROW. Ankieta będzie wypełniana przez beneficjentów i grantobiorców raz, w roku, w którym rozliczyli oni operację.

◦ Badania ankietowe osób korzystających z doradztwa – badanie realizowane na bieżąco, w których jednostką analizy będą udzielone porady. O wypełnienie ankiety będą

proszone osoby korzystające z doradztwa w biurze LGD. Anonimowe ankiety wrzucane będą do pojemnika umieszczonego przy wejściu do biura LGD.

◦ Badania ankietowe uczestników spotkań lub szkoleń organizowanych przez LGD – realizowane w czasie każdego tego typu wydarzenia zorganizowanego przez LGD.

Dane zgromadzone za pomocą wymienionych powyżej technik będą poddawane okresowej analizie przez pracowników biura LGD w przypadku ewaluacji on-going lub przekazywane w przypadku ewaluacji mid-term i eks-post przez pracownika LGD wyspecjalizowanemu zewnętrznemu podmiotowi, który będzie na potrzeby LGD opracowywał stosowny raport. Dane będą przygotowywane i przekazywane według wytycznych sformułowanych przez ten podmiot zewnętrzny. Ponadto wyspecjalizowany podmiot zewnętrzny, na bazie zebranych i przeanalizowanych przez pracowników biura LGD danych, będzie przygotowywał w formie prezentacji coroczny raport z monitoringu. Zostanie on wykorzystany do realizacji warsztatów refleksyjnych w ramach ewaluacji wewnętrznej (patrz „Procedura ewaluacji).

Jeśli chodzi o czas dokonania pomiaru, to jest on niemożliwy do sprecyzowania w przypadku danych, które będą rejestrowane na bieżąco (np. w przypadku danych dotyczących doradztwa w biurze LGD).

Wiele zaplanowanych źródeł danych sama w sobie zawiera wskazanie momentu rejestracji danych, np. ankiety dotyczące spotkań, szkoleń organizowanych przez LGD powinny być realizowane na ich zakończenie (ankiety będą wypełnianie w czasie wszystkich spotkań organizowanych przez LGD).

Raport z monitoringu dotyczący ostatniego zakończonego roku kalendarzowego będzie przygotowany w terminie do 20 stycznia następnego roku w każdym roku realizacji LSR. LGD będzie przekazywać zewnętrznemu wykonawcy raportu dane zebrane w ramach monitoringu w minionym roku kalendarzowym w terminie do 5 stycznia kolejnego roku kalendarzowego.

Procedura ewaluacji

Procedura ewaluacji zakłada realizację kilku działań w różnych momentach wdrażania LSR:

1. corocznej ewaluacji wewnętrznej (on-going), 2. śródokresowej ewaluacji mid-term,

3. końcowej ewaluacji zewnętrznej (ex-post).

Coroczna ewaluacja wewnętrzna prowadzona będzie w ramach warsztatów refleksyjnych w ramach ewaluacji on-going. Sposób i termin ich realizacji będzie zgodny z Wytycznymi Ministra Rolnictwa

i Rozwoju Wsi nr 5/3/2017 w zakresie monitoringu i ewaluacji strategii rozwoju lokalnego kierowanego przez społeczności w ramach Programu Rozwoju Obszarów Wiejskich na lata 2014-2020 z dnia 18 sierpnia 2017 r. W czasie spotkań wykorzystany zostanie raport z monitoringu przygotowanych w formie prezentacji przez wyspecjalizowany podmiot zewnętrzny.

Badania ewaluacyjne w ramach ewaluacji mid-term i ewaluacji zewnętrznej pozwolą na ocenę funkcjonowania LGD i realizacji LSR z uwzględnieniem kryteriów ewaluacyjnych. Przyjęte kryteria ewaluacyjne zdefiniowane zostały w sposób następujący:

 Trafność: stopień, w jakim przyjęte cele, przedsięwzięcia i sposób funkcjonowania LGD odpowiadają zidentyfikowanym problemom w obszarze objętym realizacją LSR i realnym potrzebom odbiorców działań

 Efektywność: stosunek poniesionych nakładów (zasobów finansowych, ludzkich, czasu) do uzyskanych wyników i rezultatów

 Skuteczność: stopień osiągnięcia zdefiniowanych celów i przedsięwzięć

 Użyteczność: stopień zaspokojenia potrzeb odbiorców działań w wyniku osiągnięcia rezultatów operacji

 Trwałość: ocena możliwości i stopnia utrzymania się efektów i wpływu działań po zakończeniu ich realizacji.

W poniższej tabeli zaprezentowano sposób operacjonalizacji kryteriów ewaluacyjnych, tzn. sposób w jaki znajdują one odzwierciedlenie w konkretnych pytaniach badawczych. Pytanie te wskazują na obszary funkcjonowania LGD oraz realizacji LSR, które będą podlegać ewaluacji mid-term oraz ex-post (zewnętrznej). Pytania badawcze i obszary badania są również powiązane z zaplanowanymi technikami badawczymi, które zostaną scharakteryzowane pod tabelą.

Ewaluacja i podmiot wykonujący

Kryteria ewaluacyjne i główne pytania badawcze

Ewaluacja mid-term –

hybrydowa, realizowana we współpracy z zewnętrznymi ekspertami

Trafność

Czy w społeczności nie zaszły jakieś istotne zmiany, które mają wpływ na obniżenie poziomu trafności LSR?

Efektywność

Czy osiągnięte efekty rzeczywiście były wynikiem realizacji przedsięwzięć w ramach wdrażania LSR?

Określenie stopnia prawdopodobieństwa, że obserwowane rezultaty mogłyby pojawić się pomimo braku interwencji.

Jaki jest stosunek poniesionych nakładów w stosunku do uzyskanych rezultatów.

Skuteczność

Jaki jest poziom realizacji wskaźników produktu i rezultatu?

Ocena stopnia realizacji harmonogramu i budżetu wdrażania LSR.

Użyteczność

W jakim stopniu potrzeby beneficjentów zostały zaspokojone dzięki realizacji operacji?

Jakie są nieplanowane efekty wdrażania LSR?

Trwałość

Czy realizowane operacje mają potencjał wywołania trwałych zmian?

Ewaluacja ex-post – zewnętrzna (realizowana przez

wyspecjalizowany podmiot we współpracy z LGD)

Efektywność, skuteczność, użyteczność (pytania badawcze dla kryteriów – jak powyżej).

Czy działania realizowane w toku wdrażania LSR uzupełniały się z innymi programami obejmującymi obszar LGD?

W jakim stopniu działania realizowane w toku wdrażania LSR uzupełniały się wzajemnie?

Trwałość

Czy zrealizowane operacje wywołały trwałe zmiany w lokalnej społeczności?

W czasie ewaluacji mid-term, on-going oraz ex-post zastosowane zostaną następujące techniki badawcze:

● Analiza danych zastanych (ewaluacja mid-term, ex-post) – analiza dokumentacji

wytworzonej przez biuro i organy LGD. Analiza ogólnodostępnych danych statystycznych (np. Bank Danych Lokalnych). Analiza dostępnych publikacji i raportów z badań

dotyczących obszaru LGD. Bardzo istotnym źródłem danych zastanych będą raporty z monitoringu oraz sprawozdania z warsztatów refleksyjnych. Analiza danych zastanych zostanie w szczególności wykorzystana do określenia trafności prowadzonej interwencji.

Wyniki analizy danych zastanych będą ponadto stanowić punkt wyjścia do zbierania danych przy pomocy pozostałych technik badawczych. Analiza dokumentacji w największym stopniu zostanie jednak wykorzystana w badaniu trafności i spójności procesu wdrażania LSR. Analiza w opisywanym tu zakresie w ramach ewaluacji zewnętrznej oraz ewaluacji mid-term przeprowadzona zostanie przez wyspecjalizowany podmiot zewnętrzny. LGD zobowiązane jest do przekazania jego przedstawicielom danych, informacji oraz materiałów niezbędnych do wykonania tego zadania badawczego.

● Wywiady eksperckie (ewaluacja mid-term, ex-post)) – wywiady (indywidualne i grupowe) z przedstawicielami biura LGD oraz organów LGD. Wywiady eksperckie będą odgrywać znaczącą rolę dla określenia trafności i skuteczności wdrażania LSR.

● Badanie ankietowe mieszkańców obszaru LGD (mid-term, ex-post) – badanie ilościowe przeprowadzone na losowo dobranej próbie lub za pośrednictwem badań online. Ankiety przeprowadzone zostaną przez pracowników LGD, z wykorzystaniem techniki PAPI lub elektronicznie z wykorzystaniem techniki CAWI. Badanie ankietowe zostanie

przeprowadzone 2-krotnie: w ramach ewaluacji mid-term i ex-post. Kwestionariusze ankiety dostarczone zostaną przez wyspecjalizowany podmiot zewnętrzny, który będzie

merytorycznie odpowiedzialny za przeprowadzenie badań ewaluacyjnych. Badania

ankietowe pozwolą na uspołecznienie procesu ewaluacji i włączenie mieszkańców w proces oceny funkcjonowania LGD. Wyniki ankiet będą istotne przede wszystkim dla oceny trafności, skuteczności oraz użyteczności procesu wdrażania LSR oraz trwałości uzyskanych efektów.

● Badanie ankietowe osób korzystających z doradztwa (ewaluacja mid-term, ex-post) – służyć będzie do badania poziomu efektywności doradztwa. Prowadzone będzie co roku w ramach monitoringu, a zebrane dane będą zbierane w corocznych raportach z monitoringu i poddawane ocenie w czasie warsztatów refleksyjnych. Dane te zostaną poddane

dodatkowej zbiorczej analizie w czasie ewaluacji mid-term i ex-post.

● Badanie ankietowe wśród wnioskodawców (ewaluacja ex-post) – badanie ilościowe przeprowadzone za pomocą formularza internetowego (CAWI) lub z wykorzystaniem

techniki CATI (telefonicznie). Do jego udostepnienia wykorzystana zostanie baza kontaktów

zgromadzonych przez LGD w ramach wdrażania LSR. Ankieta będzie wypełniana przez wnioskodawców. Badanie to pozwoli na analizę efektywności interwencji podjętych w ramach wdrażania LSR oraz będzie uzupełnieniem danych gromadzonych przy pomocy ankiet wypełnianych przez osoby korzystające z doradztwa w biurze LGD oraz ankiet monitorujących dla beneficjentów. W przypadku realizacji badań CAWI, ankieta internetowa opracowana zostanie przez wyspecjalizowany podmiot zewnętrzny odpowiedzialny za realizację ewaluacji ex-post.

● Warsztaty refleksyjne realizowane w ramach ewaluacji on-going. W ich czasie uczestnicy będą mogli uzyskać informacje na temat działalności LGD i postępów we wdrażaniu LSR.

Uczestnicy będą brali udział w ocenie danych zebranych w ramach monitoringu. Istotnym celem spotkań będzie też pozyskiwanie informacji zwrotnych od uczestników.

Źródła danych i techniki ich pozyskania

Analiza danych zastanych Wywiady eksperckie

Badanie ankietowe na losowo dobranej próbie mieszkańców obszaru LGD (realizowane przez biuro LGD za pomocą ankiety dostarczonej przez wyspecjalizowany podmiot zewnętrzny)

2019 Włączenie mieszkańców w proces ewaluacji LSR.

Kompleksowa ocena dokumentu strategicznego.

Opisanie i ocena zmian w społeczności lokalnej osiągniętych dzięki wdrażaniu LSR.

Identyfikacja ewentualnych istotnych zmian w społeczności lokalnej rodzących potrzebę zmian zapisów LSR.

Sformułowanie rekomendacji dotyczących funkcjonowania LGD oraz dalszych działań związanych z wdrażaniem LSR.

Sformułowanie rekomendacji odnośnie ewentualnych zmian zapisów LSR, regulaminów lub procedur stosowanych w LGD.

Ex-post

Analiza danych zastanych Wywiady eksperckie

Badanie ankietowe na losowo dobranej próbie mieszkańców obszaru LGD (realizowane przez biuro LGD za pomocą ankiety dostarczonej przez

Włączenie mieszkańców w proces ewaluacji LSR.

Kompleksowa ocena dokumentu strategicznego.

Ocena wszystkich aspektów funkcjonowania LGD oraz działań podjętych w ramach aktywizacji.

Opisanie i ocena zmian w społeczności lokalnej osiągniętych dzięki wdrażaniu LSR.

Sformułowanie rekomendacji dotyczących przyszłego sposobu funkcjonowania LGD.

Ewal uacja on-going

Warsztaty refleksyjne za każdy rok realizowane na początku kolejnego roku

kalendarzowego na podstawie zbieranych na bieżąco danych opracowanych w formie prezentacji pracownika biura lub podmiot zewnętrzny

Do końca lutego każdego roku wdrażania LSR

Włączenie mieszkańców w proces ewaluacji LSR.

Ocena wdrażania dokumentu strategicznego.

Ocena aspektów funkcjonowania LGD oraz działań podjętych w ramach aktywizacji.

Opisanie i ocena zmian w społeczności lokalnej osiągniętych dzięki wdrażaniu LSR.

Sformułowanie rekomendacji dotyczących przyszłego sposobu funkcjonowania LGD.

W dokumencie Lokalna Grupa Działania Perły Ponidzia (Stron 71-77)