Cele i metodologia badania
Celem przeprowadzonego badania było określenie, w jaki sposób inwestycje społeczne wspierane w ramach programu przyczyniają się do poprawy jakości i dostępności usług społecznych i aktywnej integracji w regionie.
W ramach niniejszej ewaluacji zastosowano następujące metody i techniki badawcze:
▪ Analiza desk research – w analizie uwzględniono dokumenty programowe, dokumenty strategiczne regionalne oraz krajowe, wytyczne, ustawy, bazy danych pochodzące z SL2014, dokumenty konkursowe, raporty badawcze, badania ewaluacyjne, dane statystyki publicznej, sprawozdania okresowe i roczne dotyczące wskaźników.
▪ Ankiety CAWI/CATI – te techniki badawcze zostały zastosowane wobec:
beneficjentów RPO WK-P 2014-2020, zastosowany został dobór próby zupełny – otrzymano 175 wypełnionych ankiet; mieszkańców województwa kujawsko-pomorskiego będących odbiorcami ostatecznymi wsparcia, zastosowany został dobór próby losowo-warstwowy – 596 wypełnionych ankiet.
▪ Wywiady IDI - Badaniem IDI objęto przedstawicieli jednostek zaangażowanych w realizację RPO WK-P 2014-2020 oraz przedstawicieli Regionalnego Ośrodka Polityki Społecznej w Toruniu. Łącznie zrealizowano 13 wywiadów.
▪ Wywiady FGI – tym badaniem zostali objęci przedstawiciele Ośrodków Pomocy społecznej, Powiatowych Centrów Pomocy Rodzinie, podmiotów reintegracji oraz instytucji wspierania rodziny i systemu pieczy zastępczej funkcjonujących na danym obszarze. Zrealizowano 4 wywiady FGI. W badaniu zastosowano celowy dobór próby.
▪ Wywiady ITI – badanie przeprowadzone w celu uzupełnienia frekwencji
uczestników badania FGI: zastosowano celowy dobór próby, przeprowadzono 5 wywiadów ITI.
▪ Warsztat ewaluacyjny - w warsztacie ewaluacyjnym wzięli udział przedstawiciele instytucji zaangażowanych we wdrażanie RPO WK-P 2014-2020 oraz
przedstawiciel Wykonawcy. W ramach warsztatu zastosowany celowy dobór próby.
▪ Metoda heurystyczna – w ramach tej metody, zidentyfikowano oraz zgromadzono potrzebne do niniejszego badania materiały i opracowania naukowe.
▪ Benchmarking – w jego ramach, zastosowano dobór zupełny i celowy: pierwszy dobór zastosowano w odniesieniu do programów realizowanych w Polsce na szczeblu wojewódzkim (RPO), drugi natomiast w odniesieniu do rozwiązań międzynarodowych.
Uwzględniając doświadczenia z realizacji niniejszego badania warto zwrócić szczególną uwagę na dwie kwestie. Po pierwsze, specyfika grupy docelowej ewaluowanego
wsparcia sprawiła, że szczególnie uzasadnione było zastosowanie podejścia mixed-mode research – na etapie realizacji badania CAWI okazało się niemożliwe dotarcie do takiej liczby respondentów, która zagwarantowałaby realizację założeń dotyczących doboru próby. Po drugie, z punktu widzenia triangulacji wyników badania użyteczne okazało się duże zróżnicowanie kategorii respondentów w ramach badania jakościowego (IDI, ITI i FGI).
Opis wyników badania
Analiza i ocena stopnia trafności projektów w obszarze usług społecznych i aktywnej integracji
Pierwszym z omawianych elementów tej analizy była dynamika zmian liczby świadczeń pomocy społecznej w województwie. W 2018 roku największe znaczenie miały
świadczenia z tytułu ubóstwa (64,2% wszystkich świadczeń pomocy społecznej) i bezrobocia (49,7%). Świadczenia wynikające z długotrwałej lub ciężkiej choroby niepełnosprawności to z kolei, odpowiednio: 36,8% i 34,8% wszystkich świadczeń. W porównaniu z rokiem 2014, zauważamy (z jedynie kilkoma wyjątkami) spadek
udzielanych świadczeń – spośród powodów udzielania świadczeń pomocy społecznej mających największe znaczenie, relatywnie największy spadek dotyczy świadczeń z tytułu bezrobocia, co odzwierciedla znaczącą poprawę sytuacji na krajowym i regionalnym rynku pracy. Należy tutaj jednak również zwrócić uwagę, na coraz istotniejszą kategorię wymagającą wsparcia: osoby w wieku senioralnym. Często osoby znajdujące się w tej kategorii, są osobami niesamodzielnymi – te z kolei, stanowią bardzo liczną grupę, która wymaga opieki. W latach 2014-2018, wzrosła liczba mieszkańców placówek stacjonarnej opieki społecznej.
Wobec powyższych wniosków, prowadzone są działania zaradcze, np. znacznie
zwiększyła się liczba dziennych domów pomocy / pobytu. Przypadek środowiskowych domów samopomocy wskazuje, że każdy powiat dysponuje placówkami tego typu, jednak ich rozmieszczenie nie jest równomierne (co istotne, duże ośrodki miejskie nie oferują większej dostępności tych placówek niż mniejsze ośrodki). W kontekście tych placówek potrzeby rosną nieproporcjonalnie szybciej do stosowanych działań
zaspokajających je – podobna tendencja dotyczy też klubów seniora oraz domów samopomocy. Patrząc dalej, np. na mieszkania chronione, w 2018 roku mówimy o dostrzegalnej różnicy w ich ilości, między średnią krajową, a średnią województwa kujawsko-pomorskiego – na niekorzyść tego ostatniego. Ponadto, w odróżnieniu do wielu innych form wsparcia, w przypadku mieszkań chronionych, mówimy często o
„białych plamach”, czyli powiatach, które w ogóle nie dysponują tego rodzaju instrumentem pomocowym. Inaczej jest w przypadku lokali socjalnych, których dostępność jest większa niż średnia ogólnopolska.
W prowadzonej analizie uwzględniono także wsparcie skierowane do osób z
niepełnosprawnościami. Udział w populacji osób z niepełnosprawnościami w wieku 16+
(10,5%) jest w woj. kujawsko-pomorskim nieco wyższy niż w całej Polsce (9,3%). Mamy przy tym do czynienia ze spadkiem aktywności zawodowej osób z
niepełnosprawnościami. W okresie 2014-2018 zwiększeniu uległa w regionie liczba Zakładów Aktywności Zawodowej oraz Warsztatów Terapii Zajęciowej, przy czym w przypadku tych pierwszych nadal mamy do czynienia z relatywnie dużą liczbą powiatów, w których nie ma tego typu placówek. A co istotne – w ramach RPO WK-P 2014-2020 nie zaplanowano tworzenia nowych podmiotów tego typu. O niedoborach placówek wsparcia należy w województwie mówić także w przypadku Centrów Integracji
Społecznej i Klubów Integracji Społecznej. Istotne zmiany następowały natomiast w zakresie pieczy zastępczej, co związane jest z wymaganym ustawowo procesem zwiększania znaczenia pieczy rodzinnej oraz zmniejszania skali funkcjonowania pieczy zastępczej w formule instytucjonalnej (czego potwierdzeniem jest spadek udziału
wychowanków instytucjonalnej pieczy zastępczej w ogólnej liczbie osób objętych pieczą zastępczą).
Ewaluowana interwencja stanowiła odpowiedź na zidentyfikowane powyżej problemy i tendencje. Podkreślić przy tym należy kompleksowość i różnorodność dostępnej w ramach RPO WK-P 2014-2020 pomocy w zakresie usług społecznych i aktywnej
integracji. Działania w ramach EFRR, zawierają głównie pomoc w postaci prowadzenia przebudów / wyposażenia budynków, a działania EFS głównie integrację osób
zagrożonych wykluczeniem, wsparcie osób na rynku pracy, zwiększenie dostępności usług społecznych, poprawę sytuacji osób niesamodzielnych i problematycznej młodzieży oraz poprawę dostępu do usług wsparcia rodziny i pieczy zastępczej. Wg danych na 31.05.2019 r. na wsparcie infrastrukturalne przeznaczono 95,3mln zł,
podpisano w tym zakresie 40 umów o dofinansowanie, które wykorzystują 64,9 mln zł dostępnej alokacji. Na wsparcie w zakresie aktywnej integracji przeznaczono 174,2 mln zł alokacji, w obszarze tym podpisano 82 umowy o dofinansowanie na łączną kwotę 61,0 mln zł. Największą kwotę alokacji, tj. 207,3 mln zł, przeznaczono na działania związane z usługami społecznymi, w obszarze tym podpisano 119 umów o dofinansowanie na łączną kwotę 153,4 mln zł. W kontekście planowania przyszłej struktury wsparcia trzeba podkreślić, że należy zwiększyć przewagę w dostępnej alokacji środków finansowych przeznaczonych na obszar usług społecznych, przy jednoczesnym zmniejszaniu
strumienia wsparcia skierowanego na obszar aktywnej integracji. Stanowiłoby to trafne odzwierciedlenie skali i charakteru aktualnych potrzeb regionu.
Grupą najsilniej objętą wsparciem są osoby z niepełnosprawnościami, a następnie osoby niesamodzielne. Wpływ prowadzonych projektów (w ramach RPO) na dostępność
wsparcia ocenić należy jako zdecydowanie znaczący, co podkreślają przedstawiciele poszczególnych kategorii interesariuszy wsparcia. Przy czym nadal, jedna trzecia
odbiorców pomocy dostrzega problem z dostępnością form wsparcia, które byłyby dla nich przydatne. Istotne znaczenie mają w tym przypadku określone bariery
ograniczające rzeczoną dostępność, między innymi wynikające z niedopasowania infrastruktury architektonicznej, transportowej, niskiej motywacji, braku odpowiednich placówek, kadry lub po prostu braku wiedzy o dostępnym wsparciu. W badaniu
jakościowym sygnalizowany był też brak zainteresowania potencjalnych
projektodawców środkami finansowymi projektodawców oraz braki w mniejszych ośrodkach miejskich podmiotów mogących podjąć się realizacji określonych przedsięwzięć.
Trafność i adekwatność wsparcia oferowanego w ramach RPO WK-P 2014-2020 była również analizowana w relacji do wybranych dokumentów strategicznych.
Najważniejszym spośród nich był Krajowy Program Przeciwdziałania Ubóstwu i Wykluczeniu Społecznemu 2020, z którym to RPO cechuje relatywnie duży stopień spójności. Również w przypadku pozostałych dokumentów strategicznych (także szczebla regionalnego) mamy do czynienia z dużym stopniem spójności interwencji w RPO WK-P 2014-2020 z ich zapisami.
Analizując adekwatność interwencji podjęto także próbę identyfikacji najistotniejszych problemów, z jakimi borykają się uczestnicy projektów. Przede wszystkim były to problemy takie jak stres, zły stan zdrowia czy problemy finansowe. Trudności takie jak słabe samopoczucie psychiczne, czy trudna sytuacja finansowa, mogą być przez realizowane projekty niwelowane, ale raczej w sposób pośredni – trudno mówić o bezpośrednim (i dostrzegalnym w krótkiej perspektywie czasowej) oddziaływaniu ewaluowanych przedsięwzięć rozwiązanie ww. problemów.
Nawet połowa uczestników projektów nie dostrzega form wsparcia, które byłyby dla nich bardziej przydatne niż wsparcie otrzymane w projektach, co traktować należy jako dodatkowe potwierdzenie adekwatności i kompleksowości ewaluowanej interwencji. W przyszłej perspektywie finansowej możliwe jest jednak dalsze poszerzanie zakresu dostępnej pomocy, ew. bardziej jednoznaczne akcentowanie dostępności określonych form pomocy (np. poprzez wyodrębnianie określonych typów projektów, a niekiedy – jak np. w przypadku osób w wieku senioralnym – dedykowanych im Poddziałań).
W ramach prowadzonej analizy nie zidentyfikowano istotnych problemów związanych z procesem wyboru projektów (analizą objęto warunki naboru i oceny określane w
regulaminach konkursów oraz kryteriach wyboru projektów). Generalnie pozytywnie ocenić należy także kwestię wypełniania zasad horyzontalnych
Ocena wpływu realizacji projektów na zmniejszenie nierówności w dostępie do usług społecznych i aktywnej integracji
Przeprowadzone badanie pozwoliło uzyskać opinie odnośnie efektów uzyskanych dzięki uczestnictwu w projektach. W badaniu ilościowym, dominują opinie mówiące o efektach
„miękkich”, zwiększających ogólny komfort psychiczny, takich jak: większe zadowolenie czy nawiązanie nowych znajomości. Jeśli chodzi o opiekunów osób niesamodzielnych, to zyskiwali oni głównie nową wiedzę i umiejętności. Respondenci badania byli zgodni, że bez uczestnictwa w projekcie, nie byłoby możliwe uzyskanie określonych efektów. Jeśli natomiast chodzi o perspektywę realizatorów projektów, to ponad połowa
beneficjentów stwierdziła, iż bez uzyskanego dofinansowania, określone działania podejmowane w projektach nie byłyby możliwe (albo byłyby podejmowane w mniejszym zakresie / późniejszym terminie).
Perspektywa beneficjentów odnośnie samych efektów projektów w zakresie poprawy jakości i dostępności usług ujawnia pozytywny obraz wskazujący na to, iż oddziaływanie interwencji miało charakter wielowymiarowy i różnorodny. Szczególnie ważna jest tutaj kwestia deinstytucjonalizacji wsparcia. W większości projektów możemy mówić o realizacji wsparcia w formule zdeinstytucjonalizowanej, tj. świadczonej w środowisku lokalnym, przy czym większy potencjał w zakresie deinstytucjonalizacji cechuje usługi społeczne. Analizując charakter wspieranych i faktycznie realizowanych projektów, stwierdzić należy, że ewaluowana interwencja pozytywnie oddziałuje na proces
deinstytucjonalizacji. Sam proces deinstytucjonalizacji, przebiegający w formułach takich jak świadczenie usług w środowisku lokalnym, należy ocenić jako postępujący
dynamicznie oraz dający zauważalne efekty.
Gorzej kształtuje się sytuacja jeśli chodzi o udział podmiotów ekonomii społecznej i sektora pozarządowego we wdrażaniu działań dotyczących włączenia społecznego. Taki stan rzeczy wynika ze zwykle niewystarczającego zaufania wśród obu stron (drugą stroną są tutaj instytucje publiczne), często niechęci do współpracy oraz różnic w sposobie funkcjonowania podmiotów publicznych i pozarządowych. Problemem jest tutaj także mniejszy (w relacji do sektora publicznego) potencjał finansowy i
organizacyjny podmiotów ekonomii społecznej (w tym: organizacji pozarządowych).
Analizując efekty projektów o największej skuteczności mówić możemy w przypadku działań związanych z aktywizacją zawodową, wsparciem osób niepełnosprawnych, działań związanych z usługami asystenckimi i opiekuńczymi oraz dotyczących tworzenia
miejsc świadczenia usług społecznych. Beneficjenci lepiej oceniali projekty dotyczące aktywizacji społecznej, niż zawodowej (choć w obu przypadkach mamy do czynienia z generalnie pozytywną oceną osiąganych efektów).
Przeprowadzono także analizę czynników wpływających na powodzenie lub porażkę ewaluowanych projektów. Jednym z nich jest sama grupa docelowa i stopień trudności dotarcia do jej przedstawicieli. W tym kontekście, w przypadku ewaluowanych projektów RPO WK-P zauważamy raczej efekt souringu niż creamingu. Innymi słowy, projektodawcy raczej nie stosowali podejścia polegającego na rekrutowaniu przede wszystkim tych kategorii osób, które generują niewielkie trudności rekrutacyjne i realizacyjne. W dużej mierze wynika to z faktu, że generalnie w ramach całej ewaluowanej interwencji mamy do czynienia przede wszystkim z objęciem pomocą osób / grup znajdujących się w relatywnie trudnej sytuacji.
Realizatorzy projektów wyraźnie zadeklarowali, że przeprowadzając swoje
przedsięwzięcia, wolą mieć większą swobodę w wyborze sposobu świadczenia swoich usług, argumentując to faktem, że bardziej elastyczne, indywidualne podejście skutkuje lepszymi efektami.
Badanie zakładało także ocenę efektywności kosztowej – stwierdzono, że projekty z zakresu aktywnej integracji charakteryzują się wyższym poziomem tej efektywności niż projekty z zakresu usług społecznych. Trzeba przy tym podkreślić, że generalnie
wsparcie, którego dotyczy niniejsza ewaluacja powinno być oceniane pod względem efektywności kosztowej bardzo ostrożnie. Dotyczy to zresztą także stosowania takich mierników jak efektywność zatrudnieniowa w przedsięwzięciach, których głównym celem jest jednak aktywizacja społeczna.
Ocena trwałości i komplementarności
Ostatnim elementem raportu ewaluacji była ocena trwałości i komplementarności interwencji w zakresie aktywnej integracji i usług społecznych. Ocena ta pozwoliła stwierdzić, że istnieje pole do występowania komplementarności pomiędzy wsparciem EFRR i EFS. Prawie połowa beneficjentów podejmowała „działania uzupełniające” i miały one zwykle charakter działań „miękkich”. Tym bardziej istotne jest podejmowanie w przyszłym okresie finansowania działań, które pozwolą łączyć w realizowanych przedsięwzięciach komponenty: infrastrukturalny i „miękki” (np. poprzez mechanizm cross-financingu, przy czym istotne byłoby w tym przypadku zwiększenie limitów finansowych dla tego instrumentu).
Samo w sobie wsparcie pochodzące z RPO WK-P 2014-2020 jest komplementarne z wieloma programami rządowymi i unijnymi, co częściowo wynika z rozległości i
różnorodności ewaluowanej interwencji, a także wielości grup docelowych, do których została ona skierowana.
Jeśli chodzi o kwestię trwałości, to z punktu widzenia uczestników projektów mówić możemy o relatywnie dużej trwałości osiągniętych efektów (także zdaniem
beneficjentów, uczestnicy projektów będą korzystać z efektów projektów relatywnie długo). Większy problem stanowi natomiast utrzymywanie trwałości przedsięwzięć dotyczących świadczenia usług społecznych. Z tego względu istotne jest podejmowanie zróżnicowanych działań, które będą zorientowane na zmniejszenie ryzyka ograniczonej trwałości poszczególnych elementów systemu świadczenia usług społecznych w regionie (dążenie do zwiększenia skali realizacji projektów partnerskich o charakterze
międzysektorowym; wspieranie świadczenia usług społecznych w ramach wcześniej dofinansowanych placówek, przy jednoczesnym obniżeniu poziomu dofinansowania dla tego typu przedsięwzięć; rozważenie wprowadzenia rozwiązań dotyczących płatności za wybrane usługi społeczne).
Najważniejsze rekomendacje
Uwzględniając obecny moment wdrażania RPO WK-P 2014-2020 i stopień
zaawansowania wydatkowania alokacji w działaniach objętych ewaluacją, uznano że formułowane rekomendacje powinny dotyczyć przyszłego okresu finansowania. Wynika to z faktu, że wdrażanie określonych rekomendacji jeszcze w bieżącym okresie
finansowania mogłoby się okazać nieracjonalne i nie pozwoliłoby na osiągnięcie
założonych efektów, ale jednocześnie ich wdrażanie oznaczałoby ewentualne opóźnienia w realizacji Programu.
▪ Utrzymanie w przyszłym okresie finansowania szerokiego katalogu dostępnych typów projektów / działań, przy ewentualnym wprowadzeniu dodatkowych rozwiązań zorientowanych na zwiększenie skuteczności i adekwatności wsparcia.
▪ Określenie kwoty alokacji przeznaczonej na włączenie społeczne i usługi
społeczne w sposób uwzględniającą aktualną sytuację społeczno-gospodarczą i bieżące potrzeby regionu.
▪ Zapewnienie w przyszłym okresie finansowania – w przypadku istnienia takiej możliwości – adekwatnego wsparcia dla osób w wieku senioralnym.
▪ Koncentracja w ramach wsparcia dotyczącego włączenia społecznego na aktywizacji społecznej, nie zaś aktywizacji społecznej i zawodowej.
▪ Wprowadzenie rozwiązań zorientowanych na zmniejszenie ryzyka ograniczonej trwałości efektów projektów dotyczących świadczenia usług społecznych.
▪ Podjęcie działań zorientowanych na zniwelowanie bariery dotyczącej
konieczności wniesienia wkładu własnego przez organizacje pozarządowe / podmioty ekonomii społecznej.
▪ Dostosowanie kryteriów wyboru projektów do specyfiki ocenianych projektów, przy jednoczesnym ograniczeniu dyskryminacyjnego charakteru niektórych kryteriów wyboru projektów.
▪ Wprowadzenie rozwiązań zorientowanych na zapewnienie powiązań pomiędzy działaniami współfinansowanymi ze środków EFRR i EFS.
▪ Dopuszczenie możliwości realizacji działań o charakterze
informacyjno-promocyjnym dotyczących obszaru włączenia społecznego, usług społecznych oraz ekonomii społecznej z poziomu ogólnowojewódzkiego projektu.
▪ Wprowadzenie dodatkowych rozwiązań zorientowanych na zapewnienie dostępności w realizowanych projektach.