2) wieloparadygmatyczność nauk społecznych, a w konsekwencji – napięcia między
wielością modeli ewaluacyjnych.
Ewaluacja innowacji jest niezbędna, jeśli mają się one stać czynnikiem rozwoju polityki społecznej i rozwoju społecznego. Samo określenie „innowacyjny” bywa utoż-samiane z gwarancją wysokiej jakości, a tego typu uproszczenia i generalizacje często stają się podstawą kreowania polityki społecznej. Pożądanym modelem reform jest oparcie ich o dowody naukowe (w myśl koncepcji evidence-based policy), czego wyra-zem jest stosowanie rzetelnych ewaluacji oraz koncentracja na wykorzystywaniu ich wyników. Dotyczy to również innowacji, z których każda zasługuje na szczegółowy, obiektywny ogląd, uwzględniający uwarunkowania wynikające z przenikania się dwóch wskazanych wyżej zagadnień.
Projekty integracji społecznej jako przykład ewaluacji
lokalnych innowacji
W tej części artykułu przedstawione zostaną podstawowe wnioski z metaewaluacyjnej refleksji nad jakością ewaluacji projektów integracji społecznej w pomocy społecznej, jaką podjęła Autorka przygotowując rozprawę doktorską. Badania dotyczyły projek-tów finansowanych w latach 20082014 w ramach Europejskiego Funduszu Społecz-nego. Terenem badania było województwo łódzkie, w którym projekty realizowała zdecydowana większość lokalnych jednostek organizacyjnych pomocy społecznej. W efekcie podjętych badań starano się uzyskać odpowiedź na pytanie, czy wiedza i doświadczenia, jakie niosła ze sobą realizacja i ewaluacja projektów unijnych na poziomie lokalnym, przyczyniły się do rozwoju lokalnej polityki społecznej?
W Polsce rozwój ten za główny punkt odniesienia przyjmuje obecnie model ak-tywnej polityki społecznej (APS), realizowany w duchu europejskiego modelu socjal-nego. Model APS w praktyce oznaczać ma zasadniczą rekonstrukcję polityki społecz-nej na rzecz włączenia społecznego i aktywizacji zawodowej osób i środowisk margi-nalizowanych [Rymsza 2013]. Jednym z wielu narzędzi realizacji tych założeń były gminne i powiatowe projekty integracji społecznej, które można uznać za spełniające kryteria innowacji społecznej w skali lokalnej. Stanowiły impuls wdrażania nowych rozwiązań, zarówno w zakresie form i treści wsparcia, jak i organizacji działań instytu-cji pomocy społecznej. Nowością było realizowanie zadań w trybie projektowym, stosowanie procedur zamówień publicznych, nawiązywanie kontaktów z firmami szkoleniowymi, konieczność monitorowania i ewaluowania działań. Nowością były także niedostępne do tej pory na szerszą skalę rodzaje wsparcia – kursy zawodowe, terapia indywidualna i grupowa, treningi interpersonalne, vouchery na usługi
spo-łeczne i wiele innych. Należy podkreślić, że są to znane już rozwiązania, które jednak upowszechniły się na poziomie lokalnym dopiero dzięki projektom unijnym, co po-zwala je określić mianem innowacji lokalnych.
Założono, że ewaluacja projektów integracji społecznej powinna realizować pew-ne minimum zadań polegających na identyfikacji i ocenie:
barier osiągania efektów w zakresie aktywizacji zawodowej uczestników projek-tów;
rzeczywistych, choć umykających w głównym nurcie ewaluacyjnym, efektów pro-jektów w zakresie odbudowywania podstawowych kompetencji psychospołecz-nych jako pierwszego kroku na drodze do aktywności zawodowej.
Lokalne projekty integracji społecznej poddawane były ewaluacji na dwóch po-ziomach: makro (ewaluacja prowadzona z poziomu centralnego i regionalnego przez zewnętrznych ewaluatorów) oraz mikro (ewaluacja prowadzona przez realizatorów pojedynczych projektów, w bezpośrednim kontakcie z ich uczestnikami). Analizie poddano praktyki ewaluacyjne prowadzone na obydwu poziomach: na poziomie makro poprzez analizę dokumentów (wytyczne krajowe i unijne w zakresie ewaluacji, raporty ewaluacyjne, unormowania prawne), na poziomie mikro poprzez wywiady indywidualne z realizatorami projektów. Poniżej zaprezentowane są główne wnioski dotyczące praktyk mikroewaluacyjnych, wybrane ze względu na ich użyteczność dla formułowania rekomendacji na rzecz ewaluowania innowacji społecznych.
Ewaluacja prowadzona była przez wszystkich realizatorów projektów objętych badaniem. Z uwagi na sposób, w jaki opisywali jej przebieg, na etapie analizy materia-łu badawczego określono ją jako ewaluację „formalną/oficjalną”, stanowiącą przede wszystkim dopełnienie wymogów rozliczenia projektu. Obok niej badani wskazywali na prowadzenie ewaluacji „nieformalnej/nieoficjalnej” (przede wszystkim spontanicz-ne, nieudokumentowane obserwacje i rozmowy z uczestnikami projektu). Brak celo-wego i systematycznego stosowania metodologii badawczej czyni ją jednak działa-niem o charakterze nienaukowym.
Porównując oba tryby prowadzenia ewaluacji projektów ze względu na postrze-ganą użyteczność wyników, badani wyżej cenili ewaluację „nieformalną”. Sprzyjał temu przede wszystkim sposób jej prowadzenia, bardziej naturalny i lepiej odpowia-dający kompetencjom i potrzebom realizatorów projektu i jego uczestników, niż w przypadku ewaluacji „formalnej”. Z tego względu „nieoficjalną” ewaluację uważano za źródło bardziej wiarygodnych danych o jakości projektu, zapewniające je na bieżą-co, gotowe do wykorzystania.
Wartość wyników „formalnej” ewaluacji dla oceny faktycznej jakości projektu była natomiast oceniana przez badanych ambiwalentnie. Wątpliwości dotyczyły przede
wszystkim kwestii metodologicznych – poprawnej konstrukcji narzędzi badawczych oraz trudności, jakich doświadczały osoby uczestniczące w ewaluacji, formułując swo-je opinie za ich pośrednictwem. Na dobór metod i technik badawczych ewaluacji „formalnej” największy wpływ zdawała się wywierać konieczność sprawozdawania się realizatorów projektów z osiągniętych w ich ramach ilościowych wskaźników. Re-spondenci deklarowali stosowanie wyłącznie techniki ankietowej, pozwalającej uzy-skać mierzalne wyniki i umożliwiającej relatywnie proste ich dokumentowanie.
Ewaluacji „formalnej” wielu badanych przypisywało funkcje kontrolne (znacznie częściej, niż funkcje poznawcze, racjonalizatorskie). Na podstawie niektórych wypo-wiedzi można domniemywać, że przekonanie to wzbudzało w nich obawy przed kon-sekwencjami niekorzystnych wyników. Wypowiedzi te dotyczyły m.in. prowadzenia ewaluacji w bardziej partycypacyjny sposób. Ich wspólnym wątkiem były rozważania dotyczące możliwych niepożądanych reakcji uczestników projektów, w tym wykorzy-stywania sytuacji badawczej dla zwerbalizowania frustracji doświadczanych w związ-ku z funkcjonowaniem w systemie pomocy społecznej. W tym kontekście interesują-cym zagadnieniem pozostaje, czy również odbiorcy wsparcia nie postrzegali sytuacji ewaluacyjnej jako formy kontroli. Trudno nie dostrzegać możliwego wpływu, jaki na opinie wyrażane w toku ewaluacji wywierała relacja uczestnika projektu z jego realiza-torem (relacja świadczeniobiorcy i świadczeniodawcy systemu pomocy społecznej) i wzajemne oczekiwania co do treści tych opinii. Dostrzegając ten kontekst, wielu badanych realizatorów projektów kwestionowało wiarygodność uzyskiwanych ofi-cjalnie wyników ewaluacyjnych.
Z drugiej strony rzadko negowano zasadność prowadzenia ewaluacji w ogóle. Realizacja działań projektowych, wykraczających poza repertuar tradycyjnych form wsparcia, wzbudzała potrzebę obserwowania i opisywania zachodzących pod ich wpływem zmian. Dotyczyło to również oddalonych w czasie efektów projektu, które można badać jedynie analizując indywidualne losy byłych ich uczestników. Proble-mem sygnalizowanym przez badanych pozostawało to, w jaki sposób prowadzić tak ukierunkowaną ewaluację. Polega on przede wszystkim na niedostatkach wiedzy i umiejętności w zakresie wykorzystywania różnorodnych metod i technik badaw-czych, tak, aby rzetelnie i trafnie określić jakość projektu, a także zainteresować wyni-kami ewaluacji lokalnych decydentów.
Podsumowując, wobec postaw większości badanych realizatorów projektów znaj-duje zastosowanie wniosek, iż ewaluacja jako taka uważana jest za potrzebną, lecz w innej formie, niż ta powszechnie stosowana i przy zaspokojeniu potrzeb dotyczą-cych niezbędnych kompetencji i zasobów organizacyjnych. Potrzeby te potwierdza fakt, iż zakres wniosków z ewaluacji „formalnej” był bardzo wąski i dotyczył wyłącznie
krótkookresowych rezultatów projektów, obserwowanych tuż po ich zakończeniu. Wnioski takie nie są wystarczającym źródłem danych dla przewidywania długookre-sowych zmian oraz planowania dalszych działań, wykraczających poza kontekst pro-jektów unijnych. Co więcej, nie odnosząc się do lokalnego kontekstu, nie niosły ze sobą wiedzy na temat warunków skutecznej realizacji samych projektów. Trudno zatem traktować je jako podstawę dla rozwijania podejścia aktywizującego w sposób efektywny i spójny, oparty na rzetelnej diagnozie i prognozie, koordynujący wykorzy-stywanie środków własnych samorządu i środków zewnętrznych.