1. Metodyka badań ewaluacyjnych
1.2. Schemat metodyki badawczej w badaniach ewaluacyjnych
Na potrzeby wykonanych badań definicję ewaluacji przyjęto za J. Szlachtą i J. Zale-skim28. Ewaluacja jest systematyczną i obiektywną oceną trwającego lub zakończonego projektu lub polityki, ich kształtu, procesu wdrażania oraz rezultatów. Jej celem jest zwe-ryfikowanie stopnia, w jakim dana interwencja wypełniła założenia, na ile była prowadzo-na efektywnie, skutecznie i wydajnie, a także czy jej efekty są trwałe. Powinprowadzo-na dostarczyć rzetelnych i przydatnych informacji o obiekcie badania wspierając w ten sposób proces
20 I. Jakuszewicz, A. Kononiuk, A. Magruk, J. Nazarko, Inicjatywy foresight w Polsce i na świecie w: Multimedia w organizacjach gospodarczych i edukacji, L. Kiełtyka (red.), Wyd. Difin, Warszawa 2006;
I. Jakuszewicz, A. Kononiuk, A. Magruk, J. Nazarko, Rola metody delfickiej w procesie foresight w świetle doświadczeń międzynarodowych, w: Multimedia w organizacjach gospodarczych i edukacji, L. Kiełtyka (red.), Difin, Warszawa 2006, s. 131-137.
21 A. Kowalewska, J. Głuszyński, Zastosowanie metody Delphi w Narodowym Programie Foresight „Pol-ska 2020”, Pentor Research International, Warszawa 2009.
22 A. Kononiuk, A. Magruk, Doświadczenia polskich programów foresight, „Zeszyty Naukowe Politech-niki Białostockiej. Ekonomia i Zarządzanie” 2008 nr 13, s. 71-84.
23 A. Kononiuk, A. Magruk, Ł. Nazarko, The Concept of Support Group in the Polish National Foresight Programme „Poland 2020”, w: Zarządzanie organizacją w nowej rzeczywistości gospodarczej: wybrane problemy, W. Matwiejczuk (red.), Diffin, Warszawa 2009, s. 89-96.
24 I. Nowicka, Realizacja projektów typu foresight w Polsce, „Acta Bio-Optica et Informatica Medica” 2007 t. 13, nr 3, s. 30-34.
25 A. Kononiuk, A. Magruk, Doświadczenia polskich programów foresight..., op. cit.; A. Kononiuk, A. Mag-ruk, Powiązania foresight regionalnego z nowoczesnym zarządzaniem przedsiębiorstwem produkcyjnym,
„Nauka i Szkolnictwo Wyższe” 2008 nr 2/32, s. 74-83.
26 U. Glińska, A. Kononiuk, Ł. Nazarko, Przegląd projektów foresightu branżowego w Polsce, „Nauka i Szkolnictwo Wyższe” 2008 Nr 2/32, s. 60-73.
27 A. Rogut, B. Piasecki, Podręcznik ewaluatora projektów foresight, Ministerstwo Nauki i Szkolnictwa Wyższego, Warszawa 2011.
28 J. Szlachta, J. Zaleski, Ocena szacunkowa wstępnego projektu Narodowego Planu Rozwoju na lata 2007-2013. Raport końcowy, Ministerstwo Gospodarki i Pracy, 2005 [za:] T. Klimczak, M. Klepka, P. Czyż, Przewodnik Ewaluatora, opracowanie w ramach Ewaluacji procesu wdrażania Regionalnych Stra-tegii Innowacji 15 regionów Polski pod katem implementacji projektów wynikających ze straStra-tegii, Polska Agencja Rozwoju Przedsiębiorczości, Warszawa 2006.
decyzyjny. Ewaluacja ma również oszacować znaczenie danej interwencji oraz jej zasad-ność.
Badania ewaluacyjne zostały zrealizowane w kilku kolejnych etapach odpowiadają-cych następującym zadaniom badawczym:
1. Zebranie podstawowych danych na temat projektów foresightu narodowego, tema-tycznego, regionalnych i branżowych na podstawie informacji publikowanych przez zespoły realizujące projekty foresightowe (przegląd i krytyczna analiza raportów, materiałów promocyjnych projektów, witryn internetowych, bazy Ośrodka Przetwa-rzania Informacji).
2. Opracowanie bazy osób odpowiedzialnych za merytoryczną organizację projektów.
3. Opracowanie kryteriów badania ewaluacyjnego projektów.
4. Opracowanie kwestionariusza ankiety.
5. Przeprowadzenie badania ankietowego wśród osób odpowiedzialnych za realizację projektów.
6. Opracowanie wyników kwestionariusza ankiety.
7. Weryfikacja i uzupełnienie danych poprzez bezpośredni kontakt z osobami odpowie-dzialnymi/realizującymi poszczególne projekty (wywiady pogłębione, koresponden-cja poprzez pocztę elektroniczną).
8. Uporządkowanie i weryfikacja zebranych danych oraz przygotowanie raportu końco-wego.
Do realizacji wyżej wymienionych zadań badawczych wykorzystane zostały następu-jące metody badawcze:
• metoda analizy i krytyki piśmiennictwa (zadanie badawcze 1);
• metoda badania dokumentów (zadanie badawcze 1, 2);
• metoda analizy i konstrukcji logicznej (zadanie badawcze 3, 8);
• metoda badań ankietowych (zadanie badawcze 4);
• metoda sondażu diagnostycznego (zadanie badawcze 7);
• metody statystyczne (zadanie badawcze 6).
Dobór metod badawczych podyktowany został problematyką, przedmiotem oraz zakresem badań, a także możliwościami pozyskania i przetworzenia informacji.
Schemat procesu badania ewaluacyjnego oraz sekwencję metod badawczych przypo-rządkowanych poszczególnym zadaniom przedstawiono na rys. 1.1.
Realizacja wskazanych zadań badawczych służyła trzem zasadniczym celom, jakimi są:
1) zaprezentowanie inwentaryzacji stanu realizacji polskich inicjatyw foresightowych, 2) zaprezentowanie wyników autoewaluacji inicjatyw foresightowych,
3) próba ewaluacji procesu i wyników realizacji badań foresightowych w Polsce.
Prezentacja inwentaryzacji stanu polskich inicjatyw foresightowych była możliwa dzięki umieszczeniu w kwestionariuszu ankietysekcji „Podstawowa charakterystyka pro-jektu” oraz pytań w innych sekcjach między innymi o: (i) cele projektu; (ii) komponenty struktury organizacyjnej i ich zadania; (iii) metody badawcze zastosowane w projekcie; (iv) liczbę ekspertów uczestniczących w projekcie; (v) docelowe grupy interesariuszy; (vi) wy-sokość budżetu projektu; (vii) źródła finansowania; (ix) strukturę kosztów projektów; (x) formy promocji projektów; (xi) formę efektu końcowego; (xii) formalne rezultaty projektu.
Ocenie autorefleksji wykonawców projektów na temat prowadzonych badań foresi-ghtowych służyły umieszczone w kwestionariuszu pytania między innymi na temat: (i) potrzeby modyfikacji przyjętej struktury organizacyjnej w przypadku realizacji podobnych
badań w przyszłości; (ii) przydatności metod projektu dla osiągnięcia celów projektu; (iii) trudności w zastosowaniu metod badawczych; (iv) satysfakcji z udziału poszczególnych grup eksperckich; (v) problemów związanych z rekrutacją poszczególnych grup eks-perckich; (vi) satysfakcji z budżetu dla rzetelnej realizacji projektu; (vii) skuteczności na-rzędzi promocji; (viii) głównych trudności związanych z realizacją projektu oraz stopnia;
(ix) zaspokojenia zidentyfikowanych potrzeb interesariuszy; (x) realizacji celów postawio-nych przedsięwzięciu; (xi) satysfakcji z osiągnięcia konsensusu wokół rezultatów badaw-czych.
Rys. 1.1. Metody badawcze i zadania zastosowane w badaniu ewaluacyjnym
Źródło: opracowanie własne.
W celu ewaluacji procesu i wyników realizacji badań foresightowych w Polsce, auto-rzy pauto-rzyjęli koncepcję ewaluacji badań foresightowych według S-S. Li, M-H. Kanga, L-C.
Lee. Zamierzeniem autorów monografii było podjęcie próby ewaluacji procesu foresightu w wymiarze efektywności i trafności, jak również wyników w wymiarze skuteczności i behawioralnej wartości dodanej29.
Ocenie efektywności realizacji badań foresightowych służyły pytania umieszczone w kwestionariuszu na temat jakości wdrażania wyników projektu po jego zakończeniu.
Poruszono kwestie jednostek odpowiedzialnych za wdrożenie, wskaźników monitoringu wdrażania, sposobu zbierania informacji na temat postępów wdrażania wyników projektu (sekcja IX).
Ocena trafności możliwa była poprzez umieszczenie w kwestionariuszu ankiety pytań na temat stopnia zgodności przyjętych celów projektu z potrzebami interesariuszy (sekcja II), jak również stopnia zaspokojenia zidentyfikowanych potrzeb interesariuszy, stopnia zrealizowania postawionych przedsięwzięciu celów, stopnia satysfakcji z osiągnię-tego wokół rezultatów badawczych konsensusu (sekcja IX).
Ocenie skuteczności realizowanych badań foresightowych służyły pytania dotyczące określenia sposobu, w jaki dany projekt miałby przyczynić się do wzrostu innowacyjności gospodarki oraz zwiększenia sektora nauki w polskiej gospodarce (sekcja IX), a także pyta-nia na temat spójności projektów z dokumentami branżowymi na poziomie lokalnym, branżowym oraz krajowym (sekcja X).
Ocena behawioralnej wartości dodanej była możliwa poprzez zamieszczenie w kwe-stionariuszu ankiety pytań na temat stopnia wpływu projektów na poszczególne grupy interesariuszy (sekcja XI). Jednocześnie autorzy ekspertyzy mają świadomość, że kryte-rium to jest w pełni możliwe do oceny jedynie w perspektywie długoterminowej. W szcze-gólności, w relacji trwałej zmiany praktyk stosowanych przez interesariuszy projektów oraz budowy kultury foresightowej na trwale włączającej foresight w kształtowanie polity-ki naukowo-technicznej i innowacyjnej30.
Według autorów monografii, niezwykle wartościową pozycją z zakresu ewaluacji badań foresightowych – do której autorzy uzyskali dostęp już po przeprowadzeniu i opra-cowaniu wyników badań – jest publikacja wiodących ekspertów foresightu z Uniwersytetu w Manchesterze Evaluating Foresight, autorstwa R. Poppera, L. Georghiou, M. Keenana i I.
Milesa31. Rozważania zawarte w tym opracowaniu na temat potrzeby ewaluacji badań foresightowych oraz prezentacja przykładowej metodyki ewaluacji w kontekście Kolumbij-skiego Technologicznego Programu Foresight świadczą o aktualności oraz ważności podej-mowanej tematyki badawczej oraz mogą stanowić imperatyw do prowadzenia pogłębio-nych studiów w zakresie doskonalenia metodyki ewaluacji badań foresightowych.
29 Szczegółową interpretację kryteriów efektywności, trafności, skuteczności oraz behawioralnej wartości dodanej w kontekście badań foresightowych można znaleźć w pracy A. Rogut, B. Piasecki, Podręcznik ..., op. cit., s. 50.
30 Ibidem, s. 50.
31 R. Popper, L. Georghiou, M. Keenan, I. Miles, Evaluating Foresight, University of Manchester, 2010.