Ewaluacja działalności naukowej jest ważnym instrumentem zarządzania organizacją i finansowaniem badań naukowych. Stanowi istotny element realizacji polityki naukowej i ukierunkowywania działalności jednostek sektora naukowego105. Ewaluacja pozwala, w sposób możliwie systematyczny i obiektywny, na ocenę wartości interwencji publicznej w odniesieniu do pewnych ustalonych wcześniej kryteriów106.
Najszerzej ujmując, ewaluacja to systematyczne badanie społeczno-ekonomiczne gromadzące dowody, oceniające i informujące o jakości i wartości badanych obiektów.
105 A. Guena, B.R. Martin, University research evaluation and funding: an international comparison, Kluwer 2007; J. Brennan, T. Shah, Quality assessment and institutional change: experience from 14 countries, ”Higher Education” 2000, t. 40, nr 3, s. 331-349.
106 K. Olejniczak, M. Ferry, Ewaluacja w praktyce sektora publicznego, [w:] Ewaluacja jako standard zarządzania w sektorze publicznym, B. Pietras-Goc (red.), Wyższa Szkoła Europejska im. ks. Józefa Tischnera, Kraków 2008, s. 10.
Polityka naukowa
Agencje polityki naukowej
Instytucje naukowe
Regulacje prawne Inwestycje
w badania i rozwój Zasoby
ludzkie System ewaluacji
i oceny
32 Zorientowane jest na krytyczną refleksję nad wartością i jakością interwencji publicznych – zarówno procesów ich wdrażania, jak i ich efektów107. Ewaluacja bywa niekiedy definiowana jako wzorzec postępowania badawczego, charakteryzujący się stosowaniem określonych kryteriów ewaluacyjnych108. Bezpośrednim zadaniem ewaluacji jest poprawa jakości i wartości interwencji publicznej.
Cechą charakterystyczną ewaluacji jest połączenie badań empirycznych i diagnostycznych z wartościowaniem. W odróżnieniu od form pokrewnych – audytu czy kontroli – w zamiarze ewaluacji nie ma negatywnych konsekwencji. Ewaluację cechuje utylitaryzm – jest podstawą do formułowania rekomendacji109.
Zasadnicze cele ewaluacji ukazują jej charakter poznawczy i instrumentalny.
Ewaluacja jest procesem uczenia się, powinna generować wiedzę diagnostyczną, wyjaśniającą i pokazującą szerszy kontekst, oraz preskryptywną, oceniającą, ukazującą rozwiązania i wskazującą konieczne działania. W zakresie diagnozy powinna pokazywać stan, wyjaśniać zależności, pokazywać wzorce, a w preskryptywnej pokazać jak poprawić, udoskonalić, wskazać działania naprawcze. Ewaluacja instytucjonalna ma zatem zdiagnozować bądź dokonać oceny sytuacji, a następnie wspierać poszczególne instytucje w rozwiązywaniu kwestii problemowych110.
W literaturze przedmiotu wymienia się cztery zasadnicze cechy ewaluacji111:
analityczny i usystematyzowany charakter, co oznacza konieczność stosowania podejścia naukowego;
zróżnicowanie metodologiczne, polega na łączeniu różnych narzędzi i źródeł, w celu zapewnienia obiektywizmu i wiarygodności;
systemowość, ma przejawiać się w podejściu całościowym i cyklicznym;
wartościowanie, jest prowadzone w odniesieniu do konkretnych kryteriów i standardów, w zakresie jakości i wartości.
Ewaluacja instytucjonalna badań naukowych to jeden z typów ewaluacji nauki i polityki naukowej. Oznacza proces oceny jednostek naukowych pod względem realizacji ich misji, poziomu produktywności, skuteczności oraz oddziaływania112. Pozwala gromadzić wiedzę i dostarcza informacji na temat efektów oraz szerszego oddziaływania polityki
107 K. Olejniczak, Wprowadzenie do zagadnień ewaluacji, [w:] Teoria i praktyka ewaluacji interwencji publicznych, K. Olejniczak, M. Kozak, B. Ledzion (red.), Wydawnictwa Akademickie i Profesjonalne, Warszawa 2008, s. 19.
108 Ewaluacja w służbach społecznych, B. Szatur-Jaworska (red.), Mazowieckie Centrum Polityki Społecznej, Warszawa 2010, s. 45.
109 K. Olejniczak, dz. cyt., s. 22.
110 Tamże.
111 K. Olejniczak, M. Ferry, dz. cyt., s. 9-10.
112 J. Kozłowski, Ewaluacja instytucji naukowych…, s. 28.
33 naukowej. Jej zadaniem jest wzmacnianie odpowiedzialności za wykorzystanie środków publicznych, wyjaśnianie mechanizmów działania programów oraz upowszechnianie wiedzy na temat poziomu ich skuteczności i efektywności. Ewaluacja instytucjonalna jest narzędziem polityki naukowej do sterowania, zarządzania i poprawy działania jednostek naukowych oraz powiązania decyzji z zakresie alokacji środków finansowych pomiędzy jednostki naukowe.
Główne przesłanki prowadzenia ewaluacji instytucjonalnej dotyczą pomocy w planowaniu i bieżącym zarządzaniu jednostkami naukowymi. Związane jest to z podnoszeniem jakości badań i realizacją priorytetów rządowych. Założenia ewaluacji instytucjonalnej mogą dotyczyć alokacji zasobów, określenia przyszłości jednostek naukowych, ustalenia struktury, kontroli, oceny strategii, instrumentów i stylu zarządzania jednostkami naukowymi, wprowadzenia zmian do polityki naukowej.
Ewaluacja instytucjonalna związana jest często ze sposobem publicznego finansowania jednostek naukowych opartego na dokonaniach (ang. performance-based funding)113. Przyjmuje wówczas formę krajowego systemu ewaluacji jednostek naukowych.
Finansowanie sektora badawczego w coraz większym stopniu opiera się na realizacji uzgodnionych celów i przyjmuje charakter budżetowania zadaniowego114. Celem tego mechanizmu jest finansowanie instytucjonalne badań naukowych na podstawie ewaluacji ex post produktów i efektów działalności naukowo-badawczej jednostek naukowych.
Wprowadzenie takiego modelu do praktyki wielu państw europejskich uzasadnione było potrzebą koncentracji zasobów, podniesienia jakości badań oraz ich umiędzynarodowienia.
Najsilniejszy i najbardziej bezpośredni związek pomiędzy oceną a skalą finansowania rozwinięto w Wielkiej Brytanii i Polsce115.
Według typologii ewaluacji, ewaluacja instytucjonalna badań naukowych ma charakter ewaluacji podmiotowej, ex post, zewnętrznej, opiera się na ocenie produktów, procesów i wpływu oraz tworzy ogólnokrajowy system. Jako ewaluacja podmiotowa służy analizie funkcjonowania jednostek naukowych i stymulowania kierunków ich rozwoju.
Ewaluacja ex post dostarcza empirycznych dowodów o efektach i użyteczności polityki naukowej, sile i relacji implikacji przyjętego modelu finansowania, dokonuje podsumowania i rozliczenia, a następnie rekomendacji. W ten sposób przyczynia się do rozpoznania słabych stron finansowania budżetowego. Ewaluacja zewnętrzna oznacza, że proces jest inicjowany poza jednostkami naukowymi. Niekiedy podejmowana jest także wewnętrznie
113 D. Hicks, Performance-based university research funding systems, “Research Policy” 2012, t. 41, s. 252.
114 M. Postuła, Rola ewaluacji w budżetowaniu zadaniowym, [w:] Ewaluacja wobec wyzwań stojących przed sektorem finansów publicznych, A. Haber, M. Szałaj (red.), Polska Agencja Rozwoju Przedsiębiorczości, Warszawa 2009, s. 41-42.
115 J. Kozłowski, Ewaluacja instytucji naukowych…, s. 55.
34 przez poszczególnie jednostki naukowe (przykładowo w Irlandii), bądź stosowany jest układ mieszany (przykładowo w Holandii)116.
Na podstawie zestawienia różnych podejść w literaturze można wyróżnić funkcje ewaluacji instytucjonalnej w zakresie badań naukowych przedstawione w tabeli 1.2.
Tabela 1.2. Funkcje ewaluacji instytucjonalnej w zakresie badań naukowych
Funkcja Wyjaśnienie
Formatywna związana z kształtowaniem polityki publicznej lub poszczególnych programów Zarządcza związana ze sterowaniem i koordynacją jednostek naukowych, dająca podstawę
do planowania racjonalnie uzasadnionej interwencji polityki naukowej
Oceniająca służąca określeniu i kontroli jakości i wartości prowadzonej działalności naukowej Rozliczeniowa w kierunku wzmacniania społecznej odpowiedzialności zarówno ze strony
jednostek naukowych, jak i polityki naukowej
Poznawcza umożliwiająca rozumienie obszaru ewaluacji i przewidywanie trendów
Konkluzywna związana z selekcją, certyfikacją i rozliczaniem wyników jednostek naukowych Wspomagająca dla procesu decyzyjnego
Stymulująca związana ze wzbudzaniem motywacji do działania i nadawaniem pożądanych kierunków rozwoju
Edukacyjna wspierająca proces uczenia się, służąca usprawnianiu, doskonaleniu, poprawie wdrażania celów i bieżącej jakości
Społeczna źródło prestiżu i reputacji jednostek naukowych
Źródło: opracowanie własne na podstawie: Ewaluacja w służbach społecznych, B. Szatur-Jaworska (red.), Mazowieckie Centrum Polityki Społecznej, Warszawa 2010, s. 31; K. Olejniczak, Wprowadzenie do zagadnień ewaluacji, [w:] Teoria i praktyka ewaluacji interwencji publicznych, K. Olejniczak, M. Kozak, B. Ledzion (red.), Wydawnictwa Akademickie i Profesjonalne, Warszawa 2008, s. 28; J. Kozłowski, Ewaluacja instytucji naukowych w Polsce w świetle porównań międzynarodowych i konsultacji, Departament Strategii Ministerstwa Nauki i Szkolnictwa Wyższego, Warszawa 2010, s. 33-34.
W praktyce ewaluacji instytucjonalnej wyróżnia się dwa podejścia: model ekspercki i model metryczny117. Model ekspercki jest stosowany między innymi w Wielkiej Brytanii, Australii i Nowej Zelandii. Obejmuje on ocenę dorobku naukowego, wizytacje jednostek naukowych oraz wywiady z pracownikami. Dąży się do nadania jednostkom naukowym rang, będących podstawą do finansowania w przyjętym okresie. Podejście eksperckie uwzględnia również szersze oddziaływanie badań, które opiera się na analizach studiów przypadków badań o potencjalnie największym znaczeniu dla otoczenia, a także samoocenę badaczy lub jednostek naukowych.
Model metryczny jest oparty na ilościowej analizie dorobku naukowego.
Zastosowanie mają tu modele i mierniki naukometryczne. Podejście metryczne w różnych odmianach stosowane jest w Norwegii, Belgii, Danii, Finlandii oraz Polsce.
Proces ewaluacji instytucjonalnej działalności naukowej zorganizowany jest w czterech etapach: projektowania, wdrażania, stosowania i ewaluacji (tabela 1.3).
116 J. Kozłowski, Ewaluacja instytucji naukowych…, s. 79.
117 A. Gryzik, A. Płoszaj, Ewaluacja w sektorze badań i rozwoju oraz w szkolnictwie wyższym, [w:] Jak ewaluować i monitorować efekty projektów sektora B+R i szkolnictwa wyższego?, P. Kościelecki, B. Warzybok (red.), Ośrodek Przetwarzania Informacji – Instytut Badawczy, Warszawa 2011, s. 50.
35 Najważniejsze kwestie związane z organizacją procesu metodycznego ewaluacji dotyczą ustalenia ogólnych wymiarów oceny, określenia parametrów w poszczególnych kategoriach, nadanie wag wybranym cechom, ustalenie stopnia i formy różnicowania dyscyplin naukowych oraz uzgodnienie skali ocen końcowych118.
Pierwszy etap ma charakter przygotowawczy. Projektowanie ewaluacji instytucjonalnej rozpoczyna się od określenia założeń, zdefiniowania celów i sprecyzowania funkcji ewaluacji. Ma to odniesienie do założeń polityki naukowej, cyklu polityki naukowej i powiązań z innymi instrumentami polityki naukowej. W kontekście tych działań następuje rozpoznanie zasobów informacyjnych pod kątem potrzeb ewaluacji oraz ustalenie roli grup interesariuszy na różnych etapach ewaluacji. Sprecyzowanie zasad systemu ewaluacji obejmuje ustalenie ram czasowych i metodologicznych ewaluacji. Następnie dokonuje się zdefiniowania i wyboru kluczowych parametrów ewaluacji w zakresie przedmiotowym i podmiotowym. Ostatnie działanie na tym etapie obejmuje konceptualizację systemu ewaluacji, planowanie organizacji całego procesu, ustalenie norm prawnych, opracowanie kodeksu zasad i dobrych praktyk oraz techniczne przygotowanie.
Tabela 1.3. Fazy ewaluacji instytucjonalnej
Faza ewaluacji Działania
Projektowanie
określenie założeń
zdefiniowanie celu ewaluacji
zdefiniowanie szczegółowych funkcji ewaluacji instytucjonalnej
rozpoznanie zasobów informacyjnych
ustalenie roli interesariuszy ewaluacji
sprecyzowanie zasad systemu ewaluacji
zdefiniowanie kluczowych parametrów
operacjonalizacja
Wdrażanie realizacja harmonogramu ewaluacji
monitoring procesu ewaluacji
Stosowanie
administrowanie systemu
gromadzenie danych
analiza danych
podejmowanie decyzji opartych na ewaluacji
realizacja funkcji ewaluacji ocena
monitoring systemu ewaluacji
ocena systemu ewaluacji
doskonalenie systemu ewaluacji
Źródło: opracowanie własne na podstawie: J. Kozłowski, Ewaluacja instytucji naukowych w Polsce w świetle porównań międzynarodowych i konsultacji, Departament Strategii Ministerstwa Nauki i Szkolnictwa Wyższego, Warszawa 2010, s. 48-53.
118 J. Kozłowski, Ewaluacja instytucji naukowych…, s. 43.
36 Kolejne kroki zależne są od etapu projektowania. Faza wdrażania systemu ewaluacji dotyczy realizacji założeń z fazy projektowania. Następuje aktywacja procesu ewaluacji jednostek naukowych zgodnie z harmonogramem i bieżący monitoring procesu ewaluacji. Faza stosowania obejmuje weryfikację przyjętego modelu ewaluacji i realizację wymienionych wcześniej funkcji ewaluacji. Faza ewaluacji dotyczy oceny i doskonalenia systemu ewaluacji w następnych cyklach (tak zwana ewaluacja ewaluacji)119.
Ewaluacja instytucjonalna w zakresie działalności naukowej jest złożona, z uwagi na różnorodność obszarów naukowych, form prowadzenia prac naukowych oraz rezultatów.
Często są one trudne zarówno do pomiaru ilościowego, jak i oceny jakościowej.
Dotychczasowe próby ewaluacji obejmują jedynie wybrane aspekty i niekiedy brak jest powiązań przyczynowo-skutkowych. Przykładowo, wskaźniki dotyczące wyników badań nie wynikają wprost ze wskaźników nakładów, a wskaźniki dotyczące publikacji nie uwzględniają innych form rezultatów naukowych120.
Ewaluacja instytucjonalna przeprowadzana jest z zastosowaniem kryteriów z trzech grup:
wewnętrznych, zewnętrznych i środowiskowych. Kryteria wewnętrzne są skupione na kwestiach dojrzałości badawczej jednostki naukowej, skali i wartości prowadzonej działalności naukowej.
Kryteria zewnętrzne dotyczą oceny użyteczności prowadzonych badań naukowych w znaczeniu gospodarczym, społecznym i naukowym. Związane jest to z szeroko pojętą komercjalizacją wyników działalności naukowej, ich wpływie na rozwój społeczny oraz wkładem w rozwój dyscyplin naukowych. Kryteria środowiskowe mają, w odróżnieniu od pozostałych, charakter prospektywny i dotyczą oceny potencjału i możliwości jednostek naukowych121.
Działalność jednostek naukowych można przedstawić jako system organizacyjny (rysunek 1.6). Jednostki naukowe można scharakteryzować przez jej zasoby wejściowe (nakłady – wejścia systemu) i efekty (wyjścia systemu). Zdolność jednostek do przekształcenia nakładów w efekty zależy od struktur i procesów w organizacji, ale cały proces transformacyjny zależy również od uwarunkowań krajowych.
Rysunek 1.6. Jednostka naukowa jako system organizacyjny
Źródło: E. Arnold, K. Guy, Technology diffusion programmes and the challenge for evaluation, [w:] Policy Evaluation in Innovation and Technology: Towards Best Practices, OECD, Paris 1997, s. 74,
http://www.oecd.org/dataoecd/34/40/1907926.pdf [08.04.2013].
119 J. Kozłowski, Ewaluacja instytucji naukowych…, s. 48-53.
120 A. Gryzik, A. Płoszaj, dz. cyt., s. 48.
121 J. Kozłowski, Ewaluacja instytucji naukowych…, s. 37-38.
zasoby struktura,
procesy efekty
37 Model ten ilustruje parametry opisujące jednostki naukowe. Zasoby jednostek naukowych są określone przez wskaźniki finansowe, kapitału ludzkiego i infrastruktury.
Struktura stanowi źródło zmiennych charakteryzujących system. Procesy pomagają określić zmienne opisujące, w jaki sposób system działa i funkcjonuje. Efekty określają zakres rezultatów działalności naukowej, czyli wskaźniki produktów i rezultatów pracy naukowo-badawczej i wskaźniki oddziaływania badań prowadzonych przez pracowników danej jednostki. Ewaluacja instytucjonalna oznacza pomiar systemu w kwestiach zasadności celów, efektywności gospodarowania zasobami, produktywności jednostek naukowych, racjonalności i skuteczności procesów, doskonalenia procesów, sprawności systemu, jakości rezultatów, bądź oddziaływania rezultatów.
Obecnie badania naukowe są ściśle związane z kontekstem społecznym. W związku z tym pojawiła się potrzeba analizy racjonalności wydatków publicznych na badania naukowe. Ewaluacja instytucjonalna dąży do rozstrzygnięcia w sprawach122:
ustalenia kryteriów i miar wyznaczania optymalnego poziomu finansowania;
określenia miar do oceny zasadności programów badawczych w świetle rosnących wymagań w zakresie odpowiedzialności i pomiaru działalności;
ustalenia, jakie kryteria i procedury powinny być stosowane do realokacji środków pomiędzy różne dziedziny nauki, a nawet do wzajemnej oceny propozycji w każdej dziedzinie;
ustalenia kryteriów oceny podmiotów badawczych o zróżnicowanym zakresie działalności;
ustalenia kryteriów prowadzących do lepszych osiągnięć przyznawania środków na badania przełomowe i interdyscyplinarne;
określania kryteriów oceny wartości naukowej, interdyscyplinarnych projektów badawczych i publikacji naukowych.
Zagadnienia te stanowią koncepcyjnie połączony zestaw decyzji i oceny całej nauki i cyklu polityki naukowej, od strategicznego planowania do pomiaru wyników. Obejmują potrzebę projekcji względem stopy zwrotu dla długoterminowych inicjatyw naukowych;
założeniu, że granice badań naukowych coraz częściej leżą na styku różnych dyscyplin;
oceny, że rola i relacje sektorów tradycyjnego generowania wiedzy i sektorów wykorzystujących wiedzę w ramach krajowych systemów innowacji ewoluują, i pojawia się potrzeba do podjęcia krytycznego przemyślenia istniejącego mechanizmu ustalania priorytetów naukowych i wybierając spośród propozycji konkurujących w ramach, ale szczególnie wśród dziedzin badań naukowych123. System oceny i ewaluacji powinien być podstawowym komponentem motywacyjnego systemu finansowania instytucji B+R124.
122 I. Feller, dz. cyt., s. 101-102.
123 Tamże, s. 102.
124 A. Gryzik, A. Płoszaj, dz. cyt., s. 61-62.
38 ROZDZIAŁ 2.