D o m i n i k A n t o n o w i c z
DOŚWIADCZENIA EWALUACJI BADAŃ NAUKOWYCH
W WIELKIEJ BRYTANII
W KONTEKŚCIE FUNKCJONOWANIA
RESEARCH ASSESMENT EXERCISE 2008
Ewaluacja badań naukowych jest zjawiskiem relatywnie nowym i bez wątpienia wzbudzającym ogromne kontrowersje, gdyż zmieniła relacje pomiędzy państwem fi nansującym badania naukowe oraz uczelniami. Pierwszą próbę systemowej pró-by oceny jakości prowadzonych badań podjęto w połowie lat 80. XX w. w Wielkiej Brytanii, tworząc mechanizm powszechnie znany pod szyldem Research Asse-sment Exercise (RAE). Była to inicjatywa premier Margaret Th atcher, która rozpo-częła prawdziwą rewolucję w sferze brytyjskiego szkolnictwa wyższego. Faktycznie po raz pierwszy został on zastosowany w 1986 roku pod nazwą Research Selection Framework (RSE), następnie funkcjonował pod wspominanym wyżej szyldem Research Assesment Exercise (RAE), aby od 2011 roku przybrać formułę Research Excellence Framework (REF)1. Odmienne szyldy dotyczą w gruncie rzeczy tego
samego procesu. System zmieniał swoje oblicze od ukierunkowania na „funkcję selekcyjną”, następnie nacisk na „funkcję oceniającą”, a od 2001 roku obserwuje się rosnący ukierunkowanie na realizowanie funkcji ewaluacyjnej, która ma pomóc uniwersytetom brytyjskim2 podnosić jakość prowadzonych przez nich badań.
System ewoluował od twardego narzędzia polityki publicznej o charakterze
dys-1 Dla czytelności analizy będą konsekwentnie używał nazwy RAE.
cyplinującym w kierunku bardziej miękkiego i elastycznego instrumentarium słu-żącego również wspieraniu polityki badawczej brytyjskich uczelni.
RAE dokonał rewolucji w obszarze zarządzania badaniami naukowymi i przez to jest prawdopodobnie jedną z najtrudniejszych, najbardziej kontrowersyjnych i budzących największe emocje zmian, jakie nastąpiły w brytyjskim szkolnictwie wyższym w ciągu ostatnich trzydziestu lat. Pozostanie symbolem liberalnych przemian rządów brytyjskiej Partii Konserwatywnej. Ustanowienie systemu ewa-luacji badań naukowych i powiązanie go z poziomem fi nansowania badań nauko-wych wynikał ze ekonomicznych oraz politycznych uwarunkowań. Na początku lat 80. XX w. brytyjska polityka publiczna przeszła głebokie zmiany będące wyni-kiem ogromnego kryzysu fi nansów publicznych i upadku państwa opiekuńczego. Znajdujące się w trudnej sytuacji budżetowej państwo brytyjskie wprowadziło mechanizmy instytucjonalne zmierzające do ograniczania wydatków publicznych poprzez adaptację mechanizmów i praktyk rynkowych. Jak zauważa Marek Kwiek3, państwo menadżerskie stało się przeciwieństwem polityki
instytucjonal-nego zaufania, które co do zasady było bardziej szczodre i ufne. Nie ma jednak dzisiaj sensu sentymentalna podróż i nieustanne odwoływanie się do opiekuńczej polityki publicznej ze względu na nowe uwarunkowania ekonomiczne, nieustan-nie rosnące teoretyczne i praktyczne kwestionowanieustan-nie ideałów państwa dobroby-tu oraz nowe społeczne potrzeby (reformy emerytalne i ubezpieczeniowe, reformy służby zdrowia etc), które wymagają bardzo wysokiego poziomu fi nansowania. Polityka instytucjonalnego zaufania państwa opiekuńczego nie stawiała przed uczelniami oraz innymi instytucjami naukowymi żadnych konkretnych, mierzal-nych celów. Uczelnie realizowały własne misje, a państwo obdarzało je niemal nieograniczonym zaufaniem, wierząc, że misje wyznaczone przez autonomiczne instytucje naukowe realizowane są przez nie w sposób najlepszy z możliwych. Takie podejście mogło być realizowane, gdy badania naukowe prowadziła nie-wielka liczba uczelni, a ich fi nansowe potrzeby były możliwe do realizacji bez konieczności ograniczania środków w innych obszarach polityki publicznej. Na zmianę polityki instytucjonalnego zaufania wpłynęły trzy niezależnie od siebie zachodzące procesy: (a) umasowienie działalności badawczej, (b) zwiększenie instrumentalnej roli badań prowadzonych w uczelniach oraz innych jednostkach naukowych oraz (c) rosnąca presja na rozliczalność (ang. accountability) instytu-cji naukowych, wynikająca z przekonania, że interes publiczny nie zawsze musi
3 M. Kwiek, Nowe konteksty myślenia o edukacji w Europie Środkowej: przykład
pokrywać się z interesem środowiska akademickiego, interesem poszczególnych uczelni, zespołów badawczych czy wreszcie interesem pojedynczych uczonych. Innymi słowy, państwo chciało mieć (przy pomocy ekspertów środowiskowych) wpływ na sposób wydawania publicznych funduszy na badania naukowe. Efektem tego było ustanowienie mechanizmu instytucjonalnego określanego początkowo mianem Research Selectivity Exercises (RSE), ale system szybko przekształcił się w Research Assesment Exerices (RAE), który przeprowadził 6 edycji ewaluacyj-nych: 1986, 1989, 1992, 1996, 2001 roku; ostatnia miała miejsce w 2008 roku, obej-mując 2344 pracowników akademickich zatrudnionych w 159 instytucjach szkol-nictwa wyższego.
Finansowanie badań naukowych w Wielkiej Brytanii
Finansowanie badań w Wielkiej Brytanii odbywa się za pomocą dwóch zasadni-czych strumieni: (a) podmiotowego fi nansowanego przez Th e Founding Council, który w dużym uproszczeniu odpowiada polskiej dotacji na badania statutowe. W ramach fi nansowania podmiotowego uczelnie brytyjskie otrzymują wowe środki na badania, z których muszą utrzymać przede wszystkim podsta-wową infrastrukturę badawczą oraz kadrę; (b) fi nansowania przedmiotowego (projektowego) przy pomocy grantów badawczych. Ten dwutorowy system fi -nansowania jest tradycyjnie określany mianem dual support system4, obejmując
około 50% wszystkich wydatków na badania naukowe w Wielkiej Brytanii. Po-zostałe źródła fi nansowania badań naukowych w Wielkiej Brytanii to „(1) orga-nizacje pozarządowe, a zwłaszcza fundacje (2) rząd centralny i samorząd lokalny, ale w aspekcie badań prowadzonych na zamówienie, (3) ››inne‹‹ granty i kon-trakty (4) przemysł”5. Przedmiotem niniejszej analizy jest parametryzacja badań
naukowych prowadzona przez uniwersytety, której wynik ma wpływ na dystry-bucję środków fi nansowych dokonywaną przez Founding Council; stanowią one w zależności od roku około 40–45% całości wydatków na badania naukowe w Wielkiej Brytanii.
4 Higher Education in the United Kigdom, Paper 99/02, Bristol HEFC.
5 Th e Research Assesment Exercise, House of Commons Science and Technology Committee, Second Report of Session 2001–02, HC 507, Londyn: Th e Stacionary Offi ce
RAE 2008
RAE zmieniał się od momentu, gdy został powołany do życia, a każda z 6 przepro-wadzonych ewaluacji była w jakiś stopniu odmienna (lepsza) od poprzedniej ze względu na to, że RAE zakończony był procesem krytycznej oceny. W tym miejscu nie ma specjalnie sensu opisywanie każdej kolejnej parametryzacji poza stwier-dzeniem, że staje się ona procesem coraz bardziej złożonym i wielowymiarowym. RAE 2008, który jest w zasadzie głównym przedmiotem analiz, zawiera w sobie kumulowane doświadczenie wszystkich poprzednich edycji.
RAE 2008 jest procesem ewaluacji, w którym centralną rolę odgrywają panele ekspertów. Każda aplikacja składana przez uczelnię jest przedmiotem prac odpo-wiedniego panelu w zależności od obszaru prowadzonych badań. Panel dokonuje oceny jakościowej opartej na sprecyzowanych oraz explicite zdefi niowanych kry-teriach, ale to uczelnia wybiera sobie panel tematyczny (Unit of Assesment), który będzie oceniał jej udokumentowany dorobek badawczy. Trzeba wyraźnie zazna-czyć, że przedmiotem prac UoA są badania prowadzone w danym obszarze badań, a nie badania naukowe w ogóle (publikacje wykraczające poza zakres tematyczny danego panelu powinny być przedmiotem prac innych paneli tematycznych). Oce-ny wydawane przez panel ekspertów zawsze budziły pewne kontrowersje, dlatego w wyniku ewaluacji RAE 2001 zdecydowano o rozbudowaniu struktury paneli do dwóch poziomów. W efekcie RAE 2008 składał się z 67 paneli tematycznych (Units of Assesment) do których zostały przyporządkowane wszystkie dyscypliny akade-mickie (tabela 1). W ramach UoA dokonywana jest główna ocena jednostek na-ukowych i formułowane są rekomendacje dla panelu głównego (Main Panels). Jest ich w sumie 15 i z natury rzeczy obejmują znacznie szersze obszary nauki. Prze-wodniczący głównych paneli są formalnie nominowani na swoje pozycje i jedno-cześnie personalnie odpowiedzialni za ich prace. Stworzenie drugiego poziomu ewaluacji pozwala na porównanie wyników oceny wydanej przez panele tematycz-ne (UoA) w ramach znacznie szerszych obszarów nauki. Dzięki temu ostateczny wynik RAE jest znacznie bardziej intersubiektywny, a umiejscowienie go w szer-szym kontekście dziedzinowym nadaje mu lepszą interdyscyplinarną legitymiza-cję. W tym kontekście pozwala to uchwycić specyfi kę poszczególnych subdyscy-plin, a z drugiej strony umożliwia wypracowanie porównywalnych standardów oceny dla jednostek naukowych oraz uchwycenie interdyscyplinarnego charakte-ru prowadzonych przez nie badań. Jednocześnie liczba 15 paneli głównych jest na tyle duża, że pozwala na dokonywanie ewaluacji badań naukowych w szerszym kontekście w ramach dziedzin nauki, których efekty mogą być porównywalne. Tabela 1 przedstawia strukturę paneli tematycznych RAE 2008.
Tabela 1.
RAE 2008 Główne panele Główny
panel Panele szczegółowe Przewodniczący Instytucja
Panel A Cardiovascular Medicine, Cancer Studies, Infection and Immunology, Other Hospital Based Clinical Subjects, Other Laboratory Based Clinical
Sir Leszek Borysiewicz
Imperial College London Panel B Epidemiology and Public Health, Health Services
Research, Primary Care and Other Community Based Clinical Subjects, Psychiatry, Neuroscience and Clinical Psychology
Professor Robert Stout
Queen’s University Belfast
Panel C Dentistry, Nursing and Midwifery, Allied Health Professions and Studies, Pharmacy
Professor Maggie Pearson
Keele University Panel D Biological Sciences, Pre-clinical and Human Biological
Sciences, Agriculture, Veterinary and Food Science
Professor Sir John Beringer
University of Bristol Panel E Earth Systems and Environmental Sciences,
Chemistry, Physics
Professor Dame Julia Higgins
Imperial College London Panel F Pure Mathematics, Applied Mathematics, Statistics
and Operational Research, Computer Science and Informatics
Professor Nigel Hitchin
University of Oxford Panel G Electrical and Electronic Engineering, General
Engineering and Mineral and Mining Engineering, Chemical Engineering, Civil Engineering, Mechanical, Aeronautical and Manufacturing Engineering, Metallurgy and Materials
Professor Ann Dowling
University of Cambridge
Panel H Architecture and the Built Environment, Town and Country Planning, Geography and Environmental Studies, Archaeology
Professor Nigel Th rift
University of Oxford Panel I Economics and Econometrics, Accounting and
Finance, Business and Management Studies, Library and Information Management
Professor David Otley
Lancaster University Panel J Law, Politics and International Studies, Social Work
and Social Policy & Administration, Sociology, Anthropology, Development Studies
Professor Hazel Genn
University College London
Panel K Psychology, Education, Sports-Related Studies Professor Vicki Bruce
University of Edinburgh Panel L American Studies and Anglophone Area Studies,
Middle Eastern and African Studies, Asian Studies, European Studies
Professor Judie Newman
University of Nottingham
RAE 2008 Główne panele Główny
panel Panele szczegółowe Przewodniczący Instytucja
Panel M Russian, Slavonic and East European Languages, French, German, Dutch and Scandinavian Languages, Italian, Iberian and Latin American Languages, Celtic Studies, English Language and Literature, Linguistics
Professor Judie Newman
University of Nottingham
Panel N Classics, Ancient History, Byzantine and Modern Greek Studies, Philosophy, Th eology, Divinity and Religious Studies, History
Professor Martin Daunton
University of Cambridge Panel O Art and Design, History of Art, Architecture and
Design, Drama, Dance and Performing Arts, Communications, Cultural and Media Studies, Music
Professor Bruce Brown
University of Brighton
Źródło: RAE 2008.
Od 2008 roku każda uczelnia przechodzi w zasadzie przez dwa panele ekspertów (tematyczny i główny), bowiem to właśnie prace paneli ekspertów (tzw. czynnik ludz-ki) z natury rzeczy budzą największe emocje i kontrowersje. W skład paneli tema-tycznych wchodzą wybitni naukowcy pracujący na brytyjskich uczelniach, naukow-cy pracująnaukow-cy w przemyśle oraz przedstawiciele interesariuszy, takich jak organizacje pozarządowe. Mają się kierować interesem publicznym, a nie własnym czy instytucji, w których są zatrudnieni. Tom Coupe6 podjął się analizy relacji pomiędzy pozycją
uczelni mających swoich reprezentantów w panelach a tymi, które nie były reprezen-towane. Cope, analizując proces parametryzacji w latach 1992 i 1996, dowiódł, że można dopatrzyć się pewnego związku pomiędzy obecnością przedstawiciela danej uczelni w panelu ekspertów a jego wysoką pozycją. Generalnie pokazał on, że uczel-nie mające swoich członków w panelach są – co do zasady – lepiej oceniane aniżeli nieposiadające przedstawicieli. Jednak nie zadowalając się takim prostym związkiem, Cope skorzystał z narzędzi ekonometrycznych i doszedł do wniosku, że wysoka po-zycja pewnych uczelni w rankingu nie jest wynikiem ich reprezentacji w panelu. Porównując wartości zmiennych obiektywizujących pozycję naukową uczelni, takich jak: liczbność kadry, wysokość uzyskanych środków z grantów można w prosty spo-sób tłumaczyć fakt ich wyższej pozycji. Konkludując, Cope wskazuje jednak, że przy pomocy ekonometrycznych narzędzi nie udało mu się udowodnić, że w przypadku RAE naukowcy kierują się interesem zatrudniających ich instytucji.
6 T. Coupé, Can Peer Review Be Trusted? Th e UK Research Assessment on Trial [w:] Th e Strategic
Analysis of Universities: Microeconomic and Management Perspectives, M. Dewatripont et al (eds.),
Profile badawcze
Finalnym wynikiem prac RAE 2008 są profi le badawcze uczelni (ang. quality pro-fi le) w każdym z 67 obszarów badawczych ocenianych przez panele tematyczne. Dla przykładu w obszarze socjologii prowadzenie badań naukowych zgłosiło w su-mie 39 uniwersytetów i każdemu z nich określono profi l badawczy w tym obszarze. Takie podejście to prawdziwa rewolucja, bowiem odstąpiono od przedstawiania wyników parametryzacji wyłącznie na uproszczonej jednowymiarowej skali na rzecz bardziej złożonych profi li badawczych. W ten sposób starano się odejść od parametryzacji jako prostego procesu klasyfi kowania czy też etykietowania jedno-stek w kierunku budowania ich wielowymiarowego portfolio określanego mianem quality profi le. Podstawą ewaluacji jest pięciostopniowa skala ocen, którą przedsta-wia tabela 2.
Tabela 2.
Ocena Opis
4* Prowadzone badania można określić jako wiodące w świecie pod względem oryginalności, znaczenia czy metodologii.
3*
Prowadzone badania prowadzone są na wysokim międzyna-rodowym poziomie pod względem oryginalności, znaczenia czy metodologii, ale mimo to nie są to jednostki wiodące w świecie.
2*
Jakość prowadzonych badań pod względem oryginalności, znaczenia czy metodologii odpowiada standardom między-narodowym i jest rozpoznawana za granicą.
1*
Jakość prowadzonych badań pod względem oryginalności, znaczenia czy metodologii odpowiada standardom krajo-wym.
Niesklasyfi -kowany
Jakość prowadzonych badań pod względem oryginalności, znaczenia czy metodologii nie odpowiada standardom kra-jowym albo działalność jednostki nie mieści się w defi nicji badań naukowych.
Źródło: RAE 2008.
Profi l badawczy jednostki powstaje w wyniku zakwalifi kowania jego poszcze-gólnych prowadzonych elementów do jednej z pięciu wyżej przedstawionych ka-tegorii. Panele podstawowe (UoA) zajmują się oceną dorobku badawczego przed-stawionego przez uczelnie i tworzą rekomendacje dla panelów głównych, które to podejmują ostateczną decyzję. Końcowym efektem RAE 2008 było stworzenie profi lu badawczego, którego przykłady zostały umieszczone w tabeli 3.
Tabela 3.
Sojologia Liczba pełnych etatów (N)
Procent dorobku badawczego poddanego ocenie w celu kategoryzacji
4* 3* 2* 1* N/S
Uniwersytet X 50 15% 20% 45% 15% 5%
Uniwersytet Y 30 0% 10% 50% 30% 10%
Źródło: Opracowanie własne na podstawie RAE 2008.
Oznacza to, że uniwersytet X posiada 50 pełnych etatów badawczych, badawczo-dy-daktycznych. Spośród przedstawionego do ewaluacji dorobku badawczego 15% moż-na zakwalifi kować jako badania wiodące moż-na świecie, 20% jako liczące się moż-na świecie, 45% rozpoznawalne w skali międzynarodowej, 15% rozpoznawalne w skali krajowej, a 5% przedstawionych efektów badania można traktować jako niespełniające krajo-wych standardów lub mieszczące się poza przyjętą defi nicją badań naukokrajo-wych. Pre-zentowany w ten sposób profi l badawczy jest ciekawym źródłem informacji zarówno dla tych, którzy fi nansują badania naukowe, jak tych, którzy badania prowadzą. Taki profi l badawczy pełniej oddaje dorobek badawczy ocenianej jednostki, a jednocześnie jest dużo cenniejszym źródłem informacji dla agencji fi nansujących badania w szkol-nictwie wyższym (np. Founding Council) niż prosta zwykła kategoryzacja. Kryteria i procedura kategoryzacji/ ewaluacji prowadzonych badań naukowych są jasne i przej-rzyste, a także publicznie dostępne dla wszystkich zainteresowanych. Odpowiednio wcześniejsza ich publikacja ogranicza pole do rozbieżnych interpretacji, problemów w ich rozumieniu oraz podejrzeń o stronniczość. Równocześnie jest to ważna infor-macja zwrotna dla samej uczelni, bowiem pokazuje całość dorobku badawczego. Wpro-wadzenie quality profi le opiera się na dwóch założeniach, profi le pozwala różnicować poziom fi nansowania w zależności od jakości prowadzonych badań bez konieczności rankingowania uczelni. Lista uczelni w każdym z 67 obszarów jest prezentowana alfa-betycznie. Jest to dość istotna zmiana, zmierzająca do odejścia od (zdaniem wielu kry-tyków takiego podejścia) krzywdzącej, atomizującej, a wręcz antagonizującej rywali-zacji między uczelniami czy też poszczególnymi grupami badawczymi. Uczelnie nie są porównywane między sobą pod względem jakości prowadzonych badań, ale ich dorobek badawczy zostaje zestawiony z kryteriami wyznaczającymi cztery zasadnicze standardy jakości prowadzonych badań. Co ważniejsze, prowadzone badania nie wpa-dają w niebezpieczną pułapkę „uśredniania”, która poprzez nadmierną prostotę gubi wewnętrzne zróżnicowanie profi lu badawczego jednostek. Oczywiście cała ewaluacja opiera się na dwóch założeniach: poziom fi nansowania badań naukowych zależy od jakości dotychczasowych efektów, a bycie światowym liderem w danym obszarze wy-maga lepszego fi nansowania niż prowadzenie badań na poziomie krajowym.
Wpływ RAE na szkolnictwo wyższe
Istotą tego artykułu jest prezentacja wniosków, które płyną z 25 lat doświadczeń ewaluacji badań naukowych w Wielkiej Brytanii, zwłaszcza funkcjonujących w ra-mach RAE. Przedstawiony przeze mnie model RAE sam w sobie jest efektem gro-madzonych doświadczeń podczas kolejnych edycji. Jednak lata funkcjonowania RAE to nie tylko nieustannie udoskonalany model ewaluacji, ale również jego rosnący wpływ na szkolnictwo wyższe. Korzystając z brytyjskich doświadczeń, warto zwrócić uwagę na to, jakie konsekwencje wywołało jego wprowadzenie do szkolnictwa wyższego, zwłaszcza w odniesieniu do początkującego w Polsce syte-mu ewaluacji. Konsekwencje można wskazać na trzech zasadniczych poziomach: (1) Founding Council, a więc instytucji fi nansującej (2) uczelni, (3) wydziału albo innej jednostki podlegającej ewaluacji.
Na poziomie Founding Council następuje ustanowienie zasad przeprowadzenia ewaluacji, zwłaszcza listy UoA, oraz zdefi niowania obszarów badawczych podle-gających ocenie. Founding Council zyskał bardzo pożyteczne instrumentarium w postaci profi lów badawczych, które ułatwia wyznaczenie poziomu fi nansowania dla poszczególnych instytucji we wszystkich obszarach prowadzonych w niej ba-dań naukowych. Wyniki RAE nie mają bezpośredniego (mechanicznego) przeło-żenia na poziom fi nansowania, bowiem mechanizm fi nansowania jest bardziej złożony i obejmuje również inne czynniki, ale bez wątpienia ocena RAE jest abso-lutnie fundamentalna. Istnieje środowiskowe przeświadczenie, że w sytuacji ogra-niczeń w fi nansach publicznych trzeba się liczyć z tym, że badania oceniane na poziomie 3* mogą nie uzyskać fi nansowania.
Na poziomie uczelni sposób funkcjonowania RAE, a także wynikające z tego konsekwencje mogą się istotnie różnić w zależności od instytucji. Trzeba zazna-czyć, że uczelnie otrzymują fi nansowanie od Founding Council i w zasadzie mają swobodę ich alokacji. Paradoksalnie, nie muszą przeznaczać tych funduszy ani na wsparcie badań naukowych ani nawet na wydział, którego badania pozwoliły na uzyskanie podmiotowego grantu. W wymiarze fi nansowym uczelnie mają szeroką autonomię, która zachęca władze do prowadzenia instytucjonalnej polityki, zwłasz-cza w sferze personalnej, co pozwala na pozyskiwanie najlepszych badaczy. W Wiel-kiej Brytanii mówi się wprost o akademickim rynku transferowym, stawiającym w lepszej sytuacji więcej publikujących pracowników akademickich, którzy mogą negocjować lepsze warunki płacowe. Zwiększyło to mobilność i istotnie zróżnico-wało warunki fi nansowe naukowców. Naturalnie ustalone zostały formalne wa-runki brzegowe, które defi niują pracownika jako zatrudnionego w danej uczelni, aby na tym polu nie dochodziło do nadużyć. Chodzi tu o wyznaczenie okresu
czasowego, w którym dany pracownik musiał być zatrudniony w danej jednostce. Trzeci poziom to poziom wydziału lub innej jednostki podlegającej ewaluacji. RAE wymusił prowadzenie polityki badawczej przez uczelnie i wydziały oraz wprowa-dził konieczność zarządzania sferą badań naukowych. Warto zaznaczyć, że wydzia-ły nie mają własnych budżetów, a ich funkcjonowanie zależy w całości od tego, jak realizowane są zadania wyznaczone przez władze uczelni. Finansowanie wydzia-łów zależy od realizacji dwóch zwykle kolidujących (pod względem dysponowania zasobami) zadań: prowadzenia dydaktyki i badań naukowych; na tym tle dochodzi do częstych tarć między władzami uczelni i wydziałów. Ponadto rosnąca presja na produktywność kadry akademickiej (w znaczeniu liczby publikacji) powoduje, że ważnym zadaniem władz wydziału jest zarządzanie zasobami ludzkimi, w tym ewaluacja pracy badawczej, które prowadzi do rozwoju kultury publikacyjnej okre-ślanej sarkastycznie jako publish-or-perish culture. Na marginesie tego pojawiła się kwestia pracowników akademickich na etatach (kontraktach) badawczych, którzy nie są wystarczająco aktywni badawczo, to znaczy nie publikują odpowiednio wie-le artykułów w wysoko indeksowanych periodykach naukowych. Ich kontrakty nie są przedłużane, co prowadzi do rosnącej rotacji kadry akademickiej. Szczególnym przypadkiem są jednak profesorowie uniwersyteccy, zwykle bardzo doświadczeni badacze, którzy – zdaniem władz wydziału – nie są wystarczająco aktywni badaw-czo i nie publikują tyle ile się od nich oczekuje. Problem ten ujawnił się wraz z upo-wszechnieniem oceny parametrycznej i uzależnieniem jej od poziomu fi nansowa-nia. Biorąc pod uwagę brytyjski stan prawny (w którym pozycja profesora jest słabsza niż w kontynentalnej Europie) to i tak jedynym sposobem na zwolnienie przez nich etatów jest przejście na wcześniejszą emeryturę z powodu likwidacji wydziału albo gruntownej jego restrukturyzacji. Obie praktyki – wskutek RAE – zostały dość szeroko rozpowszechnione na uczelniach brytyjskich, budząc wiele dyskusji na temat statusu profesora w sektorze szkolnictwa wyższego. Ostatnią konsekwencją oceny prowadzonej w ramach RAE jest rosnąca specjalizacja kadry akademickiej i podział na pracowników badawczych oraz dydaktycznych, a co za tym idzie – rozdźwięk pomiędzy sferą badań oraz dydaktyki, co uderza w korzenie i fi lozofi ą nowożytnego uniwersytetu. Bilans zysków i strat związanych z wprowa-dzeniem RAE przedstawia Paul G. Hare7.
7 P. Hare, Th e UK’s Research Assessment Exercise: Impact on Institutions, Departments,
Zalety i wady RAE jako mechanizmu pomagającego w alokacji
funduszy na badania
Tabela 4.
Zalety Wady
Nagradza wysoką jakość prowadzonych badań. System wspiera koncentrację zasobów badawczych (np. ludzi lub infrastruktury), dlatego że sukces zwiększa prawdopodobieństwo uzyskania jeszcze większych środków na badania. Nie ma jednak dowodów, że kon-centracja funduszy na badania prowadzi do podnosze-nia jakości badań naukowych.
Stwarza bodźce do podnoszenia jakości pro-wadzonych badań
Zachęca do wykorzystywania różnych „trików” stoso-wanych pod formalne kryteria, które zasadniczo nie podnoszą jakości prowadzonych badań.
Konkurencyjny system zachęcający do koń-czenia badań publikacjami wyników, a także wymuszający lepsze zarządzanie badaniami. Eliminuje parabadawcze aktywności.
System nagradza krótkie i pewne projekty badawcze, a zniechęca do prowadzenia dłuższych, skomplikowa-nych oraz ryzykowskomplikowa-nych.
Zachęca dobrych badaczy do przenoszenia się do naj-lepszych instytucji, jednak obniża to synergię pomiędzy badaniami a kształceniem.
Nagradza badawczą przeszłość, co istotnie zniechęca uczelnie do inwestowania w nowe obszary badań. Łączy priorytety polityki rządowej w zakresie
badań naukowych ze strumieniami fi nanso-wania.
Wprowadza kanały, poprzez które uczelnia ma zbyt wielki wpływ na kierunek badań uniwersyteckich. Drogie i wymagające dużych zasobów administracyj-nych.
Krytyka ewaluacji badań naukowych ze szczególnym
uwzględnieniem RAE
Idea ewaluacji jest bardzo prosta i wywodzi się wprost z koncepcji nowego zarzą-dzania publicznego. Opiera się ona na założeniu, że państwo powinno wprowadzić zasadę instytucjonalnej nieufności, która stanowi jednym z głównych obszarów krytyki. Tacy badacze, jak: Michael Power, Keith Hoskin czy Marilyn Strathern są przeciwni kulturze instytucjonalnej nieufności, procedurom ewaluacyjnym i ge-neralnie wszystkiemu, co jest związane z wprowadzeniem mechanizmów rynko-wych do sfery nauki i szkolnictwa wyższego. Ten nurt krytyki można nazwać
ide-owym, bowiem podważa ideowe korzenie RAE, ale wykracza znacznie poza sferę metapolityki. Kultura instytucjonalnej nieufności ustanawia specyfi czne reguły funkcjonujące w sektorze publicznym, według których RAE jest ukierunkowany na ograniczenie możliwości fi nansowania słabych czy wręcz pseudobadań nauko-wych. Wyraża się ona przede wszystkim ukierunkowaniem na eliminowanie nie-pewnych (ryzykownych) badań naukowych, czego efektem jest doprowadzenie do sytuacji, w której – ujmując rzecz metaforycznie – lepiej jest odrzucić dobry projekt badawczy, niż sfi nansować zły projekt. To oczywiście musi mieć istotne konsekwen-cje dla strategii badawczych zarówno wydziałów, jak i uczelni. Wpływa to również na indywidualne strategie badawcze skłaniając do ucieczki od podejmowania ba-dań „ryzykownych” czy też określanych mianem „frontowych”. Wynikiem tego będzie podejmowanie tematów badawczych, w których prawdopodobieństwo suk-cesu (a tym samym publikacji) jest największe. Im trudniejszy temat badań, im bardziej jest ryzykowany, tym mniej entuzjastycznie będzie witany przez władze wydziału. Ujmując rzecz wprost, polityka RAE zmierza w kierunku badań, które zapewniają w miarę pewną i szybką publikację wyników, które raczej zmierzają z głównym nurtem, a nie idą pod prąd obowiązującym trendom. Donald Gillies8
udowadnia na przykładzie historii oraz fi lozofi i nauki, że bez RAE brytyjska nauka rozwijałaby się znacznie lepiej. Jego głównym argumentem jest fakt, że stosowany przez RAE sposób ewaluacji skłania do podejmowania przede wszystkim bezpiecz-nych tematów badawczych, powielania istniejących wzorów, trzymania się głów-nego nurtu dyskursu w nauce. Gillies, który nie ukrywa swojego negatywgłów-nego stosunku do RAE, argumentuje, że największe i najwspanialsze osiągnięcia nauko-we, wspaniałe odkrycia oraz przełomy były wynikiem działań idących pod prąd ówczesnym naukowym trendom. Jego zdaniem podatnicy brytyjscy wydają ogrom-ne pieniądze na system, który zniechęca ludzi do podejmowania naukowych wy-zwań, dlatego postuluje likwidację RAE, której efektem będzie nie tylko oszczęd-ność bardzo wymiernych środków fi nansowych, ale również oszczędoszczęd-ność czasu pracowników akademickich. Gillies przytacza następujące argumenty, trzy główne grzechy RAE (1) eliminuje całkowicie „opłacalność” prac na wieloletnimi projek-tami badawczymi, innymi słowy, zniechęca do podejmowania wyzwań odważnych, wymagających dużego nakładu pracy oraz czasu. W tym kontekście badawcze zmagania zarówno Mikołaja Kopernika, Immanuela Kanta, jak też Ludwiga Witt-gensteina – pracujących nad swoimi dziełami przez dekady, czy nawet całe życie – nie zostałyby dostrzeżone i docenione przez RAE. (2) RAE opiera się na
mecha-8 D. Gillies, Lessons from the History and Philosophy of Science Regarding the Research Assessment
nizmie peer review, który może nawet sprawdzać się w „normalnej” nauce” i przy podejmowaniu bezpiecznych tematów badawczych. Natomiast ewaluacja oparta na peer review zasadniczo ogranicza prawdopodobieństwo zaistnienia (akceptacji) rewolucyjnych osiągnięć w nauce, bowiem uderzają one w istniejącą hierarchię w danej dyscyplinie. Podsumowując, Gillies twierdzi wręcz, że likwidacja RAE (REF) nie przyniesie poważniejszych negatywnych konsekwencji dla systemu ba-dań naukowych w Wielkiej Brytanii, wskazując, że brytyjskie uniwersytety były czołowymi instytucjami szkolnictwa wyższego na świecie, zanim jeszcze wymyślo-no RAE. Natomiast wskazuje się, że RAE jest instytucją zbyt kosztowną zarówwymyślo-no pod względem czasu, jak i środków fi nansowych, by warte było utrzymania. RAE nie jest tani, kosztuje bowiem około 15 milionów funtów, a więc koszt jego obsłu-gi pochłania mniej więcej 0.4% rozdzielanych przez RAE funduszy. Krytyka, która towarzyszy kolejnym edycjom RAE (obecnie REF), nie zmienia faktu, że jest już silenie zakorzeniony w brytyjskim szkolnictwie wyższym i cieszy się dużą legity-mizacją społeczną w środowisku akademickim oraz również poza nim. Najlepiej oddają to konkluzje raportu opublikowanego przez House of Commons Science and Technology Select Committee dotyczącego działalności RAE 2001: „RAE po-siada pozytywny wpływ na uniwersytety stymulując je do lepszego zarządzania sferą badań naukowych oraz kierując środki fi nansowe w obszary, gdzie badania prowadzone są na najwyższym poziomie”. Raport jednoznacznie rekomendował kontynuację RAE.
Podsumowanie. Czego Polska nauka może nauczyć się od RAE?
Brytyjskie i polskie szkolnictwo wyższe są bardzo odmienne i trudno jest przenieść bezpośrednio rozwiązania brytyjskie na polski grunt. Są jednak rozwiązania, które warto przemyśleć w kontekście procesów kategoryzacji jednostek naukowych. Znając polskie realia i studiując funkcjonowanie RAE na potrzeby tego artykułu, pozwoliłem sobie wypunktować najważniejsze rzeczy.
Dokonywanie oceny parametrycznej badań naukowych jest ważne i potrzebne. W przypadku Polski bez rzetelnej oceny badań naukowych fi nansowych z publicz-nych funduszy nie sposób jest liczyć na ich zwiększenie. RAE, podobnie jak KEJN, zawsze będzie miał wielu krytyków oraz przeciwników, których przekonać mogą tylko wzrost jakości prowadzonych badań.
Warto rozważyć rozbudowanie systemu zespołów KEJN z istniejących czterech do piętnastu zespołów na wzór paneli głównych w RAE. Wówczas ocena parame-tryczna mogłaby mieć bardziej charakter analizy jakościowej dokonywanej w
opar-ciu o analizę bibliometryczną. Największa korzyść dostrzegana będzie w obszarach nauki, które ze względów kulturowych oraz językowych nie są dobrze indeksowa-ne w międzynarodowych bazach danych.
Docelowo efektem działania KEJN powinino być budowanie profi lu badaw-czego jednostki naukowej w danym obszarze, tak jak miało to miejsce w RAE 2008. Ponadto z korzyścią dla jakości prowadzonych badań byłoby dokonywanie ewa-luacji nie wydziałów (w sektorze szkolnictwa wyższego), ale uczelni, która w apli-kacji ujmowałaby całość prowadzonych w danym obszarze badań.
Każda ocena parametryczna powinna być poprzedzona programem pilotażo-wym i zakończona procesem ewaluacji. Doświadczenia RAE pokazują, że ma to głęboki sens. Pilotaż pozwoli na uniknięcie potknięć podważających samą ideę oceny parametrycznej, a wyniki ewaluacji ex post pozwolą nieustannie ulepszać funkcjonowanie KEJN.
Trzeba mieć świadomość, że RAE wywiera największy wpływ na produktyw-ność badawczą pracowników. Pokazują to badania czterech pierwszych edycji RAE przeprowadzone przez zespół kierowany przez Williama Moora9. Natomiast nie
znaleziono wystarczająco mocnych dowodów pokazujących, że RAE zwiększył produktywność badawczą naukowców, którzy wcześniej już demonstrowali dużą aktywność publikacyjną. Działalność KEJN wywoła prawdopodobnie bardzo po-dobny efekt, czego trzeba mieć pełną świadomość.
L I T E R A T U R A :
Audit Cultures: Anthropological studies in Accountability, Ethics and the Academy, M.
Stra-thern (ed.), London 2000.
Gillies D., Lessons from the History and Philosophy of Science regarding the Research
Asses-sment Exercise, „Royal Institute of Philosophy Supplements” 2007, Vol. 61.
Hare P., Th e UK’s Research Assessment Exercise: Impact on Institutions, Departments, Indi-viduals, „Higher Education Management and Policy” 2003, Vol. 15 (2).
Hoskin K., Th e „awful idea of accountability”: Inscribing People into the Measurement of Objects [w:] Accountability: Power, Ethos and the Technologies of Managing, R. Munro
and J. Mouritsen (eds.), London 1996.
Kwiek M., Nowe konteksty myślenia o edukacji w Europie Środkowej: przykład globalizacji [w:] Globalizacja. I co dalej?, S. Amsterdamski (red.), Warszawa 2004.
9 W. Moore, R. Newman, P. Sloane, J. Steely, Productivity Eff ects of Research Assessment Exercises, „Departmental Working Papers” 2002–15, Department of Economics, Louisiana State University.
Moore W., Newman R., Sloane P., Steely J., Productivity Eff ects of Research Assessment
Exer-cises, „Departmental Working Papers” 2002–15, Department of Economics, Louisiana
State University.
Power M., Th e Audit Society, Oxford 1997.
Power M., Research Assessment Exercise: a fatal remedy? [w:] Knowledge for What? Th e Intellectual Consequences of the Research Assessment Exercise, “History of the Human
Sciences” 1999, Vol. 12 (4).
RAE 2008; pełne informacje o przeprowadzonej ewaluacji SA dostępne na stronie http:// www.rae.ac.uk.
