E w a D a h l i g - T u r e k1
ESF, ERIH, JCR… CZYLI O EWALUACJI HUMANISTYKI
Choć bezpośrednim celem ewaluacji jednostek naukowych jest określenie ich pro-duktywności i efektywności, faktycznym efektem dla jednostek – oczywiście poza tym najbardziej bezpośrednim, a więc otrzymaniem określonej kategorii i związa-nego z nią poziomu fi nansowania – jest odbiór ważzwiąza-nego sygnału wyznaczającego priorytety w zakresie form aktywności naukowej na kolejne lata. Znaczenie ewa-luacji znacznie zatem przekracza wymiar bezpośredniego oddziaływania na jed-nostki, ich „karania” lub premiowania – w gruncie rzeczy może ona w istotny spo-sób zaważyć na losach dyscyplin. Dlatego też dobór kryteriów i mierników, które służą do oceny działalności placówek naukowych, ma kluczowe znaczenie dla ich bytu, i to w sensie dosłownym.
Trudno sobie wyobrazić kryteria (a zwłaszcza mierniki) ewaluacji, które zosta-łyby zaakceptowane przez wszystkie poddawane ocenie jednostki: z oczywistych względów wprowadzone zasady zyskują przede wszystkim aprobatę placówek, które w wyniku ich zastosowania uzyskały najwyższe miejsce w rankingach.
Wyniki oceny w znacznym stopniu zależą od konfi guracji grup jednorodnych, w ramach których dokonuje się porównanie jednostek. Jednostki wyższych uczel-ni za krzywdzące uznają zestawiauczel-nie ich z instytutami Polskiej Akademii Nauk, słusznie podkreślając, iż placówki PAN nie prowadzą dydaktyki na porównywalną skalę, ale też nie dostrzegając faktu, że w Akademii toczą się – poza „czystymi”
1 Autorka jest członkiem Core Group Stałego Komitetu Humanistycznego European Science Foundation w Strasburgu, a także Komitetu Ewaluacji Jednostek Naukowych, w którym uczestniczy w pracach dwu Komisji: do spraw Nauk Społecznych i Humanistycznych oraz Nauk o Sztuce i Twór-czości Artystycznej (pracom tej ostatniej Komisji przewodniczy).
badaniami – np. w humanistyce monumentalne dokumentacyjno-edytorskie pra-ce zbiorowe, które angażują naukowców w stopniu porównywalnym do pracy dy-daktycznej, i to na dziesięciolecia. Ustawa o zasadach fi nansowania nauki2 z 2010 r. zawiera zapis sugerujący odrębną ewaluację każdego z rodzajów placówek, co ro-dzi z kolei niepokój placówek PAN: czy bardzo dobre instytuty nie będą otrzymy-wały niższej kategorii tylko dlatego, że znajdą się w swoim silnie konkurencyjnym gronie, podczas gdy słabsze wydziały uczelni wyższych uzyskają kategorie wyższe niż obecnie, jeśli znajdą się w grupie o poziomie ogólnie niższym.
Nawet w przypadku jednostek tego samego typu i o pozornie identycznym profi lu (np. wydziałów historycznych uczelni) konfi guracja reprezentowanych w nich dyscyplin może je znacząco faworyzować lub defaworyzować w danej gru-pie. Przyczyną takiego stanu rzeczy jest m.in. różna dla poszczególnych dyscyplin możliwość publikowania w czasopismach o najwyższej punktacji, w wyniku czego wydział historyczny zatrudniający np. psychologów zawsze będzie w sytuacji ko-rzystniejszej niż placówka bez ich udziału. Niejednakowe są też szanse zawierania kontraktów gospodarczych, które przecież istotnie wpływały na ostateczny wynik punktowy jednostki (w tym przypadku elementem faworyzującym jednostki była np. obecność archeologii w składzie wydziału).
Stosowanie rozwiązań wspólnych dla wielu dyscyplin, a nawet dziedzin nauki, zaciera specyfi kę właściwej im działalności i w efekcie prowadzi do kwestionowania wyników procedury ewaluacyjnej. Spośród wszystkich stosowanych kryteriów naj-ważniejsze znaczenie dla oceny działalności naukowej powinien mieć wynik nauko-wy mierzony wielkością i jakością dorobku publikacyjnego, a także – w przypadku nauk „twardych” – skalą praktycznych zastosowań, patentów, wdrożeń. Tak jednak jak nie wszystkie dziedziny nauki mogą znaleźć przełożenie na praktykę, tak też nie do wszystkich można zastosować te same zasady hierarchii (a w związku z tym tak-że i punktacji) poszczególnych rodzajów publikacji. Tymczasem spłaszczone kryteria nie respektowały kultury publikacji właściwej poszczególnym dyscyplinom.
Grupą szczególnie boleśnie odczuwającą to ujednolicenie są humaniści, których ocenia się przez pryzmat kryteriów wynikających raczej z doświadczenia nauk „twardych”. Podstawowe problemy można ująć następująco:
1. Preferencje dla publikacji w czasopismach kosztem ograniczania znaczenia monografi i.
2 Art. 42 pkt 3: Parametry i kryteria oceny jednostek naukowych zależą od ich wielkości, rodza-ju i profi lu naukowego i są dostosowane do specyfi ki każdej z czterech grup dziedzin nauki, odrębne dla instytutów naukowych Polskiej Akademii Nauk, Polskiej Akademii Umiejętności, podstawowych jednostek organizacyjnych uczelni, instytutów badawczych i jednostek naukowych, o których mowa w art. 2 pkt 9 lit. f.
2. Preferencje dla publikacji w periodykach indeksowanych. 3. Preferencje dla publikacji w języku angielskim.
Ad 1. Humaniści od dawna zwracają uwagę na fakt, że w ich dziedzinie nauki główną formą publikacji pozostaje monografi a, stanowiąca z reguły efekt wielolet-nich badań i nierzadko zachowująca aktualność przez dziesięciolecia. Racja ta nie zawsze jest przyjmowana ze zrozumieniem przez przedstawicieli dyscyplin niehu-manistycznych, w których o wiele większą niż w humanistyce wagę ma jak najszyb-sze ogłaszanie wyników prac naukowych w czasopismach, albowiem żywotność publikacji jest dość krótka. Dlatego też stosowanie tej samej miary (czytaj: punk-tacji), choć pozornie sprawiedliwe, nie oddaje właściwych proporcji ważności róż-nych typów publikacji dla poszczególróż-nych dziedzin, a co gorsza – zmusza placów-ki humanistyczne do przeorientowania polityplaców-ki wydawniczej (szybplaców-kie badania, szybka publikacja), co grozi już poważnymi konsekwencjami dla sposobu prowa-dzenia badań i pozycji polskiej humanistyki na świecie.
Ad 2. Ogłaszany przez Ministerstwo Nauki i Szkolnictwa Wyższego ujednolicony wykaz czasopism punktowanych, w swojej części A, obejmującej czasopisma wy-różnione w Journal Citation Reports (JCR) Th omson Reuters, wśród 8610 tytułów czasopism zawiera jedynie szczątkowe ślady humanistyki, w tym żadnego z zakresu mojej dziedziny – etnomuzykologii. Jednostki humanistyczne nie mają zatem szans na uzyskiwanie wysokiej punktacji, chyba że zatrudniają także np. psychologów lub socjologów, przed którymi otwiera się w tym zakresie znacznie więcej możliwości. W tej sytuacji polscy (europejscy) humaniści są bezradni: wskazuje się im cel, którego nie mogą osiągnąć, nie mając wpływu na (amerykańskie) zestawienia. Dlatego też analiza cytowań, w naukach „twardych” będąca już dziś codziennością, w naukach humanistycznych nie ma właściwie zastosowania. Można tu wskazać kilka powodów.
Po pierwsze, powtórzmy, że najważniejszą formą publikacji w humanistyce jest monografi a, tymczasem indeksy cytowań ISI (Th omson Reuters) odnoszą się wy-łącznie do artykułów w wybranych czasopismach, pomijają więc nie tylko pozosta-łe czasopisma, ale także monografi e, materiały konferencyjne, raporty, patenty itd., a zatem ukazują system komunikacji naukowej „widziany przez okulary ISI”3.
Po drugie, do czasopism pomijanych w indeksowaniu należą w dużym stopniu te wydawane w językach narodowych, a zjawisko to dotyczy przede wszystkim
humanistyki. Jak podaje Moed4, podczas gdy np. z zakresu biologii molekularnej i biochemii indeksowaniem objętych jest, w zależności od kraju, 81–94% czaso-pism, to dla humanistyki jest to już jedynie 5–24%. Jakkolwiek są to dane sprzed kilku lat, trudno raczej oczekiwać zasadniczej zmiany proporcji. O ile w Polsce brak indeksowania jest uznawany za słabość rodzimych wydawnictw, to na świecie postrzega się to zjawisko jako oczywistą konsekwencję specyfi ki nauk humani-stycznych. Jak czytamy na stronie Th e Th omson Reuters5:
Publishing standards, including timeliness, are important in the evaluation of arts and humanities journals. Citations patterns in the arts and humanities, however, do not necessarily follow the same predictable pattern as citations to social sciences and natural sciences articles. In addition, arts and humanities journal articles fre-quently reference nonjournal sources (e.g., books, musical compositions, works of art, and literature). English-language text is not a requirement in some areas of arts and humanities scholarship where the national focus of the study precludes the need for it. For example, research in regional literatures.
Po trzecie wreszcie, żywot publikacji humanistycznych jest z reguły bardzo długi, toteż analiza cytowań w danym okresie, nawet gdyby objęto nimi wszelkie formy publikacji, i tak nie dałaby wyobrażenia o wartości publikacji, ta bowiem buduje się i gruntuje przez dziesięciolecia.
Ad 3. Żyjemy w dobie nowego esperanto – język angielski zdominował światową wymianę informacji nie tylko w nauce. Humaniści nie pasują jednak do tego zu-nifi kowanego modelu: muszą publikować w językach rodzimych – taka jest misja tej dziedziny nauk. Humanistyka pełni rolę kulturotwórczą, buduje świadomość historyczną i tożsamość narodu, pielęgnuje języki narodowe, stoi na straży warto-ści ewidentnie dziś zagrożonych. Ograniczenie jej misji poprzez publikacje w ję-zyku dla większości społeczeństwa niezrozumiałym stoi w sprzeczności z Ustawą z dnia 7 października 1999 r. o języku polskim, w której czytamy:
Parlament Rzeczypospolitej Polskiej:
– zważywszy, że język polski stanowi podstawowy element narodowej tożsamości i jest dobrem narodowej kultury,
4 Ibidem, s. 26.
5 Zakładka Journal Selection Process-> Arts and Humanities, http://thomsonreuters.com/pro-ducts_services/science/free/essays/journal_selection_process/
– zważywszy na doświadczenie historii, kiedy walka zaborców i okupantów z języ-kiem polskim była narzędziem wynaradawiania,
– uznając konieczność ochrony tożsamości narodowej w procesie globalizacji, – uznając, że polska kultura stanowi wkład w budowę wspólnej, różnorodnej
kul-turowo Europy, a zachowanie tej kultury i jej rozwój jest możliwy tylko poprzez ochronę języka polskiego,
– uznając tę ochronę za obowiązek wszystkich organów i instytucji publicznych Rzeczypospolitej Polskiej i powinność jej obywateli
uchwala niniejszą ustawę.
Uznając zatem, że humanistyka odgrywa kluczową rolę w dbałości o narodową kulturę, należy pozostawić jej prawo komunikowania się ze społeczeństwem w ję-zyku rodzimym (nawiasem mówiąc, czy ktokolwiek z nas jest w stanie wyobrazić sobie ofi cjalne naciski na humanistów niemieckich, francuskich czy włoskich, aby publikowali przede wszystkim w języku angielskim?).
Środowiska humanistyczne w żaden sposób nie kwestionują konieczności komu-nikowania się ze światem zewnętrznym, ale tu zwróćmy uwagę na kilka elementów:
1. Nie jest wcale rzadkością sytuacja, gdy zainteresowani polską kulturą i sztu-ką humaniści z ośrodków zagranicznych uczą się języka polskiego, aby swo-bodnie czytać polską literaturę; nie ma zatem powodów do prowincjonal-nych kompleksów.
2. Podobnie też nie ma powodu do preferowania języka angielskiego: komuni-kacja powinna być przede wszystkim skuteczna, umożliwiając dotarcie do wyników badań tym środowiskom, które są nimi najbardziej zainteresowane. W przypadku nauk humanistycznych mogą one być ogłaszane w każdym języku właściwym kręgowi kulturowemu, który jest przedmiotem studiów. 3. Najlepszym rozwiązaniem byłoby równoległe publikowanie w języku
pol-skim i obcym, jednak na przeszkodzie stają względy ekonomiczne: instytucje naukowe nie otrzymują na tłumaczenia wyodrębnionych środków, podobnie zresztą jak na wydawnictwa; wydają periodyki kosztem poważnych ograni-czeń w innych obszarach działalności statutowej, wprowadzając ewentualnie obcojęzyczne streszczenia. Finansowanie tłumaczeń całych artykułów jest często niemożliwe, zwłaszcza dla placówek humanistycznych wydających kilka czasopism.
Moed6 zauważa, że międzynarodowa ekspozycja instytucji badawczych polega nie na tym, aby do społeczności światowej kierować publikacje wszystkie, ale
które. Badania prowadzone nad ISI CI wykazują ograniczoną wiarygodność tych indeksów, jeśliby na ich podstawie próbować mierzyć międzynarodową widocz-ność nauk społecznych i humanistycznych. Jeżeli bowiem czasopisma w językach narodowych są objęte indeksowaniem, to publikacja na ich łamach wcale nie mu-si automatycznie doświadczać rozpowszechnienia na światową skalę. I odwrotnie – ponieważ reprezentacja dziedzin humanistycznych w ISI Citation Indexes jest niska, to publikacja w czasopiśmie spoza listy wcale nie oznacza, że artykuł nie trafi ł do szerokiego grona odbiorców.
Naukowcy są chyba zgodni co do tego, że najwłaściwsza byłaby ocena jakości badań naukowych i ich publikowanych wyników, a nie parametryzowanie. Ewalu-acja jakościowa uznana byłaby jednak za sprawiedliwą tylko wówczas, gdyby całe grupy jednorodne oceniane były przez te same zespoły ewaluatorów, a i to pod warunkiem zupełnego wyeliminowania elementu subiektywności, co raczej trud-no sobie wyobrazić.
Punktowanie publikacji ogłaszanych w czasopismach jest niewątpliwie elemen-tem oceny jakościowej: zakłada się mianowicie, że artykuły ogłaszane w periody-kach recenzowanych muszą spełniać wymogi co do poziomu naukowego, toteż w zależności od renomy danego czasopisma automatycznie można przypisać opu-blikowanym w nim pracom określoną wartość punktową. Nie istnieje jednak obiektywny i niepodważalny sposób ustalania rankingów czasopism, toteż relacje między „wartościami” poszczególnych grup tytułów zawsze pozostaną subiektyw-ną (choć zbiorową) decyzją zespołów, które je ustalają.
Publikacje to jedno z najważniejszych, ale nie jedyne kryterium oceny jednostek naukowych. Poszukując najlepszego modelu ewaluacji, dyskutuje się o rozwiąza-niach stosowanych w innych krajach.
Ciekawego przykładu dostarcza ewaluacja placówek Bułgarskiej Akademii Nauk, przeprowadzona w 2009 r. z inicjatywy samej BAN przez dwie ważne europejskie organizacje zajmujące się promowaniem, koordynowaniem i fi nansowaniem badań: European Science Foundation7 (ESF) oraz All European Academies8 (ALLEA).
7 ESF została założona w roku 1974 jako platforma współdziałania początkowo 42, a obecnie 78 organizacji członkowskich, do których należą zarówno instytucje fi nansujące, jak i placówki prowadzą-ce badania, a więc akademie nauk, towarzystwa naukowe, komitety badań i inne z 30 krajów członkow-skich. Misją ESF jest wspieranie współpracy w zakresie prowadzenia i fi nansowania badań, a także szeroko rozumianej polityki naukowej. Instrumenty, przy pomocy których ESF wspiera aktywizację współpracy naukowej w Europie, to m.in. Exploratory Workshops, EUROCORES (European Collabo-rative Research Scheme), Research Networking Programmes (RNPs) i ESF Research Conferences.
8 ALLEA utworzyły w roku 1994 organizacje jednego typu, a mianowicie 53 narodowe akademie nauk z 40 państw. Celem tej organizacji jest wspieranie wymiany informacji pomiędzy akademiami, służenie społeczeństwu europejskiemu ekspertyzą, a także dbałość o wysoki poziom i standardy etyczne w nauce.
Była to pierwsza tego typu całościowa ocena placówek Bułgarskiej Akademii Nauk, w tym 69 instytutów, ośrodków, laboratoriów i in., reprezentujących wszyst-kie dyscypliny naukowe. Pozycja BAN, zatrudniającej 20% wszystkich bułgarskich naukowców, ale mającej aż 50–55% udziału w ogólnej liczbie bułgarskich publika-cji uwzględnionych w ISI Web of Science w badanym okresie oraz 8 z 11 centrów doskonałości, jest w Bułgarii niekwestionowana. Ocenie poddano zatem przede wszystkim jakość badań i konkurencyjność ich poziomu w odniesieniu do stan-dardów międzynarodowych – zauważmy, że takie samo oczekiwanie formułuje wobec działalności KEJN Ustawa o zasadach fi nansowania nauki.
Prowadzona przez międzynarodowych ekspertów i mająca przede wszystkim charakter oceny jakościowej, a nie ilościowej, ewaluacja ta mogłaby z pewnością stanowić godny naśladowania wzór, gdyby nie jej złożoność i związana z nią kło-potliwość i czasochłonność procedur. Obejmująca okres 5 lat ocena trwała blisko rok9, a dokonało jej grono 40 ekspertów pracujących w czterech panelach:
1: Nauki matematyczne, nauki fi zyczne, nauki chemiczne, nauki inżynierskie, 2: nauki biologiczne,
3: nauki o Ziemi,
4: nauki społeczne i humanistyczne.
Podstawą ewaluacji był opracowany w Holandii Standard Evaluation Protocol10, służący do oceny instytucji naukowych. Jego istotą jest opis instytucji wskazujący jej mocne i słabe strony, uwzględniający następujące cztery kryteria:
• jakość,
• produktywność, • relewancja,
• ważkość i wykonalność badań.
Na potrzeby oceny BAN kryteria nieco zmodyfi kowano, oceniając jakość i pro-duktywność łącznie, przy czym pod uwagę brano przede wszystkim osiągnięcia
9 Umowa o przeprowadzenie oceny zawarta została w październiku 2008 roku; w lutym–marcu 2009 roku jednostki dostarczyły raporty samooceny; do czerwca panele ekspertów dokonały wstęp-nej oceny i zwróciły się do instytutów z prośbą o dostarczenie uzupełnień; w lipcu miały miejsce wizytacje w placówkach, rozmowy z kierownictwem i kadrą naukową; ewaluacja zakończyła się pod koniec roku 2009. Jak zatem widać, była to procedura czaso- i kosztochłonna (prowadzono ją na koszt BAN).
10 Zob. http://www.allea.org/Content/ALLEA/Th emes/Evaluation/Standard_Evaluation_Proto-col_03-09.pdf. W opracowaniu SEP uczestniczyły najważniejsze holenderskie organizacje naukowe: Th e Netherlands Organisation for Scientifi c Research (NWO – De Nederlandse Organisatie voor Wetenschappelijk), Th e Royal Netherlands Academy of Arts and Sciences (KNAW – Koninklijke Nederlandse Akademie van Wetenschappen) and the Association of Universities in the Netherlands (VSNU – Vereniging van Universiteiten).
naukowe, pozycję międzynarodową, potencjał innowacyjny oraz wyniki naukowe instytutu.
Jakość rozumiana jest jako miara doskonałości i wybitności prowadzonej
dzia-łalności naukowej, zdolność placówki do prowadzenia badań na najwyższym po-ziomie i osiągania efektów ważnych dla międzynarodowej społeczności naukowej, a także obecność zatrudnionych w niej naukowców w światowej czołówce badaczy danej dyscypliny. Za przejaw wysokiej jakości uznawano także udostępnianie śro-dowisku naukowemu infrastruktury badawczej. Jakość określali eksperci w oparciu o swoją wiedzę, rozmowy z kierownictwem i pracownikami jednostki, a także róż-nego rodzaju informacje.
Produktywność oznacza całkowity produkt danej instytucji, w tym różne formy
upubliczniania rezultatów badań. W tym przypadku stosowano wskaźniki ilościo-we, przede wszystkim bibliometryczne, odnoszące się do publikacji i cytowań, ale także technometryczne, dotyczące patentów i cytowań patentów, czy też socjome-tryczne, dotyczące badań socjoekonomicznych i ich zastosowania, przy czym uzy-skane przez jednostkę wyniki odnoszone były do jej zasobów kadrowych. Ewalu-atorzy podkreślali jednak, że podejście ilościowe, wiarygodne w naukach fi zycznych i naukach o życiu, pozostaje problematyczne w odniesieniu do nauk humanistycz-nych i społeczhumanistycz-nych, w których to dziedzinach istnieją odmienne tradycje publika-cji, a modele/wzorce publikowania mogą się bardzo różnić pomiędzy dyscyplina-mi. Podkreślano ograniczenia ISI Citation Indexes, których bazy nie obejmują pełnego zakresu czasopism, nowe zakresy dyscyplin są słabo reprezentowane, wy-niki impact factor różnią się pomiędzy dyscyplinami, a nawet subdyscyplinami. Członkowie panelu nauk społecznych i humanistycznych stwierdzili wprost, że obecne narzędzia bibliometryczne są nieadekwatne do oceny czy to instytucji, czy indywidualnych badaczy większości dyscyplin w obrębie tych dziedzin.
Kolejne kryterium stanowiła relewancja naukowa, techniczna i społeczno-eko-nomiczna działalności instytutu. Ten aspekt oceny dotyczył relacji prowadzonych badań do aktualnych trendów światowych lub ważnych kierunków rozwoju i pytań istotnych dla w szerokich grup społeczeństwa. W ocenie dopuszczano zarówno metody ilościowe, jak i jakościowe.
Ostatnim badanym aspektem działania placówki były jej perspektywy na przy-szłość, w tym ważkość i wykonalność podejmowanych badań. W tym przypadku chodziło o określenie elastyczności placówek, wyrażającej się np. zdolnością zamy-kania kierunków nieperspektywicznych oraz podejmowania nowych wyzwań na-ukowych. Badano, czy misja instytutu została prawidłowo wybrana i sformułowa-na z uwagi sformułowa-na aktualny rozwój w danych dziedzisformułowa-nach sformułowa-nauki, jak przedstawiają się plany badawcze instytutu i czy jego „portfolio” jest w tym zakresie spójne.
Okre-ślano także profesjonalizm kierownictwa w prowadzeniu projektów, politykę po-dejmowania decyzji, a także zarządzanie projektami, w tym relacje kosztów do efektów. Analizowano zasoby placówki (również ludzkie), jej organizację i infra-strukturę, poszukując odpowiedzi na pytanie czy i jak któryś z tych elementów mógłby zostać ulepszony.
Ewaluacja odbywała się zatem na trzech poziomach: międzynarodowej pozycji naukowej, krajowej przydatności społeczno-gospodarczej i kulturalnej oraz we-wnętrznych planów i perspektyw badanej instytucji.
W wyniku obserwacji eksperci uznali, że niektóre jednostki nie prowadzą wy-łącznie (a nawet głównie) badań podstawowych, natomiast pełnią inne ważne funkcje wobec społeczeństwa. Aby zatem nie porównywać nieporównywalnego, zaproponowano trzy oddzielne skale ocen:
1. Jakość i produktywność:
• „A*” dla instytucji odgrywającej wiodącą rolę w nauce światowej; Instytut wniósł do niej ważny wkład i zalicza się do grona międzynaro-dowych liderów;
• „A” za osiągnięcia konkurencyjne w skali międzynarodowej;
Instytut wykazał się ważnym wkładem w daną dziedzinę i jest uważany za ważnego „gracza” na arenie międzynarodowej;
• „B” za osiągnięcia dostrzegane na arenie międzynarodowej;
• „C” za pracę, która jest rzetelna i godna kontynuowania, natomiast jej rezultaty widoczne są głównie w kraju;
• „D” za pracę, która nie jest rzetelna albo też stanowi powtórzenie rezulta-tów już osiągniętych. 2. Relewantność społeczno-gospodarcza: • A – wysoka, • B – średnia, • C – brak. 3. Perspektywy: • A – duże, • B – umiarkowane, • C – małe.
Ocena placówek z zakresu nauk społecznych i humanistycznych prowadzona była przez ten sam panel ekspercki. Jego członkowie zauważyli, że wśród swoich
top-ten achievements instytuty wymieniały przede wszystkim książki (monografi e
naukowe, zbiory esejów, wydania krytyczne, materiały konferencyjne, specjalne zeszyty czasopism itp.), co podważało, zdaniem ewaluatorów, sensowność stoso-wania narzędzi bibliometrycznych ograniczonych przecież do czasopism.
Nie obliczano średniej liczby publikacji przypadających na jednego pracowni-ka, natomiast stwierdzono zbieżność między międzynarodową „ekspozycją” publi-kacji a międzynarodową aktywnością, wyrażającą się m.in. udziałem w konferen-cjach i wyjazdami zagranicznymi – ten ostatni element pojawiał się co prawda w ankiecie, jaką wypełniały polskie jednostki naukowe, jednak nie podlegał para-metryzacji.
Eksperci z uznaniem odnotowywali aktywność popularyzatorską instytutów, która, dla porównania, w przypadku polskiej parametryzacji nigdy nie była brana pod uwagę, choć można by – przynajmniej w odniesieniu do placówek humani-stycznych – potraktować ją jako odpowiednik „wdrożeń”.
Wobec wyraźnie formułowanych w Polsce preferencji dla publikacji w języku angielskim, warto zwrócić uwagę, jak do problemu języków publikacji podeszli międzynarodowi eksperci oceniający bułgarską humanistykę:
Th e fact that Bulgarian scholars based at the Academy may have worked and lived in all the cultural spheres of the continent and bring those diff erent approaches back to their institutes is an invaluable and systematically underestimated asset: many contacts are cultivated with Germanic, Latin and Slavonic research environments, and one does not yet observe an overpowering dominance of Anglophone infl uen-ces. Surely, in a domain such as SSH, where the emphasis is on cultural heritage, such diversity must be recognized as healthy11.
Jeżeli zatem dążymy do wprowadzenia standardów światowych – a to przecież wyraźnie zapowiada Ustawa z dnia 18 marca 2010 r. o zasadach fi nansowania na-uki, to przyjmijmy do wiadomości, że w Europie Zachodniej humanistykę traktu-je się inaczej niż nauki „twarde”, uznając, że dominacja „anglofońska” traktu-jest nieuza-sadniona i niepożądana, a zróżnicowanie języków publikacji stanowi ich zaletę.
Nic nie wskazuje na to, aby zastosowany przez ESF-ALLEA system ewaluacji był w Polsce znany, natomiast European Science Foundation znacząco zaistniała w polskim systemie ewaluacji jednostek poprzez ERIH – European Reference Index for the Humanities.
ERIH, projekt pozostający pod pieczą Stałego Komitetu Humanistycznego ESF, stanowi reakcję na kwestionowane przez europejską humanistykę listy ISI (Th om-son Reuters). Zapoczątkowany został w roku 2002, w wyniku inicjatywy przedsta-wicieli Organizacji Członkowskich ESF, którzy podjęli dyskusję nad małą widocz-11 Research at the Bulgarian Academy of Sciences. Panel 4 Report: Social Sciences, Humanities, 2009, Vol. 5 of 5, s. 11–12.
nością humanistyki w Europie, wynikającą w głównej mierze z nieadekwatności istniejących bibliometrycznych baz danych. ERIH miał się zatem stać narzędziem prezentacji pełnego zakresu wysokowartościowych publikacji z zakresu europej-skiej humanistyki. Jego opracowanie miało służyć dwóm celom: utworzeniu na-rzędzi bibliografi cznych i bibliometrycznych, a zatem z jednej strony ułatwieniu dostępu do badań humanistycznych, a z drugiej – ich ocenie; ponadto miał się przyczynić do podniesienia poziomu praktyk wydawniczych w europejskich cza-sopismach z zakresu humanistyki.
Jest to jedyny indeks tworzony i nadzorowany przez naukowców europejskich, uwzględniający – w przeciwieństwie do baz amerykańskich zdominowanych przez publikacje anglojęzyczne – szeroki wachlarz periodyków we wszystkich językach europejskich. Pierwotny podział czasopism na trzy grupy (A, B, C) różniące się zasięgiem oddziaływania, został przez wiele środowisk mylnie odczytany jako ich hierarchizacja, czy wręcz dyskryminacja (czasopisma nieanglojęzyczne w większo-ści trafi ły do grupy C). Tymczasem w dokumentach ESF wyraźnie podkreśla się, że rozróżnienie kategorii A, B, i C nie wynika z oceny jakości periodyków, ale od-zwierciedla ich zasięg/potencjalny krąg odbiorców, owszem, wynikający w znacz-nym stopniu z języka publikacji. Stąd też zrodził się pomysł przemianowania grup w sposób niebudzący skojarzeń z jakimkolwiek wartościowaniem: INT1, INT2, NAT, gdzie INT oznacza dwie grupy czasopism o odpowiednio szerszym i węż-szym zasięgu międzynarodowym, natomiast NAT obejmuje periodyki narodowe i regionalne.
Prace nad indeksem rozpoczęły się od zidentyfi kowania 15 dyscyplin kluczo-wych dla humanistyki europejskiej12, dla każdej z których powołano oddzielny panel złożony z międzynarodowych ekspertów.
Zakwalifi kowane do list ERIH czasopisma muszą spełniać następujące podsta-wowe standardy:
– obiektywna kontrola jakości publikacji (peer review), – ISSN,
– regularność publikowania,
– pełna informacja bibliografi czna cytowań, – dane adresowe autorów.
12 Antropologia; archeologia; historia sztuki, architektury i wzornictwa; studia klasyczne; gender studies; historia; historia i fi lozofi a nauki; lingwistyka; literatura; muzykologia; orientalistyka i afry-kanistyka; pedagogika i edukacja; fi lozofi a; psychologia; religioznawstwo i teologia. W dalszej przy-szłości przewidziane jest opracowanie listy dla kulturoznawstwa, fi lmologii i medioznawstwa. Przy okazji warto zauważyć, że psychologia, pedagogika i edukacja znalazły się wśród dyscyplin humani-stycznych „gościnnie”, albowiem zasadniczo wchodzą w zakres kompetencji Stałego Komitetu Nauk Społecznych ESF.
Czasopisma zostały zgłoszone przez Organizacje Członkowskie, a następnie, po analizie i ocenie przeprowadzonej przez panele ekspertów, utworzono pierwsze listy, które poddane zostały szerokim konsultacjom (2006). Na przełomie 2007/2008 opublikowano listy wstępne, a wydawcom czasopism udostępniono specjalny for-mularz online do aktualizacji danych, po czym 14 paneli wznowiło pracę nad ak-tualizacją list, której zakończenie przewidywano na rok 2009. Do chwili obecnej (maj 2011) pełne wyniki nie zostały jeszcze ogłoszone13.
Za sposób wykorzystania list ERIH na rodzimym gruncie odpowiedzialne są Organizacje Członkowskie ESF, natomiast sama European Science Foundation wyraźnie odcina się od prób wykorzystania ERIH do ewaluacji indywidualnych badaczy, czy to w celach promocji naukowej, czy też np. przy przyznawaniu gran-tów. Tymczasem po opublikowaniu list wstępnych rozpoczęły się w Polsce starania o włączenie ERIH do oceny parametrycznej jednostek humanistycznych jako al-ternatywy wobec list amerykańskich. Tak też się stało, i w roku 2010 po raz pierw-szy publikacje w czasopismach uwzględnionych na listach ERIH otrzymały punk-tację nieco wyższą niż czasopisma z tzw. listy ministerialnej B.
W dalszej perspektywie przewidywane jest rozszerzenie projektu o monografi e i inne publikacje książkowe, jednak wobec już zauważalnych problemów (kadro-wych i fi nanso(kadro-wych) w realizacji fazy obejmującej czasopisma, plany te należy uznać za odległą przyszłość.
Czy ERIH jest błogosławieństwem, czy przekleństwem polskiej humanistyki? Po trosze jednym i drugim. Nie ma żadnej wątpliwości, że wypełnia lukę widoczną w indeksach Th omsona Reutersa, której to fi rmy Arts & Humanities Citation Index obejmuje raptem 1395 „world’s leading arts and humanities journals”, w tym nie-wiele europejskich. Listy ERIH uwzględniają 520014 tytułów, głównie europejskich, dają zatem niewyobrażalnie pełniejszy obraz humanistyki, także polskiej. Zauwa-żyli to także i wykorzystali twórcy innych indeksów: po opracowaniu list wstęp-nych ERIH część wprowadzowstęp-nych tam tytułów wchłonięta została przez Web of Science; Elsevier’s Scopus przejął ich aż 2250 – pokazuje to, jak wartościowa i waż-na okazała się ta inicjatywa.
Ponieważ Polska jest bodaj jedynym krajem, w którym listy ERIH stały się na-rzędziem ofi cjalnej ewaluacji jednostek naukowych, obecność danego tytułu na liście jest traktowana prestiżowo. Redakcje czasopism „ERIH-owskich” nierzadko 13 Jak wynika z analizy siedmiu list już ukończonych (ale jeszcze nieopublikowanych), zmiany w stosunku do list wstępnych są znaczne – pojawiły się czasopisma przedtem nieuwzględnione, niektóre tytuły zniknęły, natomiast wielu innym zmieniono kategorię.
14 Jest to liczba orientacyjna, wynikająca z cząstkowych raportów. Ostateczna wielkość znana będzie po ogłoszeniu kompletu list.
ogłaszają ten fakt na swoich stronach internetowych, skutecznie zachęcając poten-cjalnych autorów do współpracy.
Z drugiej strony redakcje czasopism, które na początku projektu nie zostały przez stronę polską zgłoszone albo też ujrzały światło dzienne stosunkowo nie-dawno, podejmują usilne starania o wprowadzenie swoich tytułów na listy ERIH15. Ponieważ ze względów proceduralnych nie jest to obecnie możliwe, zdarza się, że kwestionują sens wykorzystywania tego indeksu w krajowych ocenach parame-trycznych, uważając jego stosowanie za przejaw dyskryminacji.
Wydaje się jednak, że przy wszystkich mankamentach, które można by ziden-tyfi kować, ERIH jest rozwiązaniem, dla którego na razie nie ma alternatywy: nie-pełne i niedoskonałe listy czasopism z zakresu poszczególnych dyscyplin stanowią lepszy punkt odniesienia niż jakiekolwiek inne propozycje.
* * *
Rolę krótkiego podsumowania niechaj spełni zestawienie głównych argumentów przemawiających za stworzeniem dla humanistyki zasad oceny odmiennych niż dla innych grup nauk.
Ponieważ niniejszy tekst kilkakrotnie przywoływał European Science Founda-tion i wkład tej organizacji w problemy ewaluacji nauki, w tym humanistyki, war-to przywar-toczyć defi nicję zaczerpniętą z „Position Paper” ogłoszonego przez stały Komitet Humanistyczny ESF w roku 2007, ukazującą specyfi kę i głębię tej grupy nauk:
Th e humanities focus on ‘the human element’ in the physical, biological, mental, social and cultural aspects of life. Th ey attempt to provide insights into how knowl-edge arises from the constant interaction between individual and society. When studying culture, the humanities engage not just with its present manifestations, but also with those of the past. […] Th e humanities study the past in order to under-stand how it contributed to shape the present, they investigate the variety of con-ceptual and cognitive systems that we employ to grasp the present and make deci-sions for the future. Th e humanities are concerned with temporal and spatial manifestations of culture, what distinguishes cultures from each other and what they have in common. Th ey are thus in a unique position to provide insight into how humans shape their world, deal with diff erences and adapt to change.
15 Jako ERIH national contact point odbieram liczne zapytania ze strony redaktorów polskich czasopism humanistycznych, jakie starania należy podjąć, aby wprowadzić tytuł do indeksu. Nieste-ty, procedury aplikacyjne zostały bezterminowo wstrzymane, toteż wiele ważnych krajowych perio-dyków nie będzie miało szansy podwyższenia punktacji swoich publikacji.
Humanistyka zajmuje się zasadniczymi kwestiami o ponadczasowym znacze-niu, a jako nauka rozwija się w dużym stopniu przez działalność indywidualną; główną formą publikacji jest monografi a, natomiast artykuły w czasopismach są zarówno mniej istotne, jak i rzadziej cytowane, a w związku z tym – periodyki rzadziej podlegają indeksacji. W innych dziedzinach nauk bardziej zauważalne jest znaczenie organizacji badań w grupach, współpraca i wymiana myśli poprzez kon-ferencje i publikacje w czasopismach oraz tworzenie, jak to określił Moed16, „in-ternational research front”; badacze częściej niż w humanistyce odwołują się do bieżących publikacji17.
Humanistyka jako dziedzina nauk kształtująca tożsamość społeczeństw i spo-sób myślenia współczesnego człowieka powinna mieć możliwość wywierania za-sadniczego wpływu na język publicznego dyskursu; ma zatem obowiązek pielę-gnowania języków rodzimych, a jej forma komunikowania się ze społeczeństwem jest równie ważna jak komunikowane treści. W innych dziedzinach nauk język, choć zawsze istotny, nie stanowi, jak się wydaje, samoistnej wartości, ustępując pierwszeństwa precyzyjnemu przekazowi informacji.
Humanistyka rozwija się wokół określonych kręgów kulturowych i często języ-kiem międzynarodowej komunikacji jest język tradycyjnie uznawany za właściwy danej dyscyplinie (np. dla wielu historyków sztuki będzie to język włoski lub fran-cuski; dla wielu muzykologów – niemiecki). W innych dziedzinach nauki podsta-wowym językiem międzynarodowej komunikacji jest angielski.
Jakie z tego płyną wnioski?
• Humanistykę należy oceniać inaczej niż inne grupy nauk.
• Należy wprowadzić właściwe relacje w ocenie różnych form publikacji w na-ukach humanistycznych, zwiększając zasadniczo punktację monografi i w sto-sunku do artykułów w czasopismach.
• Należy z rozwagą podchodzić do kwestii indeksów czasopism, dostrzegając nieadekwatność zwłaszcza amerykańskich standardów do europejskiej hu-manistyki; jedyną akceptowalną (choć niedoskonałą) wobec nich alternatywę stanowi obecnie ERIH.
16 H.F. Moed, Citation Analysis…, op.cit., s. 148.
17 Pisząc o specyfi ce humanistyki, Moed powołuje się na prace Dereka de Solla Price, zwłaszcza Citation Measures of Hard Science, Soft Science, Technology, and Nonscience. Zob. Communication among Scientists and Engineers, C.E. Nelson and D.K. Pollock (eds.), 3–22. Price zdefi niował specjal-ny współczynnik (tzw. Price index), który określa udział odwołań w publikacjach do literatury liczą-cej od roku do pięciu lat. Jak się okazało, indeks ten jest dla humanistyki znacząco niższy niż dla nauk „twardych”.
• Z uwagi na ograniczoną rolę czasopism oraz wieloletnią aktualność publi-kacji analiza cytowań w odniesieniu do tej grupy nauk nie ma i nigdy nie będzie miała sensownego zastosowania, ponieważ nie uwzględnia innych poza czasopismami form publikacji i dotyczy zbyt krótkich jak na humani-stykę okresów.
• Należy stworzyć humanistom możliwości i zachęty do równoległego publi-kowania w języku ojczystym i w różnych językach obcych; wsparcie winno w tym przypadku polegać z jednej strony na punktowym „doszacowaniu” publikacji polskojęzycznych, natomiast z drugiej – na fi nansowym wsparciu tłumaczeń; jest to warunkiem szerokiej prezentacji osiągnięć polskiej huma-nistyki wobec środowisk międzynarodowych, bez uszczerbku dla realizacji jej kulturotwórczej misji w społeczeństwie.
Obecna faza prac Komitetu Ewaluacji Jednostek Naukowych daje podstawy do umiarkowanego optymizmu.
L I T E R A T U R A :
H.F. Moed, Citation Analysis in Research Evaluation, Springer, 2005.
H.F. Moed, J. Linmans, A. Nederhof, A. Zuccala, C. López Illescas, F.de Moya Anegón,
Options for a Comprehensive Database of Research Outputs in Social Sciences and Hu-manities. Research report to the Project Board of the Scoping Study „Towards a
Biblio-metric Database for the Social Sciences and the Humanities” set up by the Standing Committees for the Social Sciences and the Humanities of the European Science Fo-undation (ESF), 2009.
Research at the Bulgarian Academy of Sciences, 2009, Vol. 1–5.
