J e r z y B r z e z i ń s k i
KONTROWERSJE WOKÓŁ OCENY JEDNOSTEK
NAUKOWYCH Z OBSZARU NAUK SPOŁECZNYCH
Przeprowadzona w ubiegłym roku ocena parametryczna jednostek naukowych (poddało się jej – na zasadach dobrowolności! – około 950 jednostek uczelnianych, placówek PAN oraz jednostek badawczo-rozwojowych) wywołała wiele dyskusji w środowisku naukowym. Sam, jako członek Rady Nauki, brałem w nich udział. Pełniąc wówczas funkcję przewodniczącego Zespołu Roboczego Nauk Humani-stycznych i Społecznych (ZR-1), odpowiadałem wraz z pozostałymi członkami Zespołu za jej przebieg w około 1/3 jednostek (dokładniej tych, które przypisano do kategorii jednostek humanistycznych, społecznych i artystycznych). Wspólnie z prof. Antonim Sułkiem (socjologiem z UW) zajmowaliśmy się tymi jednostkami, które przypisane zostały do grupy jednorodnej „N-4: Nauki społeczne”1.
W tym opracowaniu chcę się podzielić moimi doświadczeniami z tej parame-tryzacji jednostek naukowych oraz z moich wcześniejszych prac, jako członka KBN przez dwie kadencje, związanych z oceną jednostek naukowych. Chciałbym też zaproponować nowe rozwiązania. Dla większej klarowności wywodu pogrupuję moje uwagi/propozycje w sześć grup problemowych.
Problem 1. Co jest (nie jest) jednostką naukową i czy należy określać dolną minimalną jej wielkość (problem tzw. „małych N”)?
Problem 2. Jak zdefi niować grupę jednorodną jednostek naukowych?
1 Prof. A. Sułek pisał o tych pracach w „Forum Akademickim”. Zob. idem, Parametryzacja nauk
Problem 3. Czyje wyniki pracy naukowej (przeliczane na punkty) zaliczane są jednostce naukowej (wchodzą do licznika wskaźnika E) i kogo zaliczyć do mianownika wskaźnika E?
Problem 4. Czy należy ograniczać liczbę osiągnięć pracy badawczej przedsta-wianych przez jednostkę (krotność „N”)?
Problem 5. Jakie efekty pracy pracowników jednostki powinny być brane pod uwagę (i proporcjonalnie do ich wagi punktowane)?
Problem 6. Czy powinno się jedno osiągnięcie zaliczać wielokrotnie, gdy jego autorzy pracują w różnych jednostkach?
* * *
Problem 1. Co jest (nie jest) jednostką naukową i czy należy określać dolną minimalną jej wielkość (problem tzw. „małych N”)? Naprawdę poprawne przeprowadzenie oceny poziomu naukowego jakiejś jednost-ki wymaga wpierw zdefi niowania terminu „jednostka naukowa”. Wedle obowiązu-jącego ustawodawstwa jest to: (a) placówka naukowa PAN – np. Instytut Psycholo-gii PAN czy Instytut Filozofi i i SocjoloPsycholo-gii PAN, (b) jednostka badawczo-rozwojowa danego resortu – np. Instytut Zachodni w Poznaniu, którego organem założyciel-skim jest Ministerstwo Spraw Zagranicznych, (c) placówka uczelniana: wydział, instytut, katedra, zakład uczelniany – przesądza o tym statut uczelni (najczęściej jest to jednak wydział – np. Wydział Filozofi czny UJ).
O ile jednostki z grupy (a) i (b) nie stwarzają kłopotów, gdyż są one dość jed-norodne, jeśli chodzi o profi l badawczy – można je rozpoznać, przykładowo, jako socjologiczne, ekonomiczne, psychologiczne czy historyczne, to sprawy się mocno komplikują, gdy zaczniemy się interesować jednostkami uczelnianymi z grupy (c). Uczelnie bowiem, tworząc wydziały, nie zawsze kierowały się zasadą łączenia w nie jednostek niższego rzędu: instytutów, katedr czy zakładów i pracowni o podobnym z założenia profi lu badawczym. Mamy tedy uczelnie, które mają stosunkowo dużo jednostek podstawowych (np. UW) i uczelnie o zdecydowanie małej liczbie tych jednostek. W konsekwencji wydział może być jednorodny naukowo sensu proprio (np. Wydział Psychologii na UW czy Wydział Nauk Politycznych i Dziennikarstwa na UAM i UW) i może być mocno heterogeniczny, składający się z kilku instytutów czy instytutów i katedr o zróżnicowanym profi lu badawczym (np. Wydział Nauk Społecznych UAM składa się z czterech instytutów – I. Filozofi i, I. Kulturoznaw-stwa, I. Psychologii oraz I. Socjologii). Cóż bowiem łączy, poza formułą organiza-cyjną, jednostki wchodzące w skład Wydziału Historyczno-Pedagogicznego
Uni-wersytetu Opolskiego: I. Historii, I. Nauk Pedagogicznych, I. Psychologii, I. Studiów Edukacyjnych, I. Politologii, I. Filozofi i, I. Socjologii oraz I. Sztuki? Te instytuty, gdyby zachodziła możliwość ich odrębnego kategoryzowania, byłyby przypisane aż do 3–4 grup jednorodnych.
Przy przeprowadzonej w 2010 r. parametryzacji przepisy prawne nie pozwala-ły na rozbijanie takich wewnętrznie różnorodnych jednostek podstawowych uczel-ni (wydziałów) na ich de facto jednorodne, muczel-niejsze jednostki – instytuty. W efek-cie do jednej grupy jednorodnej (patrz pkt 2) trafi ły jednostki o zbyt dużym wewnętrznym zróżnicowaniu. Dam prosty, jak się wydaje, przykład. Instytut Filo-zofi i i Socjologii PAN ma dwa profi le badawcze: fi loFilo-zofi czny [i z tego tytułu mógł być przypisany do grupy jednorodnej N-3 (nauki o kulturze, fi lozofi a oraz nauki teologiczne] i socjologiczny [i z tego tytułu mógł być przypisany do grupy N-4 (nauki społeczne)]. Ostatecznie, został przypisany (co zaakceptował) do grupy jednorodnej N-4. Z kolei gdy Wydziałowi Filozofi cznemu UJ zaproponowano wej-ście do grupy N-4, to sam wybrał grupę N-3. Bywało jednak i tak, że dany instytut wchodzący w skład dużego uczelnianego wydziału mógł być przypisany do kilku grup jednorodnych! Mieliśmy bowiem do czynienia z jednostkami o profi lu histo-ryczno-społecznym czy historyczno-fi lologiczno-społecznym. Występują także inne kombinacje – nie mniej „egzotyczne”.
Przydzielenie jednostki podstawowej do jakiejś grupy, wedle defi nicji o jedno-rodnym profi lu badawczym, nie zawsze było merytorycznie uzasadnione. Ale, po-wiedzmy od razu, nie było też prawnie możliwe! Co, rzecz jasna, stwarzało później problemy z porównywaniem (i merytorycznym rangowaniem) takich jednostek. Mówiąc inaczej, idzie o to, czy rzeczywiście porównywano ze sobą jednostki o zbli-żonych do siebie profi lach badawczych (co było podstawowym założeniem meto-dologicznym całej procedury)? W większości tak, ale pewna grupa jednostek nie mieściła się w zaproponowanych ramach. Co mógłbym zaproponować? Powrót do rozwiązania z czasów Komitetu Badań Naukowych, gdy na wniosek kierownika jednostki i rektora uczelni możliwe było odrębne ocenianie także jednostek niż-szego rzędu wchodzących w skład wydziałów (np. instytutów).
Poprawne zdefi niowanie jednostki naukowej wiąże się też z określeniem jej minimalnej wielkości. Z doświadczeń pierwszych parametryzacji przeprowadzo-nych przez Komitet Badań Naukowych wynika, iż ocena parametryczna jednostek naukowych przeprowadzona w oparciu o wartość tzw. wskaźnika efektywności jednostki (parametr E) obliczanego jako stosunek sumy punktów zebranych w okresie podlegającym ocenie (oceniano lata: 2005–2009) przez „osoby zatrud-nione przy prowadzeniu badań naukowych” (licznik wskaźnika E) do przeciętnej liczby „osób zatrudnionych przy prowadzeniu badań naukowych”, dla których
dana jednostka była ich podstawowym miejscem zatrudnienia. Jeżeli bralibyśmy pod uwagę wszystkie jednostki, nawet te liczące zaledwie kilka osób (tak, takie też były wykazywane we wnioskach!), to ich wskaźniki byłyby bardzo wysokie. Wy-stąpiłby efekt iglicy. No bo można sobie wyobrazić zespół złożony z profesora i dwóch adiunktów (N=3), który opublikowałby łącznie 9 (bo: 3N = 9) wysoko punktowanych prac (monografi e i artykuły z listy JCR czy nawet ERIH). Aby temu fałszującemu globalny wynik zjawisku zapobiec, ustalono (w drodze przeprowa-dzonej symulacji), iż jednostka przystępująca do oceny nie powinna zatrudniać mniej aniżeli 20 osób.
Wnioski:
1. Korzystając z bogatego materiału, którego dostarczyła ubiegłoroczna para-metryzacja należałoby rozpatrzyć różne warianty podziału na grupy jedno-rodne. Teraz „nasza” N-4 wcale nie jest jednorodna.
2. Na podstawie nowej symulacji powinno się ustalić liczebność małej jednost-ki naukowej. Nie powinna być ona zbyt mała. Moim zdaniem, po analizie wyników ubiegłorocznej parametryzacji jednostek naukowych, tę dolną gra-nicę wielkości jednostki naukowej należy podwyższyć do N = 30.
Problem 2. Jak zdefiniować grupę jednorodną jednostek naukowych? Obok trafnego zdefi niowania najmniejszej jednostki naukowej (dalej nie rozbijanej na mniejsze) problem podzielenia wszystkich jednostek naukowych (nie wchodząc w ich usytuowanie – uczelniane, PAN-owskie, resortowe) na jednorodne (z uwagi na ich podobny profi l badawczy) grupy jest drugim, decydującym o trafności pro-cedury parametryzacyjnej, problemem do rozwiązania.
Wedle stanu prawnego na dzień dzisiejszy obowiązuje następujący schemat podziału jednostek naukowych:
Poziom I. Trzy podstawowe grupy dziedzin nauki i sztuki2:
A. nauki humanistyczne i społeczne (nauki prawne, nauki humanistyczne, nauki teologiczne, nauki ekonomiczne i nauki wojskowe);
B. nauki ścisłe, techniczne i nauki o życiu (nauki chemiczne, nauki fi zyczne, nauki matematyczne, nauki techniczne, nauki wojskowe, nauki biologiczne, nauki
2 Według załączników nr 2–4 do rozporządzenia Ministra Nauki i Szkolnictwa Wyższego z dnia
farmaceutyczne, nauki leśne, nauki medyczne, nauki o kulturze fi zycznej, nauki o Ziemi, nauki o zdrowiu, nauki rolnicze i nauki weterynaryjne);
C. dziedziny sztuki i wchodzące w ich skład dyscypliny artystyczne (sztuki fi lmowe, sztuki muzyczne (dyrygentura, instrumentalistyka, kompozycja i teoria muzyki, reżyseria dźwięku, rytmika i taniec, wokalistyka), sztuki plastyczne (sztuki piękne, sztuki projektowe, konserwacja i restauracja dzieł sztuki), sztuki teatralne).
W niniejszym opracowaniu interesować się będziemy tylko grupą A. Poziom II. Grupy naukowo jednorodne:
N-1 – nauki fi lologiczne i bibliologia, N-2 – nauki historyczne,
N-3 – nauki o kulturze, fi lozofi a oraz nauki teologiczne, N-4 – nauki społeczne,
N-5 – nauki ekonomiczne, N-6 – nauki prawne,
Nm – małe grupy nauk humanistycznych i społecznych – jednostki o N ≤ 20, N-14 – dziedziny sztuki – jednostki o N > 20,
N-14m – dziedziny sztuki – jednostki o N ≤ 20.
Jak już zaznaczyłem na początku niniejszego opracowania, dalej będzie nas tylko interesowało „wnętrze” grupy jednorodnej: N-4. Do tej grupy należały jed-nostki, które bądź reprezentowały „czysty” profi l badawczy takich dyscyplin, jak: pedagogika, nauki o polityce, psychologia, socjologia, bądź – w przypadku wydzia-łów uczelnianych – przeważały w nich instytuty, katedry czy zakłady o profi lu „społecznym” (na postawie ich „odgórnego” przyporządkowania do N-4, co zaak-ceptowały, bądź na podstawie dokonanego przez nich wyboru, zaakceptowanego przez ministra, gdy nie zgadzały się z przypisaniem ich przez Komitet Polityki Naukowej do jakiejś grupy jednorodnej).
Czy możliwe jest skonstruowanie grup jednorodnych, które bez naruszania zapisów zawartych w statutach szkół umożliwiałyby dokonanie nieobciążonej oce-ny rankingowej wszystkich jednostek zaliczooce-nych do danej grupy jednorodnej (tu: N-4)? Oczywiście, że nie. Taka ocena, jak przeprowadzona w 2010 r., jest w jakimś stopniu obciążona. Pamiętajmy, że ta najbardziej pożądana prestiżowa kategoria A (kat. 1.) była przypisana tylko 30% (zgodnie z cytowanym rozporządzeniem) jednostek z każdej grupy jednorodnej. Tworząc małe grupy jednorodne (ale za to będzie ich więcej), zwiększamy ich stopień porównywalności, ale jednocześnie zmniejszamy liczbę jednostek, którym można będzie przypisać kategorię 1. Jed-nostki, które znalazły się „pod kreską” i uzyskały kategorię 2(B), w liczącej mało jednostek grupie mogłyby znaleźć się w kategorii 1, gdyby grupa obejmowała wię-cej jednostek.
Pokażę to na przykładzie. Nasza grupa N-4 liczyła dużo jednostek, bo aż 61. Z nich 30% (18 jednostkom) została przypisana kat. 1(A). Przy rozpiętości warto-ści wskaźnika E: 65,22–31,29 (całkowita rozpiętość wartowarto-ści wskaźnika E wynosi-ła: 65,22–7,04. Następne dwie w kolejności jednostki miały wartości wskaźnika E równe: 30,23 i 30,03. Gdyby grupa była liczniejsza, to i one zmieściłyby się w kat. 1. A teraz dwa przykłady. Weźmy teraz pod uwagę niezbyt liczną grupę N-2 (nauki historyczne), która liczyła 16 jednostek. Wyłoniono z niej 6 jednostek kat. 1. (co przewyższa 30%) o rozpiętości wartości wskaźnika E: 54,12–41,28, przy całkowitej rozpiętości wartości wskaźnika E: 54,12–18,32. Następna jednostka miała wartość wskaźnika E = 39,4. Gdyby ta jednostka znalazła się w grupie o liczbie jednostek równej tej, którą miała grupa N-4, to znalazłaby się w kat. 1, a także jeszcze 4 jed-nostki (E > 36). Chciałem w ten sposób pokazać, że wysoka wartość wskaźnika E bezdyskusyjnie gwarantowała zajęcie równie wysokiej (odpowiadającej kat. 1) po-zycji w danej grupie jednorodnej – bez względu na jej wielkość. Z kolei jednostka, która plasowała się w środkowym paśmie wartości wskaźnika E, w małej grupie mogłaby znaleźć się w dolnym przedziale wartości wskaźnika E kat. 1. grupy liczą-cej dużo jednostek. Dlaczego zatem grupy nie były równoliczne? Po pierwsze, dla-tego że pewne dyscypliny są bardziej popularne i obecne w wielu szkołach wyż-szych, a pewne są mniej liczne. Po drugie, poziom naukowy (mierzono tak samo!) w całej megagrupie nauk humanistycznych i społecznych był wyraźnie zróżnico-wany. Po trzecie, zakłócająco oddziaływała złożoność wydziałów uczelnianych (tych faktycznie jednorodnych było bardzo mało).
Wnioski:
1. Liczebność grup przy procentowym kwalifi kowaniu jednostek do poszcze-gólnych grup jednorodnych miała wpływ na tę kwalifi kację w dolnym pod-zakresie wartości wskaźnika E. W małych grupach jednostka musiała „po-konać” wyżej usytuowaną wartość progową E.
2. Uważam, że w uczelniach należy oceniać jednostki faktycznie jednorodne, a więc nie złożone, „składankowe” wydziały, ale instytuty. Pamiętajmy, że w PAN mieliśmy, poza nielicznymi wyjątkami, jednostki de facto jednorod-ne. Podobnie było w przypadku jednostek badawczo-rozwojowych.
3. Rozważyłbym też inny (może nie tak czytelny i prosty w interpretacji, ale uwzględniający faktyczną złożoność jednostek) aniżeli procentowy sposób wyłaniania najlepszych jednostek (kat. 1 i 2), ale to już temat na inne „opo-wiadanie”.
Problem 3. Czyje wyniki pracy naukowej (przeliczane na punkty) zaliczane są jednostce naukowej (wchodzą do licznika wskaźnika E) i kogo zaliczyć do mianownika wskaźnika E?
Kolejny poważny problem, który nie został dostatecznie wnikliwie potraktowany w przeprowadzonej parametryzacji jednostek naukowych, wiąże się z odpowiedzią na zadane w tytule niniejszego punktu pytanie: kto dostarcza jednostce upragnio-nych punktów, które będą wprowadzone do licznika wskaźnika E? I wcale nie jest prosta odpowiedź na to pytanie. Przywołane w przypisie 1 rozporządzenie mówi, iż może to być jedynie osoba zatrudniona w jednostce „przy prowadzeniu badań naukowych”. Taka defi nicja eliminuje następujące kategorie osób związanych z uczelnią: (a) doktorantów jednostki. Może warto przypomnieć, że KBN nie tylko uznawał doktorantów z otwartym w jednostce przewodem doktorskim, ale jeszcze przypisywał im preferencyjną wagę: 0,3 (to miało, rzecz jasna, zachęcić jednostki do prowadzenia studiów doktoranckich); (b) pracowników dydaktycznych uczel-ni (wykładowców); (c) pracowuczel-ników naukowo-techuczel-nicznych.
W „grę” wchodzą tylko pracownicy naukowi i naukowo-dydaktyczni (których wymieniała w art. 110 ust. 1 znowelizowana w tym roku ustawa o szkolnictwie wyższym). Jeżeli dopuszczamy, iż jednostka może także przedstawiać jako efekty pracy podręczniki akademickie, to dlaczego nie można tego uznać, gdy autorem jest starszy wykładowca dr Podręcznikowski? Przecież to całkiem naturalne, że osoby zatrudniane w uczelniach na etatach dydaktycznych piszą wartościowe pod-ręczniki akademickie. Nawiasem mówiąc, zostały one zrównane w ocenie punkto-wej z monografi ami naukowymi (12 pkt/24 pkt w zależności od tego, czy zostały one napisane w języku innym aniżeli angielski czy w języku angielskim).
Najbardziej dla mnie niezrozumiała była decyzja o wyeliminowaniu dorobku nagromadzonego przez doktorantów jednostki. To ich de facto wykluczało jako autorów samodzielnych publikacji w liczących się czasopismach naukowych. Za-pewne w naukach technicznych i przyrodniczych doktorantom wyznacza się wy-łącznie role „trybików” większej maszynerii, którą zawiaduje profesor czy nawet doktor, i taka wspólna publikacja i tak będzie przypisana danej jednostce z racji zatrudnienia w niej „prawdziwego” pracownika naukowego. Jednakże w dyscypli-nach społecznych czy humanistycznych tak nie jest. Jeżeli doktorant mógł (a dziś nowa organizacja NCN wręcz otwiera odrębną ścieżkę grantową dla osób z zale-dwie tytułem zawodowym magistra i gdy pozwala się im kierować projektem ba-dawczym) występować w konkursach promotorskich i samodzielnych organizo-wanych przez Radę Nauki, a poprzednio przez KBN, to dlaczego publikacje będące efektami końcowymi takiego projektu nie mogą być przypisane danej
jed-nostce? Oczywiście życie podpowiada różne, nie zawsze etycznie czyste, rozwiąza-nia. Aby dana publikacja (często dofi nansowywana przez jednostkę) nie „zmarno-wała się”, doktorant wchodzi w spółkę autorską z którymś z pracowników jednostki. Nie miałbym nic przeciwko takim doraźnie powoływanym zespołem, gdyby pracowały one na warunkach partnerskich. Jednak nie zawsze wkład pracy poszczególnych członków takiej „kooperatywy” bywa wyrównany. Czasem wkład pracy doktoranta jest wręcz przytłaczający. Znane mi są i takie praktyki (skarżą się na nie doktoranci), że doktorantom odmawia się druku samodzielnych artykułów w czasopismach (wysoko punktowanych na liście krajowej „B”), wydawanych przez jednostkę, gdyż pierwszeństwo mają pracownicy jednostki. Idzie o to, aby punkty się „nie zmarnowały”. Uwzględnianie doktorantów (zapewne z przypisaną im jakąś wagą preferencyjną) zmotywowałoby władze jednostki do staranniejszej opieki nad ich rozwojem naukowym.
Odrębnym problemem, którego nie udało się poprawnie rozwiązać, był pro-blem wliczania do dorobku naukowego (punkty!) jednostki prac napisanych przez pracowników, dla których jednostka nie była podstawowym miejscem zatrudnie-nia. Zatem można było włączyć do dorobku jednostki bardzo wartościowe prace dra Zaradnego, który część prac wykazywał w swojej macierzystej uczelni (np. publicznej), a część w drugiej (np. niepublicznej), w której zatrudniony był nieko-niecznie w pełnym wymiarze godzin pracy – wystarczyło, że było to zatrudnienie tylko ułamkowe. Bywało i tak, że taki pracownik był motywowany dodatkową premią (w bogatych niepublicznych uczelniach wcale nie taką skromną). W efekcie przyjęcia takich rozwiązań został uruchomiony rynek punktów (zwłaszcza w cenie były/są publikacje „fi ladelfi jskie”).
Kolejną kontrowersję budziła (i budzi) osobliwa konstrukcja wskaźnika E. Otóż w jego liczniku zmieściły się wszystkie zdobyte przez zatrudnione w jednostce osoby punkty (według klucza karty oceny por. załącznik 2 do cytowanego rozpo-rządzenia – w naukach humanistycznych i społecznych głównie za publikacje). Zauważmy, że punktów dostarczały także osoby, dla których jednostka stanowiła dodatkowe miejsce zatrudnienia (drugie, trzecie, …). Natomiast – i z tym nie mo-gę się zgodzić – w mianowniku uwzględnione były tylko osoby, dla których jed-nostka była podstawowym miejscem zatrudnienia. Łatwo można było zorientować się, że wysoka wartość wskaźnika E zależy od wysokiej wartości licznika i niskiej wartości mianownika. Wykazywanie w liczniku punktów za prace wykonane przez pracowników, którzy nie wchodzą do mianownika, przeszacowuje pozycję nauko-wą jednostki. Podobnie przeszacowany wynik jednostka uzyskałaby, gdyby z mia-nownika mogła usunąć te osoby, które nie wniosły żadnych punktów. Tego zabiegu jednak nie mogła wykonać. Nie można mówić o rzetelnej ocenie (zwłaszcza w
od-niesieniu do tych jednostek – przede wszystkim uczelni niepublicznych – które zatrudniają osoby na drugich etatach i wymagają od nich oddawania ze swojego dorobku pewnej liczby punktów), gdy takie zabiegi są prawnie usankcjonowane. Wnioski:
1. Należy w dorobku jednostki uwzględnić także prace doktorantów (z wszczę-tym przewodem doktorskim), a sami doktoranci powinni być uwzględnieniu w mianowniku wskaźnika E z wagą preferencyjną, np. 0,3–0,4.
2. Jedynie poprawny sposób obliczania wartości wskaźnika E polegać powinien na uwzględnianiu w jego liczniku tylko punktów pochodzących od tych pracowników, którzy jednocześnie uwzględnieni są w mianowniku. Jeżeli zatem pozostać przy defi nicji mianownika (wchodzą doń tylko pracownicy, dla których jednostka stanowi podstawowe miejsce pracy), to tylko oni mo-gą dostarczać punktów do licznika stosunku E.
Problem 4. Czy należy ograniczać liczbę osiągnięć pracy badawczej przedstawianych przez jednostkę (krotność „N”)?
Jestem zdania, że trzeba ograniczać i że wprowadzenie tej zasady (początkowo ona nie obowiązywała) to krok w dobrym kierunku. Dlaczego tak uważam? Można sobie wyobrazić, że jednostka A legitymuje się tylko publikacjami w wysoko punk-towanych czasopismach naukowych, ale nie ma ich bardzo dużo – co oczywiste (znacznie trudniej przygotować bardzo dobrą publikację i zamieścić ją w prestiżo-wym czasopiśmie o zasięgu ogólnoświatoprestiżo-wym). Z kolei jednostka B ma bardzo, ale to bardzo dużo publikacji (przykład autentyczny z czasów KBN!), i to przede wszystkim tych z 1 pkt (powiedzmy 1000). I co? Jednostka B, punktowo jej obraz naukowy ujmując, jest uznana za lepszą. Że to niesprawiedliwe? Oczywiście, że niesprawiedliwe i na dodatek fałszujące ranking naukowy.
Zatem ograniczenie liczby publikacji, które może przedstawić jednostka nauko-wa należy uznać za poprawne, gnauko-warantujące rzetelną ocenę kondycji naukowej jednostki. Trzeba jednak odpowiedzieć na pytanie: Ile tych publikacji powinny przedstawiać jednostki? Odpowiedź: pewną krotność N. Nie może to być ta sama wartość wskaźnika dla wszystkich jednostek naukowych, i tych z obszaru nauk ścisłych, i tych z obszaru nauk humanistycznych. Teraz mamy rozwiązanie „3N” dla wszystkich. Moim zdaniem, po przeprowadzeniu symulacji na podstawie da-nych z ubiegłorocznej parametryzacji, ten wskaźnik „xN” będzie przybierał różne wartości. Jakie mogą być konsekwencje przyjęcia danej wartości wskaźnika? Przy wysokim i wyrównanym poziomie naukowym jednostek w grupie jednorodnej ten
wskaźnik musi przybrać większą wartość, na przykład: „4N”, aby na jednostkach wymusić pokazanie gorszych publikacji. Z kolei przy nie za wysokim poziomie publikacji (przeważają publikacje krajowe i pojawiają się rozdziały w pracach zbio-rowych) wystarczy wartość wskaźnika „2N–3N”. Na podstawie naszego, z prof. A. Sułkiem, oglądu dorobku w grupie N-4 wystarczy, gdy ten wskaźnik będzie przy-bierał wartość, tak jak w ubiegłym roku, „3N”. Być może nawet wartość „2N” była-by wystarczająca. Nawet w dorobku jednostek, które zajmowały pierwsze 10% miejsc w grupie N-4, nie przeważały publikacje z listy JCR, a w przedziale 20–30% jednostek występowały też nisko punktowane rozdziały w pracach zbiorowych. Wniosek:
W procedurze parametryzacyjnej należy utrzymać, ale zróżnicowany (!) co do wartości, wskaźnik: „xN”.
Problem 5. Jakie efekty pracy pracowników jednostki powinny być brane pod uwagę (i proporcjonalnie do ich wagi punktowane)?
W ubiegłorocznej ocenie jednostek naukowych obowiązywały zasady opisane w cytowanym rozporządzeniu, a sumę punktów jednostki wprowadzaną do licz-nika wskaźlicz-nika jej efektywności E obliczano według reguł ujętych dla naszej gru-py jednostek naukowych – w Karcie oceny jednostki naukowej dla nauk
humani-stycznych i społecznych (zał. 2. do rozporządzenia ministra z 25 maja 2010 r.). Nie
miejsce tu, aby omawiać poszczególne punkty tego narzędzia. Czytelnik może sam zapoznać się treścią ankiety (np. na stronie BIP Ministerstwa). Wskażę tylko jej główne punkty i do nich spróbuję się odnieść. Karta oceny zawiera dwie części: (a) naukową, która prowadzi do wyliczenia wartości wskaźnika efektywności E-I, oraz (b) część praktyczną, która prowadzi do wyliczenia wartości wskaźnika efektyw-ności E-II. Łączna wartość globalnego wskaźnika efektywefektyw-ności E to suma wartości dwóch wskaźników: E-I i E-II. Od razu powiem, że w grupie N-4 część „praktycz-na” wskaźnika E nie miała większego wpływu na pozycję jednostki w ostatecznym przypisaniu jej do górnych kategorii 1 i 23.
Nie chciałbym wchodzić w niuanse związane z liczbą przypisywanych za po-szczególne „produkty naukowe” punktów. To, że nie ma zgody, co do tego, „co” punktować i „za ile” między humanistami z jednej strony i przyrodnikami z drugiej 3 Miała natomiast duże znaczenie w naukach technicznych i tam budziła wielkie kontrowersje
wskutek błędnego zapisu w odpowiednim rozporządzeniu ministerstwa, które równoważyło (przy-pisywało tę samą wagę! – 1,0) obu składowym wskaźnika E. Te kontrowersje budził sposób przeli-czania pieniędzy (za prace wykonane na rzecz gospodarki) na punkty.
– raczej nikogo nie dziwi. Nie ma też powodu, aby przedstawiciele tych dwóch grup nawzajem się przekonywali co do wyższości jednego systemu punktacji nad dru-gim. Chociaż sama idea parametryzacji i punktacji czasopism naukowych zrodzi-ła się w środowisku nauk ścisłych, przyrodniczych i technicznych i byzrodzi-ła naukom humanistycznym narzucona. Daleko posunięta specyfi ka nauk zaliczonych do pozornie tylko jednorodnej grupy nauk humanistycznych i społecznych sprawia, że i one muszą być podzielone na mniejsze subgrupy. Powinno się tedy zmierzać do konsensusu („co?” i „za ile?”) w obrębie danej grupy. Podam dobrą, jak mnie-mam, ilustrację. W naukach fi lologicznych ważne są publikacje ogłoszone drukiem w danym języku – i wcale nie jest to język angielski (poza fi lologią angielską, w któ-rej odgrywa on rolę podstawową). Dlatego w karcie oceny nauk humanistycznych w punkcie odnoszącym się do książek i rozdziałów w książkach wprowadzono pojęcie „języka podstawowego”. Przykładowo jest nim język polski dla fi lologii polskiej. Z kolei dla psychologii czy socjologii jest nim język angielski. Zatem, gdyby porównywać dwie jednostki ze sobą, Instytut Języka Polskiego PAN i Insty-tut Psychologii PAN, ten drugi musiałby wszystkie swoje prace (monografi e, pod-ręczniki akademickie i rozdziały w pracach zbiorowych) ogłaszać w języku angiel-skim, aby mógł dorównać temu pierwszemu. Oczywiście, że to nie miałoby sensu. Dlatego też tak ważne było wyodrębnienie jako grupy jednorodnej N1: nauki fi -lologiczne i bibliologia. W ramach tej grupy porównywane były tylko jednostki o profi lu fi lologicznym, językoznawczym i bibliologicznym. Oczywiście w kilku przypadkach jednostka typu fi lologicznego wchodziła do wydziału o szerszym profi lu humanistycznym czy społecznym. Wówczas traktowana była tak jak pozo-stałe jednostki w tym wydziale (bez preferencji dla języka podstawowego, charak-terystycznego dla danej fi lologii).
Po tych wstępnych uwagach przejdźmy do odpowiedzi na podstawowe pytanie zawarte w tytule tego punktu. W części naukowej karty oceny jednostki ujęte zo-stały następujące punkty:
1. Publikacje recenzowane. 2. Monografi e naukowe.
3. Międzynarodowe projekty badawcze. 4. Uprawnienia do nadawania stopni.
Uważam, że nie budzi większych emocji punktowanie udziału w międzynaro-dowych projektach badawczych. Natomiast brak precyzyjnego zdefi niowania „mię-dzynarodowego programu badawczego” sprawiał kłopoty i osobom sporządzają-cym sprawozdania jednostek dla OPI, i osobom z ZR-1, które oceniały poprawność tych sprawozdań. W przyszłości należy precyzyjnie określić, o jakie programy cho-dzi. Często popełniane błędy to: uwzględnianie programów współpracy między
jakąś polską jednostką i jakąś zagraniczną, uwzględnianie programów krajowych, uwzględnianie programów jeszcze nie zakończonych.
Podobnie środowisko zaakceptowało premiowanie uprawnień jednostek do nadawania stopni naukowych – doktora i doktora habilitowanego. Uważam, że te odpowiednio wysoko punktowane uprawnienia (a teraz są one rzeczywiście wy-soko punktowane: 50 pkt za uprawnienia doktorskie i 150 pkt za uprawnienia habilitacyjne) nie usprawiedliwiają odrębnego punktowania każdego przeprowa-dzonego przez jednostkę postępowania kwalifi kacyjnego.
W czasie dyskusji nad możliwymi sferami aktywności naukowej, które powin-ny podlegać punktowaniu, dość często zwracano uwagę na referaty wygłaszane przez pracowników jednostki na konferencjach międzynarodowych (zwłaszcza) oraz krajowych. Moja opinia w tej sprawie (zresztą nie jestem odosobniony, gdyż podobnie rozwiązały ten problem KBN, a także Rada Nauki) jest następująca. Je-żeli ktoś wygłosił ważny referat na konferencji naukowej, to powinien się on uka-zać jako artykuł w dobrym czasopiśmie naukowym – zagranicznym czy krajowym. Zatem ten sam „produkt” byłby niejako dwukrotnie premiowany. Jeżeli natomiast referat nie przełożył się na wartościowy artykuł, to widocznie nie reprezentował odpowiednio wysokiego poziomu naukowego. Krótko, punktujmy tylko to, co się zmaterializowało pod postacią publikacji, która spełnia kryterium intersubiektyw-ności, a nie to, co jest ulotne (wygłoszone i zapomniane).
Wnioski:
Chciałbym zdecydowanie opowiedzieć się za takimi oto poglądami:
1. Oceniajmy tylko poważne programy międzynarodowej współpracy naukowej. 2. Ocena parametryczna jednostek naukowych dotyczy jedynie ich kondycji
naukowej. Poziom zaś świadczonych przez uczelnie usług dydaktycznych powinien podlegać swoistej ocenie parametrycznej, ale skupionej tylko na dokonaniach dydaktycznych. Zatem oceniajmy tylko to, co wydrukowano i – co jeszcze ważniejsze – wydrukowano w naprawdę dobrych czasopi-smach naukowych – wpierw zagranicznych (lista JCR i, z mniejszym entu-zjazmem przeze mnie traktowana, lista ERIH), a potem krajowych (górna część ministerialnej listy „B”). Zresztą o zaletach publikowania w międzyna-rodowych czasopismach socjologicznych (a ja bym dodał: i psychologicz-nych!) pisze w tym samym numerze prof. A. Sułek.
3. Doceniam monografi e, ale faktycznie naukowe, a zdecydowanie mniej (przy-najmniej w grupie E-4!) – rozdziały w pracach zbiorowych. Powiem więcej, byłbym za tym, aby zrezygnować z punktowania tej aktywności publikacyj-nej. Zresztą relatywnie niska punktacja rozdziałów przekłada się na niższą
kategorię (3–4) jednostki, która miałaby w swoim dorobku poza monogra-fi ami wyłącznie rozdziały w pracach zbiorowych. Nadal dyskusyjna pozo-staje minimalna objętość monografi i (teraz: 6 ark. wyd. – 240 tys. znaków, licząc ze spacjami). Uważam, że powinna być większa. Jeśli zaś chodzi o pod-ręczniki akademickie, to powinny być brane pod uwagę tylko te, które wcho-dzą w obieg krajowy (wykluczenie lokalnych skryptów i podręczników szkolnych). Trzeba też rozważyć sporządzenie listy poważnych polskich wy-dawców literatury naukowej (mówiąc krótko, chciałbym uniknąć sytuacji wydania książki w ofi cynie „garażowej” prowadzonej przez „szwagra” auto-ra). Także objętość podręczników akademickich powinna być większa – rzę-du 15–20 ark. wyd.). I tu potrzebna byłaby lista uznanych wydawnictw. 4. I najważniejszy wniosek. Uważam, że należy zmierzać do zmniejszenia
licz-by różnorakich „produktów” naukowych. Osobiście zostawiłlicz-bym tylko arty-kuły w czasopismach naukowych (ale wyłącznie wysoko punktowanych) i monografi e naukowe oraz podręczniki akademickie.
Problem 6. Czy powinno się jedną publikację zaliczać wielokrotnie, gdy jej autorzy pracują w różnych jednostkach?
Odpowiem krótko – nie! Teraz uzasadnienie mojego poglądu. Dotychczas obowią-zywała zasada, że jeżeli jakaś publikacja ma, powiedzmy, trzech autorów pocho-dzących z różnych jednostek, to każdy z nich otrzymuje 100% punktów. Jeżeli na-tomiast autorzy są z tej samej jednostki, to każdy z nich otrzymuje proporcjonalną część punktów, jednostka tylko 100%. Zatem w pierwszym przypadku każda z jed-nostek otrzymuje po 100% punktów, a w drugim przypadku tylko ta jedna jednost-ka otrzymuje 100% punktów. Racja dla takiego traktowania publijednost-kacji wieloautor-skich, gdy autorzy pochodzą z różnych jednostek, była taka, że miało to być zachęta do nawiązywania międzyośrodkowej współpracy.
Niestety, ale nie podzielam tego punktu widzenia. Moim zdaniem poza auten-tyczną współpracą tworzy się także quasi-współpraca, zawiązują się swoiste „spół-dzielnie”, które, prawda, powiększają wyniki punktowe ośrodków, z których wywo-dzą się autorzy, ale nie powiększają faktycznego dorobku naukowego. Jeżeli wydrukowano artykuł trzech autorów z różnych jednostek naukowych – w na przykład „Psychological Review” czy „Nature” (aktualnie na liście JCR za 40 pkt) – to w sumarycznym opracowaniu dotyczącym polskich publikacji w świecie, srządzonym na podstawie statystycznego zestawienia publikacji zebranego z po-szczególnych jednostek, pojawią się trzy artykuły, a nie tylko jeden. Jeżeli dwaj autorzy z tego samego ośrodka mają tylko raz policzony (i przypisany tej
jednost-ce, w której pracują) dany artykuł (czy monografi ę), to gdy pracują w różnych jednostkach, to ten artykuł się „multiplikuje”. Być może należy jakoś inaczej pre-miować współpracę, ale nie kosztem „poprawiania” sprawozdawczości. Myślę, że można na ten temat jeszcze podyskutować.
Wniosek:
Sugeruję odejście od przyznawania 100% punktów poszczególnym autorom jednej publikacji, gdy autorzy są zatrudnieniu w różnych jednostkach nauko-wych.
* * *
Wprowadzona, cyklicznie przeprowadzana co cztery lata (tylko wyjątkowo ostatnia parametryzacja obejmowała okres pięciu lat), procedura oceny kondycji naukowej jednostek naukowych i naukowo-dydaktycznych wpisała się już, jak mniemam, na trwałe w system procedur ewaluacyjnych (obok ocen stosowanych przez PKA i UKA) stosowanych w Polsce. Nie ma od niej odwrotu. I dobrze, że przyjęła ona charakter procedury w miarę możliwości zobiektywizowanej i transparentnej. To, że nie jest jeszcze doskonała, nie może być – niestety, nadużywanym w niektórych środowiskach (głównie o profi lu humanistycznym) – argumentem na rzecz jej wycofania. Myślę, że lepiej, nawet gdy niedoskonale, w formie zobiektywizowanej, a więc parametrycznej, przeprowadzać ewaluację poziomu naukowego jednostek naukowych aniżeli „po uważaniu”. To, że jestem zwolennikiem oceny parametrycz-nej, nie oznacza, że nie dostrzegam jej wad i tego, co jeszcze trzeba zrobić, aby uczynić ja lepszą. Zbyt długo byłem zaangażowany w tworzenie tych procedur (trzy kadencje KBN i jedna, ostatnia kadencja Rady Nauki), abym nie miał wyrobione-go zdania na ten temat. Problem jednak w tym, że moja opinia na temat tewyrobione-go, co mi się nie podoba, niekoniecznie musiało być podzielana przez pozostałych człon-ków tych gremiów. Obowiązuje wszak, w ostatniej instancji, reguła akceptacji opi-nii podzielanych przez większość zaangażowanych w prace ekspertów (dobrze, gdy uda się doprowadzić do consensusu). Jednakże trudno mi zaakceptować sytuację, gdy minister wbrew opinii ekspertów postępuje po swojemu.
Spróbuję teraz zebrać najważniejsze sprawy do – jak uważam – pilnego zała-twienia.
1. Dopracowanie koncepcji grup jednorodnych i umożliwienie przeprowadza-nia odrębnej oceny mniejsze aniżeli złożone wydziały, jednostek naukowych (np. instytutów).
2. Uwzględnienie w dorobku naukowym jednostki także tej jego części, która została wypracowana przez doktorantów (z otwartym przewodem) jednostki.
3. Włączanie do N jednostki także doktorantów z wagą, powiedzmy, 0,3. 4. Określenie minimalnego N jednostki naukowej, która będzie oceniana. 5. Ograniczenie liczby publikacji wykazywanych przez jednostkę naukową do
pewnej (empirycznie sprawdzonej) krotności N – niekoniecznie dla wszyst-kich typów jednostek ta sama reguła (dziś: 3N).
6. Przyjęcie zasady, że punkty w liczniku wskaźnika E pochodzą tylko od osób, które są uwzględnione w N mianownika; gdy autorzy są zatrudnieni, nie mogą „sprzedawać” publikacji innej jednostce aniżeli ich podstawowa. 7. Przyjęcie zasady, że punkty za publikacje wieloautorskie podlegają takiemu
samemu, proporcjonalnemu podziałowi, jak w przypadku, gdy wszyscy au-torzy pochodzą z tej samej jednostki.
8. Ograniczenie publikacji tylko do monografi i i podręczników naukowych oraz – przede wszystkim – artykułów w indeksowanych czasopismach na-ukowych.
9. Niewprowadzanie punktacji za organizowane konferencje oraz za wygłasza-ne przez pracowników i doktorantów jednostki referaty i przedstawiawygłasza-ne plakaty.
10. Rezygnacja (w naukach humanistycznych i społecznych) z obliczania wskaź-nika cząstkowego E-II (dorobek praktyczny); okazało się, że w „naszych” naukach nie miał on znaczenia.
11. Od nowa trzeba przemyśleć koncepcję przyznawania, na podstawie wartości wskaźnika E, kategorii poszczególnym jednostkom. Teraz obowiązujący pro-sty, wręcz „mechaniczny” sposób odcinania, idąc od góry uporządkowanego – wedle wartości wskaźnika E – ciągu jednostek kolejnych procentów jed-nostek: od najlepszych do najgorszych (górne „prestiżowe” 30% to jednostki kat. 1) jest nazbyt prymitywny i nie oddaje faktycznej złożoności całej grupy jednorodnej. W skrócie idzie o to, że nie w każdej grupie powinno być aku-rat, powiedzmy, 30% jednostek uznanych za najlepsze, bo może się okazać, że cała grupa jednostek prezentuje zaledwie przeciętny poziom. Z kolei inna grupa może zawierać dużo jednostek bardzo silnych naukowo i wówczas ograniczanie liczby jednostek przypisanych do kategorii 1 spycha, niezasłu-żenie, część jednostek do gorszej kategorii.
I jeszcze jedno. Gdy ukaże się ten numer „Kultury i Edukacji”, to – być może (?) – będzie już publicznie udostępniona do tzw. społecznych konsultacji kolejna wersja zasad parametryzacji jednostek naukowych (za okres, chyba, 2007–2010). Przecież do 1 października 2012 roku musi się ukazać lista nowo skategoryzowa-nych, wedle NOWYCH ZASAD, jednostek naukowych. Komitet Ewaluacji Jedno-stek Naukowych (KEJN) bardzo intensywnie pracuje nad nowymi zasadami. Czy
nas czymś zaskoczy? I w jaki sposób zostanie wyłoniona tajemnicza kategoria „A+”? Żyjemy w dziwnym kraju, w którym różne przepisy działają wstecz. Znowu trzeba będzie „wstecz” przepunktowywać wszystkie publikacje pracowników, aby dostosować się do wymagań nowego rozporządzenia. I jak tu sensownie prowadzić politykę naukową w instytucie czy na wydziale? Jak?
