SYSTEM OCENY JEDNOSTEK NAUKOWYCH W POLSCE
4.3. Krytyczna analiza oceny parametrycznej
Ocena instytucjonalna w Polsce jest trudną i dyskusyjną próbą zobiektywizowania decyzji o kategoryzacji jednostek sfery nauki i o finansowaniu ich działalności statutowej.
Dążenie do opracowania intersubiektywnego systemu oceny jednostek naukowych jest procesem złożonym i wymaga uwzględnienia różnych czynników. Jednostki naukowe są zróżnicowane pod względem sposobu prowadzenia badań, ich przydatności teoretycznej i praktycznej, a za tym też formy prowadzenia działalności.
W różnych krajach są podejmowane liczne próby uwzględnienia różnych przejawów działalności jednostek naukowych. Przyjmują one głównie formę systemów ewaluacyjnych oraz systemów parametrycznych*. Podejście ewaluacyjne ocenia się jako bardziej kompleksowe i wnikliwe, między innymi z uwagi na możliwość stosowania czynników jakościowych. Słabości takiego rozwiązania wynikają jednak właśnie z atrybutów oceny eksperckiej. Ma ona charakter subiektywny i jest czasochłonna. Odmiennym podejściem jest podejście parametryczne. Zachowuje ono obiektywizm, ale ogranicza się do wskaźników ilościowych.
27 rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 13 lipca 2012 roku w sprawie kryteriów i trybu przyznawania oraz rozliczania środków finansowych na działalność statutową, Dz. U. 01.08.2012, poz. 877,
§ 18 pkt. 7.
* Patrz: rozdział 3.2.
134 W Polsce, z uwagi na dużą liczbę jednostek naukowych*, słusznym wydaje się być przyjęcie podejścia parametrycznego jako podejścia systemowego. Wprowadzona w 1999 roku ocena parametryczna w miejsce oceny jakościowej, ukształtowała fundamenty zasad kategoryzacji jednostek naukowych. Zarówno sama ocena parametryczna, jak i jej kolejne modyfikacje wywoływały liczne dyskusje środowiskowe. Najczęściej podnoszonym argumentem było twierdzenie, że nie można obiektywnie zmierzyć poziomu i wartości pracy naukowej. Subiektywność takiego pomiaru przejawia się w wyborze i definicji wskaźników, a także wag przypisanych poszczególnym wskaźnikom28.
W środowisku naukowym, można zaobserwować trzy nurty dyskusji nad zasadami oceny parametrycznej – w zakresie merytorycznym, proceduralnym i organizacyjnym. Autorka zebrała uwagi przedstawicieli nauki oraz uzupełniła je własnymi analizami (tabela 4.4).
Liczne publikacje odnoszące się do zasad oceny jednostek naukowych w Polsce ukazują szereg słabości dotyczących prawidłowości doboru zmiennych będących podstawą oceny jednostek, grupowania zmiennych w zakresy działalności naukowej i doboru wag kryteriów oraz zakresów. Istotne wątpliwości środowiska budzi klasyfikacja jednostek na grupy jednorodne (grupy wspólnej oceny). Dostrzega się także brak preferencji dla jednostek oszczędnych.
Drugim wątkiem dyskusyjnym są przyjęte procedury i metodyka wyznaczania wskaźnika jakości i przyznawania ostatecznych kategorii jednostkom naukowym. Mimo istotnych zmian wprowadzonych w ostatnim cyklu oceny w 2013 roku, wątpliwości nadal budzi brak transparentności i arbitralność pewnych etapów. Nie jest również jasny sposób przyznawania kategorii poszczególnym jednostkom w ramach grupy jednorodnej oraz identyfikacji jednostek o najwyższym potencjale naukowym. Jako niesatysfakcjonującą ocenia się metodykę w zakresie porównywania małych jednostek naukowych z dużymi.
W trzecim zakresie polemikę wywołują zagadnienia organizacyjne oceny parametrycznej. Argumentem najczęściej podnoszonym jest zbyt późne ogłoszenie zasad oceny, brak informacji o wartościach cząstkowych wyników, nadmierna centralizacja systemu oceny oraz dokonywanie zmian w zakresie przypisania jednostek naukowych do poszczególnych grup jednorodnych w trakcie procesu parametryzacji po dokonaniu pierwotnego podziału.
* Patrz: rozdział 4.1, rysunek 4.7.
28 J.M. Brzeziński, Reguły parametryzacji, „Forum Akademickie” 2007, nr 2, s. 21-24; M. Żylicz, Ocena parametryczna dzisiaj i jutro, „Forum Akademickie” 2006, nr 6, s. 22-24.
135
Tabela 4.4. Uwagi krytyczne przedstawicieli środowiska nauki do oceny parametrycznej
Źródło Cykl
oceny Uwagi krytyczne
P. Kieraciński, Premia za jakość, „Forum Akademickie” 2003, nr 2, s. 28-29.
OP2003 brak uwzględnienia działalności wdrożeniowej J.M. Brzeziński, Reguły parametryzacji,
„Forum Akademickie” 2007, nr 2, s. 21-24.
OP2006 niejasny dobór kryteriów
brak powiązania wyników działalności naukowej jednostki z liczbą zatrudnianych przez nią badaczy
dyskusyjna klasyfikacja grup jednorodnych
nieporównywalność małych i wielkich jednostek naukowych M. Żylicz, Ocena parametryczna dzisiaj
i jutro, „Forum Akademickie” 2006, nr 6, s. 22-24.
OP2006 zbyt duża liczba kryteriów,
dyskusyjna relacja wag poszczególnych kryteriów
słabe zróżnicowanie najlepszych i przeciętnych osiągnięć naukowymi/wdrożeniowymi
brak preferencji jednostek oszczędnych
w małych jednostkach system oceny parametrycznej słabiej odzwierciedla rzeczywistość
nieprecyzyjna liczba pracowników uwzględniana w ocenie (problem wieloetatowości)
jedna lista czasopism dla wszystkich obszarów naukowych
zbyt późne ogłoszenie zasad oceny
dyskusyjna ocena publikacji wieloautorskich Z. Drozdowicz, Kategoryzacja nauki, „Forum
Akademickie” 2006, nr 9, s. 21-23.
OP2006 wagi kryteriów
nadmierna (patologiczna) centralizacja systemu oceny
słaby nacisk na wskaźnik jakościowy publikacji, uwzględnianie zbyt dużej liczby publikacji wykazywanych przez jednostkę przypadających na jednego statystycznego pracownika (proponowane 2N)
M. Kosmulski, Quo vadis, KEJN?, „Forum Akademickie” 2011, nr 10, s. 34.
OP2006 brak jasnych kryteriów zaliczania jednostek dla danej kategorii naukowej
zbyt duże jednostki naukowe J. Nazarko, K.A. Kuźmicz, E. Szubzda,
J.Urban (Jakuszewicz), Analiza oceny parametrycznej z perspektywy benchmarkingu, [w:] Benchmarking
wsystemie szkolnictwa wyższego, J. Woźnicki (red.), Oficyna Wydawnicza Politechniki Warszawskiej, Warszawa 2008, s. 49-64.
OP2006 istotna i silna korelacja niektórych zmiennych
niski poziom zróżnicowania jednostek względem niektórych kryteriów
słaba różnicowalność jednostek przez nadmiarowy zbiór kryteriów
nieprawidłowy dobór zmiennych do poszczególnych zakresów działalności naukowej k
nieseparowalność grup jednorodnych
arbitralność wag poszczególnych zakresów działalności naukowej k
brak jasnych kryteriów zaliczania jednostek dla danej kategorii naukowej A. Sawicki, Obraz polskiej nauki po rankingu
MNiSW, „Forum Akademickie” 2010, nr 11, s. 40-41.
OP2010 dyskusyjny dobór zmiennych
arbitralne przyporządkowanie wag kryteriów
brak zróżnicowania jednostek pod względem formy prowadzenia działalności
brak wag dla różnych przejawów działalności naukowo-badawczej i rozwojowej
135
136
Źródło Cykl
oceny Uwagi krytyczne
K. Stępień, Rzeczywiste wyniki naukowe,
„Forum Akademickie” 2011, nr 2.
OP2010 niewłaściwy dobór kryteriów J.M. Brzeziński, Kontrowersje wokół oceny
jednostek naukowych z obszaru nauk
społecznych, „Kultura i Edukacja” 2011, nr 2, s. 177-192.
OP2010 heterogeniczność naukowa wydziałów szkół wyższych zakłóca klasyfikację wszystkich jednostek naukowych do grup jednorodnych
nietrafna metoda klasyfikacji jednostek naukowych do kategorii naukowych
problem porównywania małych jednostek z dużymi
brak minimalnego ograniczenia liczby N jednostki naukowej, która będzie oceniana
brak jasnych zasad obliczania wskaźnika N
brak spójności liczby N oraz E w aspekcie uwzględnianych w ocenie pracowników (E – wszyscy, N bez dodatkowych etatów), problem szczególnie osobliwy w wypadku jednostek niepublicznych
jednakowy wskaźnik liczby publikacji 3N dla wszystkich grup jednorodnych
dobór kryteriów nieuwzględniający specyfiki obszarów naukowych
jednakowe wagi kryteriów dla różnych grup jednorodnych
eliminacja dorobku doktorantów niezatrudnionych w jednostce naukowej
wielokrotne uwzględnianie jednej publikacji współautorów z różnych jednostek naukowych M. Pigłowski, Prawny i moralny aspekt
publikowania, „Nauka” 2011, nr 3, s. 145-156.
OP2010 niekorzystna relacja punktów za monografię do punktów za artykuł w czasopiśmie
nieprawidłowości w interpretacji zasad oceny punktowej w zakresie monografii pokonferencyjnych M. Ratajczak, Nie wszyscy razem i nie wszyscy
tak samo, „Forum Akademickie” 2012, nr 7-8, s. 26-29.
OP2010 arbitralne wagi kryteriów
dobór kryteriów dyskryminujący nauki humanistyczne i społeczne Najwyższa Izba Kontroli, Wykorzystanie
środków publicznych na naukę.
Informacja wynikach kontroli, KNO-4101-08-00/2011, nr 162/2012/P/11/070/KNO, s.
10-11, 24-28.
OP2010 słabe zróżnicowanie jednostek naukowych
niesatysfakcjonująca identyfikacja jednostek o najwyższym potencjale naukowym
niezgodny z obowiązującymi przepisami prawa odsetek jednostek naukowych kategorii naukowej pierwszej i drugiej
brak zróżnicowania jednostek prowadzących podstawowe badania naukowe oraz jednostki nastawione na rozwój technologiczny i innowacje
zastosowanie średniej arytmetycznej (zamiast średniej ważonej) przy obliczaniu wskaźnika efektywności naukowej jednostki (na czele rankingów w zdecydowanej większości grup jednorodnych znalazły się instytuty badawcze jako osiągające znaczne przychody z działalności B+R, ale posiadające relatywnie niewielkie osiągnięcia naukowe)
dokonywanie oceny bez uwzględnienia pozycji danej jednostki w nauce światowej
ustalenie jednakowych dla poszczególnych zakresów ocen dla wszystkich grup jednostek jednorodnych wag, bez względu na profil jednostek
dokonywanie zmian w zakresie przypisania jednostek naukowych do poszczególnych grup jednorodnych po dokonaniu pierwotnego podziału, niespójność wyników parametryzacji Rady
136
137
Źródło Cykl
oceny Uwagi krytyczne
Nauki i po opinii Ministra Nauki i Szkolnictwa Wyższego
uwzględnianie wyników działalności jednostek naukowych niemających charakteru naukowego
nierzetelność danych w zakresie liczby pracowników zatrudnionych w działalności B+R, przychodów z tytułu umów zawartych z innymi podmiotami na wykonanie w jednostce prac B+R, liczby i przychodów z wdrożeń udokumentowanych i wykorzystanych poza jednostką wyników badań naukowych i prac rozwojowych
brak procedur wyłaniania członków zespołów opiniodawczo-doradczych Ministra, w tym zespołów roboczych właściwych organów Rady Nauki dokonujących oceny parametrycznej, które przeciwdziałałyby wystąpieniu potencjalnego konfliktu interesów
D. Antonowicz, S. Jackowski, A. Pilc, B. Skoczeń, M. Zabel, Kategoryzacja nauki,
„Forum Akademickie” 2013, nr 10, s. 26-29.
OP2010 podejście niepoprawne metodologicznie (sumowanie wartości punktowej za wszystkie kryteria, przy jednakowych wagach dla często bardzo odległych przejawów działalności jednostek naukowych) D. Antonowicz, J.M. Brzeziński,
Doświadczenia parametryzacji jednostek naukowych z obszaru nauk humanistycznych i społecznych 2013 – z myślą o parametryzacji 2017, „Nauka” 2013, nr 4, s. 51-85.
J.M. Brzeziński, Ocena parametryczna – co dobre, co zmienić, „Forum Akademickie”
2013, nr 11, s. 30-33.
OP2010, OP2013
zbyt złożona procedura (OP2013)
arbitralne przyjęcie wartości jednostek referencyjnych
limitowanie liczby jednostek w poszczególnych kategoriach
brak transparentności procedur, uwzględnianie w ocenie jednostek z sektora niepublicznego
zbyt duża liczba zmiennych, małe zróżnicowanie kategorii
mierzenie grantów poziomem finansowania
brak standaryzacji wszystkich wskaźników cząstkowych (z czterech – dwa wskaźniki cząstkowe niestandaryzowane oraz jeden wskaźnik globalny o zakresie od -100 do +100)
zbyt duża rozpiętość punktowa w zakresie pozostałych efektów działalności naukowej
brak uwzględnienia liczby kształconych studentów
brak jasności kryteriów przyznawania kategorii A+
brak informacji o wartościach cząstkowych wyników i o szczególnie ważnych wartościach jednostek referencyjnych
problem zdefiniowania grup wspólnej oceny (GWO), brak satysfakcjonującego rozwiązania
zbyt duża liczba grup GWO, kontrowersyjna liczebność grup GWO
relatywnie duży udział uprawnień akademickich
niedostateczne zróżnicowanie heterogeniczności struktur organizacyjnych jednostek naukowych
zbyt uproszczona procedura wyznaczania ostatecznego wskaźnika G. Racki, W mozole po kategorie, „Forum
Akademickie” 2012, nr 1, s. 34-35.
OP2013 zbyt złożona procedura oceny, mnogość parametrów, korelacja kryteriów
różne podejście w sposobie obliczania wskaźników cząstkowych
brak systematycznych analiz w celu odpowiedniego doboru parametrów oceny Źródło: opracowanie własne.
137
138 Parametryczny system oceny i finansowania działalności jednostek badawczych przez kolejne cykle oceny stawał się coraz bardziej skomplikowany wskutek uwzględniania kolejnych elementów aktywności naukowej, dalszego rozszerzania skali punktowej oraz ustawicznego precyzowania kryteriów. Zauważyć można, że MNiSW nie prowadzi systematycznych analiz w celu odpowiedniego doboru parametrów oceny29. Analiza statystyczna danych o jednostkach naukowych za lata 2001-2004, będących podstawą oceny w roku 2006, przeprowadzona przez J. Nazarko i in. w celu zbadania zasadności stosowanej metodyki w ocenie parametrycznej, wykazała znaczną nadmiarowość zbioru uwzględnianych zmiennych30. Istotna i silna korelacja zmiennych zakłóca różnicowalność ocenianych jednostek. Ponadto nieuzasadnione wymieszanie w jednym filarze zmiennych opisujących różne aspekty działalności jednostki powoduje, przez układ wag filarów, niezamierzone wzmacnianie lub osłabianie niektórych kryteriów oceny.
Autorzy dowodzą także nieseparowalności grup jednorodnych, a tym samym niewłaściwą klasyfikację jednostek naukowych. Jest to zagadnienie dotychczas nierozwiązane w sposób satysfakcjonujący. J. Brzeziński wyjaśnia, że wiele wydziałów szkół wyższych nie wykazuje jednorodnorodności naukowej, przy czym wpływa to na uzyskanie lepszych pozycji takich wydziałów w rankingu oceny parametrycznej ze względu na kumulowanie wartościowego dorobku31. Heterogeniczność wydziałów szkół wyższych pod względem obszarów naukowych utrudnia zatem rzetelną klasyfikację jednostek naukowych w grupy jednorodne.
Przeprowadzona przez autorkę analiza grup jednorodnych w cyklu oceny 2010 pokazała, że nie rozwiązano znaczących słabości systemu w tym zakresie z 2006 roku32. Do ilustracji tego zagadnienia wykorzystano graficzną metodę prezentacji struktury danych wielowymiarowych, zaproponowanej przez M. Rybaczuka33.
Istotę graficznej prezentacji odwzorowania czterech obiektów: O1, O2, O3 i O4 scharakteryzowanych cechami: X1-X18 w pole koła na płaszczyźnie przedstawiono na rysunku 4.11.
29 G. Racki, W mozole po kategorie, „Forum Akademickie” 2012, nr 1, s. 33-34.
30 J. Nazarko, K.A. Kuźmicz, E. Szubzda, J. Urban (Jakuszewicz), Analiza oceny parametrycznej z perspektywy benchmarkingu, [w:] Benchmarking w systemie szkolnictwa wyższego, J. Woźnicki (red.), Oficyna Wydawnicza Politechniki Warszawskiej, Warszawa 2008, s. 49-64.
31 J.M. Brzeziński, Ocena parametryczna – co dobre, co zmienić, „Forum Akademickie” 2013, nr 11, s. 30-33;
J.M. Brzeziński, Kontrowersje wokół oceny jednostek naukowych z obszaru nauk społecznych, „Kultura i Edukacja”, nr 2, 2011, s. 178-179.
32 J. Urban, Klasyfikacja polskich jednostek naukowych w ocenie parametrycznej MNiSW, XIX Konferencja Naukowa Sekcji Klasyfikacji i Analizy Danych Polskiego Towarzystwa Statystycznego oraz XXIV Konferencja Taksonomiczna "Klasyfikacja i analiza danych – teoria i zastosowania”. Streszczenia referatów, Toruń, 15-17 września 2010 r., s. 45.
33 M. Rybaczuk, Graficzna prezentacja struktury danych wielowymiarowych, Prace Naukowe Akademii Ekonomicznej we Wrocławiu, nr 942, Akademia Ekonomiczna, Wrocław, 2002, s. 146-153.
139
Legenda: cechy X; obiekty O
Rysunek 4.11. Przykład wyniku zastosowania metody prezentacji struktury danych wielowymiarowych M. Rybaczuka
Źródło: opracowanie własne.
Graficzna interpretacja wyników odwzorowania struktury wielowymiarowych danych na płaszczyznę umożliwia analizę porównawczą obiektów i cech, przy czym:
im bliżej położone są punkty reprezentujące obrazy obiektów, tym bardziej podobne obiekty;
im bliżej znajdują się obrazy cech, tym silniejsza dodatnia korelacja między nimi;
im wyraźniej obrazy cech znajdują się po przeciwległej stronie względem środka koła, tym silniejsza ujemna korelacja między nimi;
im większą odległość punktu reprezentującego obraz obiektu od obrazu cechy, tym wyższy poziom cechy dla danego obiektu, i odwrotnie.
Odnosząc się do analizy kryteriów oceny parametrycznej, w pierwszej kolejności zbadano jaką siłę różnicującą mają poszczególne zmienne (rysunek 4.12).
Na rysunku 4.12 pokazano na przykładzie grupy N8 i G1*, że niektóre zmienne, których obrazy znajdują się w bliskiej odległości lub nakładają się na siebie są ze sobą skorelowane. To oznacza, że w bardzo małym stopniu cechy różnicują porównywane jednostki. Świadczy to o pominięciu właściwych kryteriów doboru zmiennych przy ustalaniu zasad oceny parametrycznej.
* Nazwy grup zostały przedstawione w aneksie, załącznik 4.
O1
O2
O3
O4 X5 X9
X1 4 X6
X3 X1 7
X1 2
X1
1 X1
7
X2 X1
0
X8 X1 5 X1
X1 3
X4
X1 8
140
Legenda: numery zmiennych odpowiadają kolejności zmiennych w aneksie, załącznik 4.
Rysunek 4.12. Zróżnicowanie jednostek naukowych w grupach jednorodnych G1 i N8 Źródło: opracowanie własne.
Zbadano również separowalność grup jednorodnych. Przykładowe zestawienia dla grup G8 i N8 przedstawiono na rysunku 4.13.
Legenda: numery zmiennych odpowiadają kolejności zmiennych w aneksie, załącznik 4.
Rysunek 4.13. Porównanie dwóch grup jednorodnych G8 i N8 Źródło: opracowanie własne.
Jednostki z grup jednorodnych G8 i N8 (według klasyfikacji MNiSW) są wymieszane i nie tworzą odrębnych klastrów, co oznacza, że jednostki naukowe zaliczone do różnych grup jednorodnych nie różnią się zasadniczo między sobą ze względu na przyjęte kryteria.
Następnie zbadano zasadność przyporządkowania jednostek naukowych do kategorii (rysunek 4.14).
N8 – Nauki rolnicze i leśne G1 – Mechanika, materiały, inżynieria chemiczna
i procesowa
Grupa G8 Grupa N8
141
Rysunek 4.14. Klasyfikacja jednostek naukowych do kategorii w grupie N1 Źródło: opracowanie własne.
Kategorie nie są wyraźnie wyodrębnione. Z układu zmiennych wynika, że jednostki są głównie różnicowane względem zmiennych, których obrazy ulokowane są na części linii prawej koła. Poszczególne kategorie są wymieszane, co wskazuje na niewłaściwą metodykę przyznawania kategorii naukowych.
Nadmiarowy zbiór zmiennych słabo różnicuje jednostki naukowe. Graficzną strukturę wartości wskaźnika E, różnice tych wartości dla dwóch kolejnych uczelni oraz ich kategorie zobrazowano na rysunku 4.15. Numery jednostek naukowych wynikają z ich pozycji w rankingu względem wielkości wskaźnika E.
Rysunek 4.15. Rozkład wartości cech, różnice tych cech wartości dwóch kolejnych jednostek naukowych oraz ich kategorie naukowe w ocenie parametrycznej 2010
Źródło: opracowanie własne.
0 1 2 3 4 5
0 200 400 600 800 1000 1200 1400
0 20 40 60 80 100 120 140 160 180 200 220 240 260 280 300 320 340 360 380 400 420 440 460 480 500 520 540 560 580 600 620 640 660 680 Kategoria MNiSW
Wskaźnik E
Jednostki naukowe E, wskaźnik efektywności MNiSW
Różnica wartości wskaźnika E dwóch kolejnych jednostek Kategoria MNiSW
Kategoria 1 Kategoria 2 Kategoria 3 Kategoria 4 Kategoria 5
142 Z analizy rysunku 4.15 wynika, że tylko kilkanaście pierwszych jednostek naukowych otwierających listę rankingową przyjmuje wysoką wartość wskaźnika E. Ponadto, dokonując analizy różnic pomiędzy wartościami wskaźnika kolejnych dwóch jednostek można stwierdzić, iż w przypadku połowy ocenianych jednostek nie przekracza ona 0,20. Znaczne różnice występują tylko między jednostkami o numerach od 1 do 10. Można zatem stwierdzić, że większość ocenianych jednostek przyjmuje podobne oceny.
Rysunek 4.16. Rozkład wartości cech, różnice tych cech wartości dwóch kolejnych jednostek naukowych oraz ich kategorie naukowe w ocenie parametrycznej 2013
Źródło: opracowanie własne.
Różnica wartości wskaźnika E dwóch kolejnych jednostek Kategoria MNiSW (+A - 4; A - 3; B - 2; C - 1)
143 Liczebność jednostek oraz rozpiętość przedziałów poszczególnych kategorii względem wskaźnika efektywności E w grupach jednorodnych są zróżnicowane*. Nie są jasne reguły podziału na kategorie. Zarówno liczbowy, jak i procentowy udział liczby jednostek danej kategorii jest różny. W niektórych grupach nie przyznano kategorii 4 oraz 5.
Grupy z oznaczeniem M zostały wyodrębnione z tradycyjnego podziału grup dla jednostek naukowych o małej liczbie zatrudnionych pracowników w działalności B+R. Podział ten ma jednak charakter arbitralny.
W ocenie parametrycznej z 2013 roku nadal zróżnicowanie jednostek jest nieznaczne.
Analogicznie do rysunku 4.15, dokonano analizy wskaźników oceny w 2013 roku i przedstawiono na rysunku 4.16. Z analizy rysunku 4.16 wynika, że różnica między ostateczną oceną jednostek naukowych jest we wszystkich wypadkach nieznaczna. Co więcej, przyznane kategorie nie mają jasnego odzwierciedlenia w wysokości wskaźników. Reguły oceny parametrycznej z roku 2013 w wyniku zaleceń po kontroli NIK, muszą zostać zmienione.
Zdaniem autorki, system oceny parametrycznej w Polsce wymaga dalszego doskonalenia, szczególnie w zakresie metodyki. Przyjęte zasady oceny parametrycznej niedostatecznie różnicują jednostki. Liczny zbiór cech pierwotnych w dużym stopniu utrudnia, a niekiedy wręcz uniemożliwia poznanie najważniejszych prawidłowości występujących w badanych zjawiskach i procesach. Dotychczasowe procedury oceny jednostek naukowych nie dostarczały też możliwości analitycznych dla ocenianych jednostek, gdzie ważnym aspektem systemu oceny i ewaluacji instytucjonalnej jest możliwość konfrontowania wyników własnych z pozostałymi jednostkami. Duży poziom podejścia subiektywnego ekspertów na każdym etapie oceny (tabela 4.5) nie sprzyja uzyskaniu akceptacji środowiska, co ma wpływ na osiągnięcie pożądanych efektów takiej oceny wskazanych w rozdziale 1.3.
Tabela 4.5. Zastosowana metodyka w poszczególnych etapach oceny parametrycznej
Etapy oceny parametrycznej Zastosowana metoda
Klasyfikacja jednostek dobór arbitralny
Dobór kryteriów dobór arbitralny
Dobór wag kryteriów dobór arbitralny
Klasyfikacja zmiennych w zakresy dobór arbitralny
Wagi zakresów dobór arbitralny
Metodyka wyznaczania wskaźnika E
OP1999-OP2010 ważona suma punktów oceny parametrycznej do przeliczeniowej liczby N zatrudnionych do prac B+R;
OP2013 metoda porównań parami z uwzględnieniem arbitralnie przyjętych wartości jednostek referencyjnych
Kategoryzacja podział arbitralny
Źródło: opracowanie własne.
* Patrz: aneks, załącznik 6.
144 Kryteria kategoryzacji powinny ukierunkowywać działalność jednostki naukowej.
Silną stroną niektórych jednostek są wdrożenia, innych granty bądź publikacje. W systemie finansowania nauki w Polsce, w którym prawie 70% budżetu przeznaczonego na naukę jest wydatkowanych na podtrzymanie działalności statutowej jednostek naukowych, muszą istnieć jasne kryteria podziału tych środków. Powinien jednocześnie istnieć system promujący jednostki produktywne, uwzględniający nakłady jednostek i czynniki środowiskowe.
145 ROZDZIAŁ 5.
ZAŁOŻENIA METODYCZNE BADANIA PRODUKTYWNOŚCI