Przykłady zastosowań metody Data Envelopment Analysis w ocenie wyników działalności naukowej działalności naukowej

Metoda DEA jest stosowana z sukcesem w ocenie wyników działalności naukowej szkół wyższych. Zidentyfikowano kilkadziesiąt badań prowadzonych w tym zakresie.

Najbardziej znaczące badania przedstawiono w tabeli 5.3.

Należy zauważyć, że metoda DEA znajduje szerokie zastosowanie w ogólnej ocenie działalności uczelni, odnoszące się zarówno do działalności naukowej, dydaktycznej oraz administracyjnej. Autorka przywołała natomiast tylko te badania, w których uwzględniono działalność naukową. W tym ujęciu, najwcześniejsze badania przeprowadzono

69 B. Guzik, Podstawowe modele DEA…, s. 207.

DMU3

O

DMU1 DMU2

DMU5

DMU4 Q

y1/x y2/x

krzywa produktywności

168 w Stanach Zjednoczonych w 1988 roku⁷⁰. Przez kolejne lata przeprowadzono badania uniwersytetów w wielu krajach Europy i Azji, a także w Australii oraz Afryce. Badania prowadzano na różnych poziomach: od indywidualnych naukowców⁷¹, przez zespoły naukowe⁷², wydziały w ramach jednej uczelni⁷³ lub wielu uczelni, ale w ramach dyscypliny naukowej⁷⁴, instytuty⁷⁵, uniwersytety⁷⁶, aż po porównania międzynarodowe⁷⁷.

W Polsce badania dotyczyły głównie uczelni⁷⁸. Zasadniczo badania światowe koncentrują się na pomiarze i ocenie produktywności nauki, efektywności technicznej, alokacyjnej i skali.

Prezentowane badania nie są jednorodne. Wszystkie badania różnią się w konkretnych definicjach zmiennych wykorzystywanych w celu odzwierciedlenia wejść i wyjść, stosowanych modeli i przebiegu procedury badawczej.

Jak wynika z doświadczeń badawczych, uniwersalny zestaw zmiennych nie istnieje, a zależny jest od dostępnych danych lub wymagań badania. Zmienne dobierane są raczej subiektywnie, bez wyraźnych, formalnych zasad przy określaniu procedury wyboru wejść i wyjść modelu. W niektórych wypadkach wybór poszczególnych zmiennych jest uzasadniony doświadczeniami innych badaczy lub poprzedzony analizą korelacji.

70 G. Abramo, T. Cicero, C.A. D’Angelo, A field-standardized application of DEA to national-scale research assessment of universities, “Journal of Informetrics” 2011, t. 5, s. 619.

71 S.Y. Sohn, Y. Kim, DEA based multi-period evaluation system for research in academia, ”Expert Systems with Applications” 2012, t. 39, s. 8274-8278.

72 F. Jiménez-Sáez, J.M. Zabala-Iturriagagoitia, J.L. Zofίo, Who leads research productivity growth? Guidelines for R&D policy-makers, ”Scientometrics” 2013, t. 94, s. 273-303.

73 B. Taylor, G. Harris, Relative efficiency among South African universities: A data envelopment analysis,

“Higher Education” 2004, t. 47, s. 73-89; G.E. Halkos, N.G. Tzeremes, S.A. Kourtzidis, Measuring public owned university departments’ efficiency: a bootstrapped DEA approach, ”Journal of Economics and Econometrics” 2012, t. 55, nr 2, s. 1-24.

74 K.H. Leitner, M. Schaffhauser-Linzatti, R. Stowasser, K. Wagner, Data envelopment analysis as method for evaluating intellectual capital, ”Journal of Intellectual Capital” 2005, t. 6, nr 4, s. 528-543.

75 D. Zhang, R.D. Banker, X. Li, W. Liu, Performance impact of research policy at the Chinese Academy of Science, “Research Policy” 2011, t. 40, s. 875-885.

76 J. Berbegal-Mirabent, E. Lafuente, F. Solé, The pursuit of knowledge transfer activities: An efficiency analysis of Spanish universities, ”Journal of Business Research” 2013, t. 66, s. 2051-2059; G. Abramo, C.A. D’Angelo, F. Pugini, The measurement of Italian universities’ research productivity by a non parametric-bibliometric methodology,”Scientometrics” 2008, t. 76, nr 2, s. 225-244.

77 M.G. Kocher, M. Luptacik, M. Sutter, dz. cyt., s. 314-332; E.C. Wang, W. Huang, Relative efficiency of R&D activities: A cross-country study accounting for environmental factors in the DEA approach, “Research Policy” 2007, t. 36, s. 260-273.

78 J. Nazarko, J. Šaparauskas, Application of DEA method in efficiency evaluation of public higher education institutions, “Technological and Economic Development of Economy” 2014, t. 20, nr 1, s. 1-20; M. Świtłyk, Z. Mongiało, Zastosowanie metody DEA do pomiaru efektywności na uczelniach publicznych w latach 2004-2008, Zeszyty Naukowe Uniwersytetu Ekonomicznego w Poznaniu 2011, nr 171, s. 375-384; A. Ćwiąkała-Matys, Wykorzystanie Data Envelopment Analysis (DEA) do badania relacji nakłady-efekty w publicznym szkolnictwie akademickim w Polsce, Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu, nr 56, 2009, s. 67-82.

169

Tabela 5.3. Zastosowanie metody DEA do oceny działalności naukowej

Autorzy (rok) Kraj Nakłady Efekty DMU (liczba

jednostek) Model T. Ahn, A. Charnes,

W.W. Cooper (1988)

USA  wydatki szkoleniowe

 koszty stałe

 inwestycje majątkowe

 liczba studentów i absolwentów

 federalne granty i kontrakty badawcze

uczelnie (161) bd

G. Johnes, G. Johnes (1993, 1995)

Wielka Brytania

 czas pracy pracowników poświęcony na badania (roboczomiesiące)

 czas pracy pracowników poświęcony na badania i dydaktyce (roboczomiesiące)

 wartość grantów

 artykuły w czasopismach naukowych

 listy w czasopismach naukowych

 rozdziały w monografiach

 dokumenty lub komunikaty w topowych czasopismach

wydziały (36) CRS-I

N.K. Avkiran (2001) Australia  liczba pracowników akademickich

 liczba pracowników pozostałych

 rejestracje na studia I i II stopnia

 ocena Research Quantum*

uczelnie (36) VRS E. Martín (2003) Hiszpania  pracownicy ze stopniem doktora (grupa

naukowa)

 pozostali pracownicy naukowo-dydaktyczni (grupa dydaktyczna)

 budżet

 roczne zużycie czynników kapitałowych

 ważona liczba zarejestrowanych kredytów dydaktycznych

 liczba kredytów doktoranckich

 liczba prac doktorskich w danym roku

 roczne naukowe przychody finansowe

 zaangażowanie w pracę naukową

wydziały (55)

M. Abbott,

C. Doucouliagos (2003)

Australia  liczba pracowników naukowych i dydaktycznych FTE**

 liczba pracowników technicznych, administracyjnych i pomocniczych FTE

 wydatki uczelni z wyłączeniem nakładów pracy

 wartość aktywów trwałych

 liczba studentów w przeliczeniu na studentów studiujących w pełnym wymiarze (EFTS),

 liczba studentów studiów I i II stopnia

 liczba absolwentów studiów I i II stopnia

 poziom finansowania (Research Quantum Allocation)

 przychody na badania poniesione w trakcie roku. (wydatki na badania)

 wydatki na badania i kształcenie

 liczba absolwentów

 rezultaty naukowe

uczelnie (10) 7 modeli

169

170

Austria  liczba pracowników

 liczba pomieszczeń

Efekty współpracy z otoczeniem

 środki finansowe pozyskane ze źródeł trzecich

 projekty zamawiane zrealizowane przez pracowników

 projekty zamawiane zrealizowane przez wydział

Efekty kształcenia

 liczba egzaminów

 liczba wypromowanych prac dyplomowych Efekty naukowe

 monografie, publikacje oryginalnych badań raporty z projektów, patenty,

prezentacje/wystąpienia (konferencyjne)

 liczba wypromowanych doktorów

wydziały (133)

VRS-O

A. Bonaccorsi, C. Daraio, L. Simar (2006)

Włochy  liczba pracowników naukowych w podziale na stanowiska

 liczba pracowników technicznych i administracyjnych

 skumulowane nakłady finansowe ogółem

 skumulowane wydatki na 100 przyjętych studentów

 skumulowane wydatki na 1 uczonego

 liczba miejsc w salach wykładowych Czynniki zewnętrzne

 liczba przyjętych studentów

 liczba wydziałów w uczelni

 liczba przedmiotów na 100 studentów

 stosunek skumulowanej sumy publikacji do skumulowanej liczby cytowań

 udział prywatnych kontraktów w całkowitym budżecie uczelni

 skumulowana suma publikacji w latach 1995-1999

 skumulowana suma cytowań w latach 1995-1999

 liczba publikacji na 100 studentów

 skumulowana liczba absolwentów

 liczba absolwentów na 100 przyjętych studentów

uczelnie (45) FDH-O

170

171

Autorzy (rok) Kraj Nakłady Efekty DMU (liczba

jednostek) Model G. Kempkes, C. Pohl

(2006)

Niemcy  liczba pracowników naukowych

 liczba pracowników technicznych wydatki bieżące

 liczba absolwentów

 kwota dotacji na badania

uczelnie (72) VRS-O

 granty badawcze (£ na pracownika)

 wydatki inwestycyjne (£ na studenta)

 ocena badań naukowych (wynik RAE od 1 do 7 pomnożony przez liczbę pracowników)

 doktoranci i studenci ze średnimi ocenami jakości nauczania (Teaching Quality

Holandia  liczba doktorantów FTE

 liczba pracowników naukowych

 artykuły w czasopismach kategorii A i B

 publikacje naukowe międzynarodowe

 publikacje naukowe krajowe

zespoły

 ważona liczba studentów pierwszego roku

 liczba doktorantów FTE

 liczba pracowników naukowych i dydaktycznych

 łączna amortyzacja i odsetki

 wydatki na administrację

 wydatki na infrastrukturę biblioteczną i informatyczną

 ważona liczba absolwentów I stopnia

 liczba absolwentów studiów II i III stopnia

 wartość dotacji na badania o charakterze powtarzającym przyznana przez Radę

 liczba uniwersytetów z wydziałami ekonomicznymi

 publikacje w 10 topowych czasopismach ekonomicznych z lat 1980-1998

 utworzone firmy start-up

 złożone wnioski o patenty US

 liczba pracowników naukowych FTE

 liczba pracowników technicznych i pomocniczych FTE

 wydatki B+R ogółem (GERD)

 wydatki B+R do zasobów kapitałowych netto

 liczba patentów krajowych

 liczba patentów zarejestrowanych w USA

 roczna liczba publikacji

w międzynarodowych czasopismach indeksowanych w Science Citation Index (SCI) oraz Engineering Index (EI)

kraje (30) DEA, analiza tobitowa

171

172

Włochy  liczba profesorów (full professors)

 liczba profesorów nadzwyczajnych (associate professors)

 liczba pozostałych pracowników naukowych

 poziom finansowania z funduszy National Interest Research Projects

 liczba publikacji co najmniej jednego autora z danego uniwersytetu należących do obszaru naukowego

 wkład w publikacje (relacja pomiędzy liczbą autorów należących do danej dyscypliny naukowej i całkowitą liczbę autorów)

 siła naukowa (średnia ważona wszystkich publikacji z danego uniwersytetu w ramach każdej dyscypliny naukowej)

uczelnie (77) DEA-O

J. Johnes, L. Yu (2008) Chiny  relacja liczby pracowników FTE do liczby studentów

 procent wykładowców na stanowisku profesora

 udział doktorantów w ogólnej liczbie studentów

 wydatki na badania

 indeksy biblioteczne w przeliczeniu na studenta

 powierzchnia budynków

 prestiż

 ważona liczba publikacji naukowych

 liczba publikacji naukowych w przeliczeniu na pracowników naukowych

uczelnie (109) VRS-O

W. Meng, D. Zhang, L. Qi, W. Liu (2008)

Chiny  liczba pracowników naukowych

 wydatki na wyposażenie

 nakłady na badania

 rezultaty naukowe (zaproszone wykłady, publikacje, nagrody, opracowane patenty, raporty lub opracowanie norm krajowych)

 finansowanie zewnętrzne

Iran  liczba studentów studio I stopnia

 liczba pracowników akademickich FTE

 liczba absolwentów

 liczba artykułów naukowych

wydziały (17) CRS-O

P. Tyagi, S.P. Yadav, S.P. Singh (2009)

Indie  liczba pracowników akademickich

 liczba pracowników nieakademickich

 koszty operacyjne wydziału

 ważona liczba przyjętych studentów (studia I i II stopnia oraz doktoranckie)

 rozwój młodych pracowników nauki

 ważona suma rezultatów pracy naukowej

wydziały (19) CRS-O, VRS-O

172

173

Autorzy (rok) Kraj Nakłady Efekty DMU (liczba

jednostek) Model M. Katharaki, G.

Katharakis (2010)

Grecja  liczba pracowników naukowych

 liczba pracowników administracyjnych

 liczba zarejestrowanych studentów

 koszty operacyjne inne niż nakłady pracy

 liczba absolwentów studiów I, II i III stopnia

 przychody z tytułu prowadzonych badań naukowych lub całkowite zasoby finansowe na badanie, kształcenie i kadrę naukową

uczelnie (20) CRS-O

N.G. Tzeremes, G.E.

Halkos (2010)

Grecja  liczba pracowników naukowych

 liczba pracowników technicznych, administracyjnych i pomocniczych

 liczba studentów studiów I, II i III stopnia

 całkowity dochód (dotacja publiczna)

 dochody z badań naukowych

 liczba publikacji wydziały (16) CCR,

 wydatki na edukację i badania

 pomoc zarządcza na pozyskanie grantów badawczych

 wydatki ogólne i administracyjne darowizny

 maksymalne odchylenia

 liczba publikacji

 liczba studentów studiów I i II stopnia

 liczba monografii

 granty naukowe

 zyski ze współpracy z biznesem

uczelnie (31) CRS-I

G. Abramo, T. Cicero, C.A. D’Angelo (2011)

Włochy  pracownicy naukowi w podziale na stanowiska

Malezja  wydatki uniwersytetu

 liczba pracowników naukowych

 średnia ważona kwalifikacji pracowników naukowych (profesor 4 pkt., hab. 3 pkt., dr 2 pkt., magister 1 pkt.)

 liczba obiektów własności intelektualnej

uczelnie (30) joint DEA max

D. Zhang, R.D. Banker, X.

Li, W. Liu (2011)

Chiny  liczba pracowników naukowych FTE

 wydatki (nakłady) na działalność B+R

 łączna wartość wyposażenia B+R

 liczba doktorantów i studentów II stopnia

 publikacje naukowe w międzynarodowych czasopismach indeksowanych w bazach Science Citation Index (SCI), Engineering Index (EI), and Index to Scientific and Technical Proceedings (ISTP)

 cytowania w danym roku artykułów opublikowanych w ciągu poprzednich 5 lat

instytuty

 liczba publikacji w ostatnim roku

 średnia liczba publikacji z trzech lat

profesorowie (20)

SE-CRS

173

174

Autorzy (rok) Kraj Nakłady Efekty DMU (liczba

jednostek) Model W.-M. Lu (2012) Taiwan  koszty kształcenia

 inne koszty operacyjne

 koszty zarządzania i ogólne Zmienne pośrednie:

 nauczyciele w przeliczeniu na pełne etaty

 pracownicy administracyjni wspierający kształcenie

 infrastruktura informatyczna

 publikacje naukowe

 przychody z nauczania

 przychody dotowane

Grecja  liczba pracowników akademickich w podziale na stanowiska

 liczba pracowników administracyjnych, technicznych i pomocniczych

 liczba studentów

 całkowite nakłady na badania

 liczba absolwentów

 liczba publikacji wydziały (16) CRS, bootstrap

J. Berbegal-Mirabent, E. Lafuente, F. Solé (2013)

Hiszpania  liczba wykładowców

 liczba pracowników administracyjnych

 wydatki administracyjne

 nakłady B+R

 liczba absolwentów

 liczba wydanych publikacji w czasopismach indeksowanych w bazach ISI

 liczba utworzonych przedsiębiorstw spin-off

uczelnie (44) VRS-O

F. Jiménez-Sáez, J.M.

Zabala-Iturriagagoitia, J.L.

Zofίo (2013)

Hiszpania  liczba pracowników FTE

 wartość finansowania publicznego

 liczba studentów

 liczba prac doktorskich

 liczba publikacji międzynarodowych

 liczba zarejestrowanych patentów

 wartość umów z podmotami zewnętrznym

zespoły naukowe (51)

CRS

N.A.A. Aziz, R.M. Janor, R. Mahadi (2013)

Malezja  liczba pracowników naukowych

 liczba pracowników administracyjnych

 poziom rocznych kosztów operacyjnych

 liczba absolwentów w roku

 łączna kwota dotacji na badania

 liczba publikacji naukowych pracowników uczelni

wydziały (22) CRS-I

J. Wolszczak-Derlacz (2013)

Polska  liczba nauczycieli akademickich

 przychody ogółem

 publikacje indeksowane w WoS

 cytowania

 wartość grantów ministerialnych

uczelnie (31) CRS, VRS * Research Quantum jest rodzajem funduszy federalnych przyznawanych uczelni w uznaniu ich udziału w ogólnej działalności badawczej. Fundusze przyznawane są

na podstawie wskaźnika oceny wyników badań uczelni Composite Research Index, w którym publikacje uwzględniane są z wagą 12,5%.

** FTE (Full-time equivalent) – w przeliczeniu na pełne etaty multiplier model

Źródło: opracowanie własne na podstawie literatury.

174

175 Stosowane są zarówno zmienne bezpośrednie⁷⁹, wskaźniki syntetyczne⁸⁰ oraz zmienne standaryzowane⁸¹. Wskaźniki są liczone dla pojedynczych lat lub okresów. Wejścia są zwykle definiowane jako zasoby wykorzystywane przez DMU lub warunki wpływające na jego produktywność, a wyjścia stanowią efekt lub rezultat działań, albo korzyści uzyskane w wyniku działania DMU⁸².

Jako nakłady w analizowanych badaniach są stosowane zasadniczo trzy grupy zmiennych: zasoby kadrowe, nakłady finansowe oraz liczba studentów. W literaturze można jednak zauważyć pewną niezgodność w sprawie kwalifikacji zasobów finansowych. Całkowity dochód z badań występuje jako zarówno jako wejście, jak i wyjście w stosowanych modelach.

P. Tyagi, S.P. Yadav, S.P. Singh uzasadniają włączenie budżetu na naukę do grupy zmiennych wyjściowych w wypadku, gdy rozpatrywany jest jako efekt jakości badań, przy założeniu, że jednostka realizująca bardziej znaczące badania przyciąga więcej dochodu⁸³. Podobny pogląd wyrażają M. Abbott, C. Doucouliagos⁸⁴. Przychody na badania w trakcie roku (wydatki na badania) przyjmują jako zmienną wyjściową, ponieważ jej wielkość zależy od dotacji i finansowania grantów, które z kolei zależą od rezultatów działalności naukowej.

Przyjęto zatem, że jest oceną wielkości i jakości rezultatów badań naukowych jest poziom finansowania. Natomiast G. Johnes i J. Johnes zdecydowanie skłaniają się do uwzględniania wartości budżetu jako nakładów⁸⁵. Zgadzają się z poglądem, że finanse na badania odzwierciedlają rynkową wartość badań. Jednocześnie z dotacji i grantów finansowane są także zadania wspierające badania oraz wyposażenie, które stanowią nakłady w procesie produkcji wiedzy. Poziom finansowania jest skorelowany z rezultatami pracy naukowej, zatem uwzględnianie jednocześnie publikacji i grantów jako efektów modelu powoduje niepożądane wzmacnianie kryteriów oceny. Można zatem uznać, że rozstrzygnięcie tego zagadnienia zależy od celu badania. Podobną kwestię stanowi klasyfikacja mierników w zakresie studentów i absolwentów.

79 M. Katharaki, G. Katharakis, A comparative assessment of Greek universities’ efficiency using quantitative analysis, “International Journal of Educational Research” 2010, t. 49, s. 117-118.

80 G. Abramo, T. Cicero, C.A. D’Angelo, dz. cyt., s. 621.

81 W. Meng, D. Zhang, L. Qi, W. Liu, Two-level DEA approaches in research evaluation, “Omega” 2008, t. 36, s. 951-952.

82 P. Tyagi, S.P. Yadav, S.P. Singh, dz. cyt., s. 168-177.

83 N.G. Tzeremes, G.E. Halkos, A DEA approach for measuring university departments' efficiency, MPRA Paper 2010, nr 24029, s. 8, http://mpra.ub.uni-muenchen.de/24029/ [20.08.2013].

84 M. Abbott, C. Doucouliagos, The efficiency of Australian universities: a data envelopment analysis,

“Economics of Education Review” 2003, t. 22, s. 92.

85 G. Johnes, J. Johnes, Measuring the research performance of UK economics departments: an application of Data Envelopment Analysis, “Oxford Economics Papers” 1993, t. 45, s. 338.

176 Badacze wyrażają natomiast koherentny pogląd w sprawie publikacji i patentów jako głównych predyktorów produktywności nauki.

Głównym ograniczeniem prezentowanych badań jest trudność w uzyskaniu odpowiednich i szczegółowych danych. Panuje ogólny pogląd, że jest to najbardziej dyskusyjny etap badań i ma wpływ na uzyskiwane wyniki. Potwierdzają to analizy wrażliwości modeli⁸⁶. Autorzy badań przyznają, że arbitralność wyboru zmiennych jest słabością przeprowadzonych badań, dlatego dobór nakładów i efektów przyjętych do oceny działalności w sektorze szkolnictwa wyższego często jest krytykowany za nieadekwatność zmiennych i selekcję sprzyjającą analizie efektywności⁸⁷.

Wybór modelu DEA do analizy jest mniej dyskusyjny. Większość badań prezentuje klasyczne podejście. Stosowane modele CRS i VRS uzupełniane są natomiast często o dodatkowe modyfikacje. G.E. Halkos, N.G. Tzeremes i S.A. Kourtzidis zaproponowali zastosowanie metody bootstrapowej do pomiaru efektywności instytucji w badaniach efektywności wydziałów Uniwersytetu w Tesalii w Grecji zaproponowanych przez G.E. Halkosa, N.G. Tzeremesa, S.A. Kourtzidisa⁸⁸. Badania stanowią kontynuację badań z 2010 roku⁸⁹. Dwuetapowy model DEA (two-level DEA model) do pilotażowej oceny 15 instytutów Chińskiej Akademii Nauk zaproponowali W. Meng, D. Zhang, L. Qi, W. Liu⁹⁰ oraz W.M. Lu, gdzie dodatkowo zastosowano również model regresji uciętej (truncated regression model) w celu sprawdzenia czy kapitał intelektualny wpływa na efektywność pracy uczelni⁹¹. Dodatkowe analizy zmiany produktywności w czasie z zastosowaniem indeksu Malmquista D. Zhang, R.D. Banker, X. Li, W. Liu⁹². S.Y. Sohn, Y. Kim dla przyjętego zestawy zmiennych zaproponowali model nadefektywności, indeks Malmquista oraz analizę okienkową dla liczby publikacji⁹³. J.C. Glass i in. wskazują zastosowanie nieradialnych modeli DEA⁹⁴. C.T. Kuah, K.Y. Wong proponują zastosowanie modelu joint DEA maximization, który znajduje swoje zastosowanie w wypadku współdzielonych nakładów. Dodatkowe analizy

86 G. Johnes, J. Johnes, dz. cyt., s. 332-347; N.A.A. Aziz, R.M. Janor, R. Mahadi, Comparative departmental efficiency analysis within a university: A DEA approach, “Procedia – Social and Behavioral Sciences” 2013, t. 90, s. 540-548.

87 P. Tyagi, S.P. Yadav, S.P. Singh, dz. cyt., s. 170.

88 G.E. Halkos, N.G. Tzeremes, S.A. Kourtzidis, dz. cyt., s. 1-24.

89 N.G. Tzeremes, G.E. Halkos, dz. cyt.

90 W. Meng, D. Zhang, L. Qi, W. Liu, dz. cyt., s. 950-957.

91 W.-M. Lu, Intellectual capital and university performance in Taiwan, “Economic Modelling” 2012, t. 29, s. 1081-1089.

92 D. Zhang, R.D. Banker, X. Li, W. Liu, dz. cyt., s. 875-885.

93 S.Y. Sohn, Y. Kim, dz. cyt., s. 8274-8278.

94 J.C. Glass, G. McCallion, D.G. McKillop, S. Rasaratnam, K.S. Stringer, Implications of variant efficiency measures for policy evaluations in UK higher education, “Socio-Economic Planning Sciences” 2006, t. 40, s. 119-142.

177 stanowią głównie uzupełnienie modeli głównych. Często dla danego zestawu zmiennych proponowanych jest kilka modeli z różnych układem zmiennych i dokonywane są porównania wyników. Modele z różnym układem zmiennych stosowali B. Taylor, G. Harris (7 modeli)⁹⁵, E. Martín (4 modele)⁹⁶. S. Aoki, K. Inoue, R. Gejima (8 modeli)⁹⁷, G. Johnes i J. Johnes (192 modele)⁹⁸.

Wiele opracowań ma charakter poglądowy i wskazuje na możliwość zastosowania specyficznych modeli. Inne ukierunkowane są na użyteczność wyników, informacji z analiz.

Badania mają na ogół charakter ogólny i w zasadzie poglądowy. Tylko niektóre badania projektowane są jako propozycja zastosowania, szczególnie do kształtowania polityki naukowej.

Wyniki wszystkich badań pokazują zróżnicowanie DMU. Badania pokazują jednak, że im więcej zmiennych, tym więcej jednostek efektywnych⁹⁹.

Odnosząc się do poziomu prowadzonej analizy, G. Kempkes i C. Pohl zastosowali metodę DEA oraz SFA do oceny uniwersytetów w Niemczech. Następnie przeprowadzili analizy porównawcze wyników. Autorzy sugerują, iż metoda DEA nie jest odpowiednia do analizy efektywności na poziomie uniwersytetu, ponieważ uniwersytety są zbyt niejednorodne.

Wskazują jednak na zastosowanie metody DEA do analizy na poziomie wydziałów¹⁰⁰.

Szczególne znaczenie w ocenie produktywności badawczej miały badania podjęte w Australii, Włoszech, Hiszpanii i Wielkiej Brytanii. W ostatnich latach zainteresowanie tą problematyką można zauważyć również w środowisku chińskim.

W Australii wiodące badania, potwierdzone licznymi cytowaniami w literaturze międzynarodowej, prowadzili M. Abbott, C. Doucouliagos¹⁰¹ oraz N.K. Avkiran¹⁰².

M. Abbott i C. Doucouliagos w 2003 roku przeprowadzili badania pomiaru efektywności technicznej i skali w odniesieniu do działalności naukowej i dydaktycznej.

Badania przeprowadzili w dwóch etapach. W pierwszym badaniu przeprowadzono procedurę DEA dla wszystkich uczelni (tabela 5.3). Następnie DMU podzielono na odrębne kategorie według dwóch kryteriów: poziomu relacji wskaźnika Research Quantum i EFTS (liczba

95 B. Taylor, G. Harris, dz. cyt., s. 73-89.

96 E. Martín, An application of the Data Envelopment Analysis methodology in the performance assessment of the Zaragoza University Departments, 20 s., http://ideas.repec.org/p/zar/wpaper/dt2003-06.html [20.08.2013].

97 S. Aoki, K. Inoue, R. Gejima, Data envelopment analysis for evaluating Japanese universities, “Artif Life Robotics” 2010, t. 15, s. 165-170.

98 G. Johnes, J. Johnes, dz. cyt., s. 332-347.

99 K.H. Leitner, M. Schaffhauser-Linzatti, R. Stowasser, K. Wagner, dz. cyt., s. 528-543.

100 G. Kempkes, C. Pohl, The efficiency of German universities – some evidence from non-parametric and parametric methods, Institute for Economic Research at the University of Munich, IFO Working Paper 2006, nr 36, s. 23.

101 M. Abbott, C. Doucouliagos, dz. cyt., s. 89-97.

102 N.K. Avkiran, dz. cyt., s. 57-80.

178 studentów w przeliczeniu na studentów studiujących w pełnym wymiarze) oraz zasięgu uczelni wyszczególniając uczelnie regionalne i miejskie. Autorzy podkreślają istotność warunku o jednorodności DMU. Wskazują, iż uczelnie finansowane z innych lub dodatkowych źródeł rządowych mogą ograniczać analizy. Podkreślają także znaczenie efektów skali. Podają, że australijski rząd w dążeniu do poprawy skuteczności systemu szkolnictwa wyższego przez wykorzystanie efektu skali i zakresu, skonsolidował dużą liczbę instytucji szkolnictwa wyższego w niewielką liczbę wielkich multikampusowych uniwersytetów.

N.K. Avkiran z kolei zaprezentował trzy modele: ogólnej efektywności uwzględniający działalność naukową, efektywności usług edukacyjnych oraz efektywności rekrutacji studentów finansujących studia.

We Włoszech G. Abramo, C.A. D’Angelo i F. Pugini (2008) podjęli się opracowania alternatywnej do rządowego systemu, metodyki pomiaru i oceny działań naukowo-badawczych w sektorze publicznym, aby zastosować go do włoskiego systemu w celu pokonania ograniczeń związanych z metodami stosowanymi przez rząd¹⁰³. Oceny działań naukowych dokonano w dwóch etapach: przy zastosowaniu modeli radialnych DEA w 9 obszarach dyscyplin naukowych, zwanych skrótowo UDA (University Disciplinary Areas), w drugim, przez budowę globalnego indeksu produktywności DEA dla każdego uniwersytetu w odpowiednim połączeniu ważonej sumy punktów uzyskanych w poszczególnych obszarach. To pozwoliło pokonać, zdaniem autorów, ograniczenia techniczne i metodologiczne związane z niejednorodnością obszarów naukowych w uczelniach, szczególnie w zakresie i intensywności publikowania między różnymi obszarami oraz reprezentatywności w zakresie czasopism w bazach danych źródłowych, umożliwiając w ten sposób bardziej spójną i solidną analizę porównawczą uniwersytetów. Do badania wybrano metodę DEA ze względu na to, iż eliminuje zakłócenia w pomiarze wydajności ze względu na możliwość uwzględnienia zmiennych korzyści skali czynników produkcji. Dane obejmowały lata 2001-2003.

Takie podejście, zdaniem autorów, pozwala pokonać słabości analiz bibliometrycznych przez uwzględnienie częstości występowania różnych form nakładów i efektów działalności badawczej. Co ważne, zostały uwzględnione trzy parametry: ilość, jakość i wkład. Pomiar na poziomie obszarów naukowych ogranicza zakłócenia wynikające z heterogeniczności zasobów. Autorzy podkreślają, że w zastosowanym podejściu, gdzie każdy wynik powiązany był z indywidualnym pracownikiem naukowym, osiągnięto wysoką dokładność pomiaru. Autorzy sugerują również zastosowanie cytowań zamiast liczby

Takie podejście, zdaniem autorów, pozwala pokonać słabości analiz bibliometrycznych przez uwzględnienie częstości występowania różnych form nakładów i efektów działalności badawczej. Co ważne, zostały uwzględnione trzy parametry: ilość, jakość i wkład. Pomiar na poziomie obszarów naukowych ogranicza zakłócenia wynikające z heterogeniczności zasobów. Autorzy podkreślają, że w zastosowanym podejściu, gdzie każdy wynik powiązany był z indywidualnym pracownikiem naukowym, osiągnięto wysoką dokładność pomiaru. Autorzy sugerują również zastosowanie cytowań zamiast liczby

W dokumencie rozprawa doktorska Promotor: (Stron 167-182)