Wybrane operatory agregacji i ich zastosowanie
w modelu formalnym
systemu oceny jakości w nauce
Marek Gągolewski
ROZPRAWA DOKTORSKA
Promotor: dr hab. Przemysław Grzegorzewski, prof. PAN
Warszawa 2011
Przede wszystkim pragnę podziękować mojemu Promotorowi, p. dr. hab. Przemysławowi Grzegorzewskiemu,
którego wkład w powstanie niniejszej rozprawy sięga daleko ponad opiekę stricte naukową.
Dziękuję prof. Olgierdowi Hryniewiczowi, prof. Januszowi Kacprzykowi
oraz dr. Konstantemu Junoszy-Szaniawskiemu za wiele ciekawych uwag i służenie dobrą radą.
Dziękuję Dyrekcji Instytutu Badań Systemowych PAN za możliwość prowadzenia badań naukowych
w odpowiednich, nieskrępowanych warunkach oraz moim Kolegom i Koleżankom —
sprawiliście, że praca ta była przyjemnością.
Nauczycielom — za ukazanie piękna nauki.
Przyjaciołom — za wsparcie.
Rodzicom — za cierpliwość i podjęcie trudu wychowania młodego naukowca.
Spis tablic 7
Spis rysunków 9
Wprowadzenie 13
0.1 Przedmiot i zakres rozprawy . . . 13
0.2 Podstawowa hipoteza i metoda badawcza . . . 17
0.3 Układ rozprawy . . . 18
0.4 Uwagi o oprogramowaniu . . . 20
0.5 Oznaczenia . . . 20
1 Ocena dorobku naukowego na poziomie indywidualnym 23 1.1 Jakość w pracy naukowej . . . 24
1.1.1 Pojęcie jakości . . . 24
1.1.2 Sterowanie jakością . . . 25
1.2 Naukometria i bibliometria . . . 27
1.3 Bazy danych o publikacjach i cytowaniach . . . 28
1.3.1 Udostępniane informacje . . . 28
1.3.2 Komercyjne bazy danych . . . 29
1.4 Liczba cytowań jako miara jakości publikacji . . . 31
1.4.1 Zależność od dyscypliny naukowej . . . 31
1.4.2 Teorie motywów cytowań . . . 32
1.4.3 Samocytowania . . . 33
1.4.4 Cytowanie jako proces dynamiczny . . . 34
1.4.5 Rzetelność źródeł danych . . . 34
1.4.6 Inne sposoby oceny jakości publikacji . . . 36
1.5 Czynnik ludzki . . . 36
1.6 Uproszczenie: Model wyidealizowanego rynku naukowego . . . 38
1.7 Uogólnienie: Problem Oceny Producentów . . . 40
2 Funkcje wpływu jako operatory agregacji 43 2.1 Funkcje agregujące . . . 43
2.2 Funkcje wpływu . . . 44
2.3 Transformacje funkcji wpływu . . . 47
2.3.1 Przekształcenia wektorów wejściowych . . . 47
2.3.2 Przekształcenia wartości wynikowej . . . 48
2.4 Przegląd najpopularniejszych funkcji wpływu . . . 49
2.4.1 Klasyczne indeksy bibliometryczne . . . 50
2.4.2 Indeks h i jego modyfikacje . . . 50
2.4.3 Indeks g . . . 52
2.4.4 Indeksy rp . . . 53
2.4.5 Indeksy lp . . . 55
2.4.6 L-statystyki . . . 60
2.4.7 Quasi-L-statystyki . . . 63
2.4.8 S-statystyki . . . 65
2.4.9 Quasi-S-statystyki . . . 67
3 Analiza aksjomatyczna 71 3.1 Wprowadzenie . . . 71
3.1.1 Modelowanie aksjomatyczne . . . 72
3.1.2 Własności niezależne od arności . . . 73
3.1.3 Własności odnoszące się do porządku . . . 75
3.2 Podejście normatywne . . . 76
3.2.1 Ciągłość . . . 77
3.2.2 Ścisła monotoniczność ze względu na każdą zmienną . 77 3.2.3 Ścisła monotoniczność ze względu na długość ciągu . . 77
3.2.4 Idempotentność . . . 78
3.2.5 a-niewrażliwość . . . 79
3.2.6 F -niewrażliwość i F +wrażliwość . . . 79
3.2.7 Nasycalność . . . 80
3.2.8 Addytywność i maksytywność . . . 80
3.2.9 Opis skutków złączania wektorów . . . 83
3.2.10 Niezmienniczość ze względu na skalę porządkową . . . 84
3.2.11 Porównywalność na skali porządkowej . . . 85
3.3 Podejście opisowe . . . 86
3.3.1 Wybrane charakteryzacje indeksów bibliometrycznych . 86 3.3.2 Charakteryzacja L- i quasi-L-statistyk . . . 87
3.3.3 Charakteryzacja S- i quasi-S-statistyk . . . 88
3.4 Podejście porównawcze . . . 89
3.4.1 L-statystyki . . . 90
3.4.2 Quasi L-statystyki . . . 92
3.4.3 S-statystyki . . . 94
3.4.4 Quasi S-statystyki . . . 95
3.4.5 Inne funkcje wpływu . . . 98
4 Analiza stochastyczna 99 4.1 Modele procesu produkcji/oceniania . . . 99
4.1.1 Model deterministyczny o stałej produktywności i przyrostach ocen . . . 99
4.1.2 Model deterministyczny oparty na prawie Lotki . . . . 100
4.1.3 Model Burrella . . . 101
4.1.4 Model ocen i.i.d. Przegląd rozkładów . . . 103
4.2 Indeks ̺ i teoretyczny indeks Hirscha . . . 114
4.3 Własności S-statystyk i indeksu h w modelu i.i.d. . . 118
4.3.1 Rozkład S-statystyk i indeksu h . . . 119
4.3.2 Silna zgodność S-statystyk . . . 121
4.3.3 Rozkład asymptotyczny S-statystyk . . . 123
4.4 Estymacja punktowa teoretycznego indeksu Hirscha . . . 128
4.5 Estymacja przedziałowa indeksu ̺ i teoret. indeksu Hirscha . . 134
4.5.1 Przedziały ufności dla indeksu ̺ . . . 134
4.5.2 Asymptotyczne przedziały ufności dla indeksu ̺ . . . . 137
4.5.3 Przedziały ufności dla teoretycznego indeksu Hirscha . 140 4.6 Weryfikacja hipotezy dotyczącej równości dwóch rozkładów . . 144
4.6.1 Testy dwupróbkowe oparte na różnicy indeksów h . . . 144
4.6.2 Test F dla rozkładu Pareto II rodzaju . . . 150
4.6.3 Porównanie mocy wybranych testów . . . 153
4.6.4 Test asymptotyczny oparty na różnicy indeksów h . . . 160
5 Analiza posybilistyczna 163 5.1 Krytyka wyidealizowanego rynku naukowego . . . 163
5.2 Teoria możliwości . . . 166
5.3 Ocena jakości w perspektywie dynamicznej . . . 167
5.3.1 Operatory o mierzalnych kosztach wzrostu . . . 167
5.3.2 Rozkład możliwości wpływu . . . 170
5.3.3 Predykcja oparta na metrykach kosztu wpływu . . . . 171
5.3.4 Predykcja oparta na funkcjach odkrywających . . . 172
5.4 Przykładowa analiza . . . 172
6 Analiza empiryczna danych bibliometrycznych 175 6.1 SciVerse Scopus . . . 175
6.1.1 Ocena jakości nowych i już subskrybowanych źródeł . . 177
6.1.2 ASJC: Klasyfikacja źródeł . . . 178
6.1.3 Typy indeksowanych dokumentów . . . 179
6.2 Schemat relacyjnej bazy danych (LBS) . . . 180
6.3 Próba badawcza . . . 183
6.3.1 Importowanie danych pobranych z bazy Scopus . . . . 184
6.3.2 Wstępne przetwarzanie i czyszczenie danych . . . 185
6.3.3 Opis próby . . . 187
6.4 Wyniki analizy . . . 194
6.5 Weryfikacja hipotezy o rozkładzie analizowanych danych . . . 203
Zakończenie 211 A Wybrane algorytmy 215 A.1 Wyznaczanie wartości funkcji wpływu . . . 215
A.1.1 Indeks h . . . 215
A.1.2 Indeks rp . . . 218
A.1.3 Indeks lp . . . 218
A.2 Poprawa obszaru akceptacji testu opartego na indeksie h . . . 221
B Biblioteka CITAN 225 B.1 Opis biblioteki . . . 225
B.2 Możliwe zastosowania . . . 227
B.3 Słownik pojęć . . . 228
B.4 Wykaz funkcji i zbiorów danych . . . 229
B.4.1 Wyznaczanie wartości funkcji wpływu . . . 230
B.4.2 Przetwarzanie danych bibliograficznych . . . 232
B.4.3 Obliczenia statystyczne dla dowolnych rozkładów ciągłych . . . 243
B.4.4 Obliczenia statystyczne dla rozkładów z rodziny P2(k, s) . . . 244
B.4.5 Wizualizacja analizowanych danych . . . 249
Bibliografia 251
Skorowidz symboli 267
1.1 Liczba cytowań wybranych publikacji podana przez różne bibliograficzne bazy danych. . . 35 1.2 Przykładowe obszary zastosowań Problemu Oceny Producentów. 41 2.1 Wartości różnych funkcji wpływu w przykładzie 2.4.6. . . 55 2.2 Wartości indeksów lp w przykładzie 2.4.6. . . 60 2.3 Zrzutowane do I wartości indeksów lp w przykładzie 2.4.6. . . 60 3.1 Własności wprowadzone w rozdz. 3.2 i 3.3. . . 76 3.2 Analiza porównawcza wybranych funkcji wpływu. . . 98 4.1 Obciążenie i odchylenie standardowe wybranych estymatorów
teoretycznego indeksu Hirscha dla różnych rozkładów z ro- dziny Pareto II rodzaju, cz. I. . . 131 4.2 Obciążenie i odchylenie standardowe wybranych estymatorów
teoretycznego indeksu Hirscha dla różnych rozkładów z ro- dziny Pareto II rodzaju, cz. II. . . 132 4.3 Obciążenie i odchylenie standardowe wybranych estymatorów
teoretycznego indeksu Hirscha dla różnych rozkładów z ro- dziny Pareto II rodzaju, cz. III. . . 133 4.4 Granice 95% i 99% przedziałów ufności dla teoretycznego in-
deksu Hirscha w rodzinie rozkładów P2(k, 1). . . 141 4.5 Granice 95% i 99% przedziałów ufności dla teoretycznego in-
deksu Hirscha w rodzinie rozkładów P2(k, 2). . . 142 4.6 Własności testów opartych na różnicy indeksów h w rodzinie
rozkładów P2(k, 1), α = 0,05, obustronna hipoteza alterna- tywna. . . 145 4.7 Granice obszaru akceptacji testu ϕeZ wyznaczone za pomocą
funkcji pareto2.htest(), cz. I. . . 148 4.8 Granice obszaru akceptacji testu ϕeZ wyznaczone za pomocą
funkcji pareto2.htest(), cz. II. . . 149 4.9 Przybliżone prawdopodobieństwa popełnienia błędu I rodzaju
przez asymptotyczny test oparty na różnicy indeksów h. . . . 161
4.10 Porównanie przybliżonej mocy różnych testów dyskryminacyj-
nych w rodzinie rozkładów P2(k, 1). . . 162
6.1 Kategorie nadrzędne kodów ASJC służących klasyfikacji źró- deł w bazie Scopus. . . 179
6.2 Najlepiej oceniani autorzy w dziedzinie naukometrii i webo- metrii. . . 196
6.3 Współczynniki korelacji rangowej Spearmana dla wszystkich rozpatrywanych autorów. . . 198
6.4 Wyniki oceny autorów o uznanym dorobku, cz. I. . . 199
6.5 Wyniki oceny autorów o uznanym dorobku, cz. II. . . 200
6.6 Wyniki oceny autorów o uznanym dorobku, cz. III. . . 201
6.7 Wyniki oceny autorów o uznanym dorobku, cz. IV. . . 202
A.1 Porównanie czasów działania algorytmów wyznaczających war- tość indeksu h dla posortowanych losowych danych wejścio- wych z różnych rozkładów. . . 216
2.1 Sfery w metryce Lp, p = 1, 2, ∞. . . 53 2.2 Graficzna interpretacja indeksów rp w przykładzie 2.4.6. . . . 56 2.3 Graficzna interpretacja indeksów lp w przykładzie 2.4.6. . . 59 4.1 Graficzna reprezentacja modelu Burrella. . . 102 4.2 Obciążenie i odchylenie standardowe różnych estymatorów pa-
rametrów rozkładu P2(1, 1). . . 108 4.3 Obciążenie i odchylenie standardowe różnych estymatorów pa-
rametrów rozkładu P2(2, 2). . . 109 4.4 Obciążenie i odchylenie standardowe różnych estymatorów pa-
rametrów rozkładu P2(5, 0,5). . . 110 4.5 Obciążenie i odchylenie standardowe wybranych estymatorów
parametrów rozkładu DP2(2, 2). . . 112 4.6 Obciążenie i odchylenie standardowe wybranych estymatorów
parametrów rozkładu DP2(1,5, 1,5). . . 113 4.7 Graficzna interpretacja indeksu ̺. . . 115 4.8 Wartości indeksu ̺ w zależności od parametru kształtu i skali
rozkładu Pareto II rodzaju. . . 115 4.9 Wartości indeksu ̺ względem różnych funkcji kontrolnych
w zależności od parametru kształtu rozkładu Pareto II rodzaju.116 4.10 Wartości teoretycznego indeksu Hirscha dla różnych rozkła-
dów z rodziny Pareto II rodzaju w zależności od n. . . 117 4.11 Obciążenie S-statystyk jako estymatorów indeksu ̺. . . 125 4.12 Aproksymacja rozkładu Ven dla danych z rozkładu B(0,5, 0,5). . 126 4.13 Aproksymacja rozkładu Ven dla danych z rozkładu B(10, 3). . . 127 4.14 Obciążenie i odchylenie standardowe wybranych estymatorów
teoretycznego indeksu Hirscha, cz. I. . . 129 4.15 Obciążenie i odchylenie standardowe wybranych estymatorów
teoretycznego indeksu Hirscha, cz. II. . . 130 4.16 Granice dokładnych 95% przedziałów ufności dla indeksu ̺
opartych na różnych funkcjach kontrolnych κ w wybranych podrodzinach rozkładu Pareto II rodzaju. . . 136
4.17 Przykładowe granice dokładnych i asymptotycznych 95% prze-
działów ufności dla indeksu ̺. . . 138
4.18 Prawdopodobieństwo pokrycia indeksu ̺ dokładnymi i asymp- totycznymi przedziałami ufności dla wybranych rozkładów. . . 139
4.19 Szerokości 95% i 99% przedziałów ufności dla teoretycznego indeksu Hirscha w rodzinie rozkładów P2(k, 1). . . 143
4.20 Porównanie funkcji mocy πn,·(̺, ̺) (spełniona hipoteza ze- rowa) testów ϕ i ϕeZ dla różnych n. . . 151
4.21 Porównanie funkcji mocy πn,·(̺, ̺ + δ) (niespełniona hipoteza zerowa) testów ϕ i ϕeZ dla różnych δ ∈ {0,01, 0,05, 0,1}. . . 152
4.22 Wykres funkcji mocy wybranych testów, cz. I. . . 154
4.23 Wykres funkcji mocy wybranych testów, cz. II. . . 155
4.24 Wykres funkcji mocy wybranych testów, cz. III. . . 156
4.25 Wykres funkcji mocy wybranych testów, cz. IV. . . 157
4.26 Wykres funkcji mocy wybranych testów, cz. V. . . 158
4.27 Wykres funkcji mocy wybranych testów, cz. VI. . . 159
5.1 Rozkład możliwości wpływu w przykładzie 5.4.1. . . 173
5.2 Rozkład możliwości wpływu w przykładzie 5.4.2. . . 174
6.1 Schemat bazy danych tworzonej przez funkcję lbsCreate(). . 182
6.2 Jedna z grup powtarzających się dokumentów wskazana przez funkcję lbsFindDuplicateTitles(). . . 186
6.3 Przykładowe grupy powtarzających się autorów wskazane przez funkcję lbsFindDuplicateAuthors(). . . 187
6.4 Próba badawcza: typy dokumentów. . . 188
6.5 Próba badawcza: kategorie ASJC dokumentów. . . 189
6.6 Próba badawcza: liczba stron dokumentów w zależności od typu.190 6.7 Próba badawcza: liczba publikacji przypadająca na autora. . . 190
6.8 Próba badawcza: czas publikacji dokumentów. . . 191
6.9 Próba badawcza: liczba cytowań na dokument. . . 193
6.10 Próba badawcza: liczba cytowań cytowanych dokumentów w za- leżności od typu. . . 193
6.11 Rozkład empiryczny p-wartości testu zgodności χ2 z rozkła- dem DP2 dla rozpatrywanych ciągów cytowań. . . 203
A.1 Ilustracja w dowodzie tw. A.1.1. . . 219
6.1 Kod SQL wywoływany przez funkcję lbsCreate(), cz. I. . . . 205 6.2 Kod SQL wywoływany przez funkcję lbsCreate(), cz. II. . . 206 6.3 Kod SQL wywoływany przez funkcję lbsCreate(), cz. III. . . 207 6.4 Kod SQL wywoływany przez funkcję lbsCreate(), cz. IV. . . 208 6.5 Kod SQL wywoływany przez funkcję lbsCreate(), cz. V. . . 209 A.1 Algorytm wyznaczający wartość indeksu h w czasie O(n). . . . 217 A.2 Algorytm wyznaczający wartość indeksu h w czasie O(log n). . 217 A.3 Algorytm wyznaczający wartość indeksu rp dla p ∈ [1, ∞). . . 217 A.4 Algorytm wyznaczający wartość indeksu lp dla p ∈ [1, ∞). . . 220 A.5 Procedura pomocnicza wywoływana przez alg. A.4. . . 221 A.6 Algorytm poprawiający granice obszaru akceptacji testu h. . . 223
Jaką miarą sami mierzyć będziecie, taką i wam odmierzą.
/ Mt 7,2b /
0.1
Przedmiot i zakres rozprawy
W roku 2005 Jorge E. Hirsch zaproponował indeks h służący do oceny jakości Indeks h dorobku publikacyjnego naukowców [107]. Indeks ten jest funkcją określoną
na zbiorze ciągów liczbowych o dowolnej długości, których wyrazy są równe liczbie cytowań poszczególnych prac rozpatrywanego autora. Formalnie, jest to największa liczba naturalna H taka, że H elementów ciągu wejściowego ma wartość co najmniej H.
Dla przykładu załóżmy, iż w przypadku dr. Prężnego mamy H = 13. Zna- czy to, że 13 jego publikacji jest cytowanych co najmniej 13 razy, a pozostałe prace — co najwyżej 13 razy.
Indeks h szybko zyskał popularność [por. 9, 24, 75, 124], czego wyra- zem może być niemała liczba cytowań wspomnianego artykułu źródłowego1. Narzędzie to stało się motorem rozwoju podgałęzi naukometrii, która przed- miotem swej refleksji uczyniła tzw. indeksy bibliometryczne na poziomie in- dywidualnym, czyli mikroskopowym [por. 90]. Jego wpływ jest tak duży, że bibliometrzy skorzy są nawet dzielić rozwój swej dziedziny na okres „przed Hirschem” i „po Hirschu” [154].
1Bibliograficzne bazy danych podały 7 czerwca 2011 r. następującą liczbę cytowań pracy [107]: Thomson Web of Science 696, Elsevier SciVerse Scopus 838, Google Scholar 1530.
Dostępna jest także prywatna strona internetowa jednego z badaczy, zawierająca wykaz publikacji dotyczących indeksu h (753 pozycji): http://sci2s.ugr.es/hindex/biblio.php.
W literaturze przedmiotu rozpatruje się różne własności indeksu h. Włas-
Wczesne podejście do
analizy ności te formułowane są jednak najczęściej w sposób tylko opisowy, w dodatku niejasny, nieprecyzyjny. Dla zobrazowania tego stanu rzeczy zacytujmy tutaj kilka z nich. Wśród zalet indeksu h wymienia się więc m.in.:
• wyrażenie za pomocą jednej liczby — w pewnym (jakim?) sensie —
Zalety
indeksu h zarówno zdolności autora do publikowania prac o wysokiej liczbie cy- towań jak i jego produktywności [62, 160],
• niewrażliwość na artykuły o małej liczbie cytowań [62, 114],
• niewrażliwość na artykuły o niewspółmiernie dużej liczbie cytowań, a tym samym odporność na brak pełnej informacji bibliograficznej po- bieranej z komputerowych baz danych [62, 90, 160, 181],
• własność monotoniczności (akumulacji): wartość indeksu h nigdy nie maleje w czasie [22],
• prostota procedury wyznaczania wartości indeksu h za pomocą dostęp- nych baz danych: wystarczy posortować wyniki względem liczby cyto- wań w kolejności nierosnącej i rozpatrzeć kilka/kilkanaście pierwszych rekordów [22, 47, 160],
• intuicyjność interpretacji [9],
• obiektywność: ocena autora dokonuje się na podstawie jasno określo- nych, nieuznaniowych kryteriów [9, 47],
• itd.2
Do dziś ukazało się kilkadziesiąt prac proponujących narzędzia alternatywne dla indeksu h [por. 7, 62, 114, 119, 166], jak też indeksy uzupełniające, np. pozwalające uzyskać dodatkowe informacje o dorobku danego autora [zob. 25, 77, 154]. Miały one rozwiązywać różne, rzekome wady tego na- rzędzia, w tym:
• nieuwzględnianie dokładnej liczby odniesień bibliograficznych do in-
Wady indeksu h
tensywnie cytowanych artykułów: indeks h pozwala oszacować z dołu liczbę wszystkich cytowań wartością H2, nie dając jednocześnie ogra- niczenia górnego [7, 62, 114],
• sprowadzanie wielowymiarowej, złożonej rzeczywistości do jednej liczby3 [32, 89, 180],
2Np. w pracy [160] podaje się: It is a better index than total number of publications and total number of citations alone (autor w żaden sposób nie uzasadnia tego stwierdzenia) oraz It encourages high quality [...] work.
3Jeden z autorów tak uzasadnia swój argument: it is not wise to force the assessment of researchers [...] into just one measure, because it reinforces the opinion [...] that scientific performance can be expressed simply by one note [zob. 180].
• korelacja ze stażem naukowym autora [90, 115, 141],
• znaczne ryzyko spoczęcia na laurach w przypadku wybitnych naukow- ców; niedocenianie młodych pracowników nauki [114, 154],
• wartość indeksu h nie może przekroczyć liczby publikacji, co stawia w gorszej sytuacji osoby o uznanym, choć nielicznym dorobku [90],
• wartość indeksu nie mówi nic o rozkładzie cytowanych wartości [48, 81, 119],
• indeks h nie bierze pod uwagę kontekstu dziedziny, z której wywodzą się przetwarzane dane, np. jak wypada dany autor na tle innych na- ukowców [25].
Zwróćmy uwagę, że część z przytoczonych uwag jest ściśle związana z na- turą przetwarzanych danych. Nierzadko dyskusja bibliometrów skupiała się np. na adekwatności liczby cytowań jako miary jakości publikacji. Jako zu- pełnie nowe funkcje oceniające podawane były modyfikacje indeksu h, któ- rych różnica w stosunku do oryginalnego rozwiązania sprowadza się tylko do tego, że ich wartości są wyznaczone na podstawie przekształconych da- nych wejściowych. Badacze rozpatrywali m.in. „nowe indeksy” z pominiętymi samocytowaniami [165], uwzględniające czas powstania pracy [174] czy zli- czające ułamkowo cytowania w przypadku prac popełnionych przez więcej niż jednego autora [166]. Jeszcze inni mnożyli byty ponad potrzebę wprowa- dzając pozornie nowatorskie narzędzia przeznaczone do oceny pojedynczych prac [169], czasopism [28, 181], patentów [100], grup badaczy [76, 180] czy instytucji naukowych lub całych krajów [19]; zob. także przegląd w [3].
Ponadto, w literaturze naukometrycznej dokonywano wielu analiz porów- Analiza
empiryczna
nawczych na podstawie danych empirycznych pobranych z komputerowych baz cytowań, takich jak Web of Science, SciVerse Scopus czy Google Scho- lar. Zestawiano (korelowano) wartości różnych indeksów dla wybranej grupy autorów, np. laureatów bibliometrycznej nagrody Price’a [62, 114], członków Amerykańskiego Towarzystwa Fizycznego [108], badaczy z dziedziny zasobów naturalnych [47] itd. Rozważano także związki wyników oceny z opiniami re- cenzentów (ang. peer-review) [21, 147] i pozycją akademicką [113].
Aż do roku 2008 nie pojawiły się jednak wyniki teoretyczne, w których Próby
formalizacji
zostałaby dokonana formalizacja pewnych pojęć występujących w tej dzie- dzinie. Deterministyczny model Egghego oparty na prawie potęgowym Lotki (ang. Lotka power law bądź Lotkaian informetrics, zob. rozdz. 4.1.2), analizo- wany głównie przez swojego twórcę, wydawał się bowiem nie budzić większego zainteresowania wśród innych badaczy [62, 63, 65–70, 114, 159].
Dopiero Woeginger [186, 187] zaproponował, że można ograniczyć się do analizy klasy funkcji monotonicznych ze względu na każdą zmienną i rów- nocześnie monotonicznych ze względu na długość rozpatrywanego ciągu. Od tego czasu pojawiło się kilka charakteryzacji indeksów, czyli twierdzeń typu
„funkcja spełnia zbiór pewnych behawioralnych własności (często bardzo technicznych) wtedy i tylko wtedy gdy jest to indeks X” [zob. 156, 187, 188].
Był to istotny krok ku zmianie stosowanej w bibliometrii metody ba- dawczej. Bibliometrię postrzega się najczęściej jako dziedzinę empiryczną, a w przypadku niektórych zagadnień nawet jako dziedzinę z pogranicza nauk społecznych. Uzyskane rezultaty teoretyczne stanowią podwaliny do zmiany paradygmatu [por. 121, 122]. W tym sensie otwiera się możliwość trakto-
Bibliometria
a informatyka wania bibliometrii jako podgałęzi informatyki, a więc nauki o przetwarzaniu informacji specyficznego rodzaju.
Dodatkowo, niektórzy badacze podejmowali starania o określenie pod-
Próby badania własności pro-
babilistycznych stawowych własności probabilistycznych stosowanych narzędzi, np. wartości oczekiwanej indeksu h w tzw. modelu Burrella (por. [37] i rozdz. 4.1.3 ni- niejszej pracy) czy w modelach wykorzystujących rozkłady ciągłe bądź dys- kretne typu Pareto [89, 170]. Mimo to nie zostały podjęte szersze próby zastosowania modelowania i wnioskowania statystycznego, ani tym bardziej metod z dziedziny tzw. soft-computing (modelowanie rozmyte, modelowanie posybilistyczne) do opisu ze swej natury wszak niepewnych przetwarzanych danych.
Dostrzegając przedstawione wyżej problemy, za cel niniejszej rozprawy
Ogólne cele
rozprawy stawiamy sobie:
1. identyfikację podstawowych założeń przyjmowanych implicité w bada- niach bibliometrycznych (model tzw. wyidealizowanego rynku nauko- wego, rozdz. 1.6);
2. formalizację analizowanego zagadnienia, tj. stworzenie abstrakcyjnego modelu, na gruncie którego konstruowane są narzędzia bibliometrycz- nej oceny jakości pracy naukowej (klasa operatorów agregacji zwanych funkcjami wpływu, rozdz. 2.2);
3. systematyczną analizę zaproponowanych podklas funkcji wpływu (por.
rozdz. 0.2), zwłaszcza w oderwaniu od kontekstu dziedziny, z której pochodzą dane wejściowe;
4. stworzenie oprogramowania komputerowego pomocnego m.in. w wy- znaczaniu wartości najczęściej stosowanych funkcji wpływu oraz w ana- lizie danych empirycznych (por. dod. B).
0.2
Podstawowa hipoteza i metoda badawcza
Wysuwamy hipotezę głoszącą, iż zaproponowany przez nas model oceny ja- Podstawowa
hipoteza badawcza
kości pracy naukowej pozwala na obiektywną, systemową analizę — za pomocą różnorakich podejść formalnych — różnego typu własności narzędzi stosowanych m.in. w bibliometrii. Interesować nas będzie:
1. analiza aksjomatyczna, polegająca na: Metoda
badawcza:
4 podejścia
(a) postulowaniu pewnych własności behawioralnych i poszukiwaniu wszystkich funkcji, które je spełniają, bądź
(b) charakteryzacji wybranych klas funkcji,
2. analiza własności probabilistycznych, w tym próba odpowiedzi na py- tania o to:
(a) jaki jest rozkład wybranych funkcji (w tym rozkład asympto- tyczny),
(b) jak sprawdzają się badane funkcje w zagadnieniu estymacji punk- towej i przedziałowej pewnych parametrów rozkładu danych wej- ściowych,
(c) czy badane funkcje mogą być użyte (i z jakim skutkiem) w zagad- nieniu weryfikacji hipotez dotyczących równości rozkładów dwóch prób,
3. analiza posybilistyczna wrażliwości funkcji i ciągów wejściowych na dane prawostronnie cenzorowane i zmienne w czasie,
4. analiza empiryczna rzeczywistych danych z dziedziny bibliometrii.
Zagadnienie będące przedmiotem niniejszej rozprawy zostało sformuło- wane w na tyle ogólny sposób, że większość uzyskanych wyników można z powodzeniem wykorzystywać w innych, podobnych dziedzinach (Problem Oceny Producentów, rozdz. 1.7). Istotne jest to, iż w naszych rozważaniach abstrahujemy od trafności danych wejściowych, pozostawiając partykular- nym obszarom zastosowań rozstrzygnięcie, czy dany sposób oceniania po- szczególnych agregowanych wartości jest adekwatny.
Dodatkowo, stworzona przez nas biblioteka CITAN [80] dla środowiska R [158] może służyć do wspomagania analizy rzeczywistych danych i prowadze- nia dalszych badań teoretycznych.
0.3
Układ rozprawy
Układ pracy przedstawia się następująco.
W rozdziale 1 prezentujemy autorskie wprowadzenie do ogólnej pro- blematyki nauko- i bibliometrycznej oceny jakości dorobku publikacyjnego pracowników naukowych, stanowiące teoretyczny punkt wyjścia do naszych rozważań. Poddajemy krytyce trafność liczby cytowań jako miary wpływu artykułów i przedstawiamy alternatywne sposoby ich wartościowania. Zwra- camy uwagę na dynamiczny charakter analizowanych danych oraz często wy- stępujące w praktyce utrudnienia w uzyskaniu rzetelnych informacji wejścio- wych.
Sugerujemy, że zaproponowany dalej matematyczny model formalny, który sprowadza się do konstrukcji i badania własności pewnej podklasy ope- ratorów agregacji, może służyć w wielu innych zastosowaniach praktycznych (np. badaniach marketingowych czy przemysłowych). Określimy go po prostu jako Problem Oceny Producentów wytwarzających pewnego rodzaju dobra, które są poddane niezależnej ocenie. Abstrahowanie od kontekstu bibliome- trycznego pozwoli nam skupić się na matematycznej stronie zagadnienia.
W rozdziale 2 definiujemy klasę tzw. funkcji wpływu, czyli operato- rów agregacji m.in. monotonicznych ze względu na każdą zmienną i mo- notonicznych ze względu na długość ciągu wejściowego. Funkcje wpływu określają przestrzeń możliwych rozwiązań Problemu Oceny Producentów.
Zestawiamy je z typowym przedmiotem badań w dziedzinie teorii agrega- cji, tj. funkcjami agregującymi (operatorami agregacji średniej). Następ- nie dokonujemy przeglądu najbardziej popularnych narzędzi, w szczególno- ści (quasi-)L- i (quasi-)S-statystyk, zawierających jako szczególne przypadki znane z literatury operatory OWA, OMA i OWMax oraz indeks h.
W kolejnych czterech rozdziałach przeprowadzimy wspomnianą już wyżej analizę różnych funkcji wpływu.
I tak w rozdziale 3 stosujemy tzw. ujęcie aksjomatyczne do analizy funk- cji wpływu. Postulujemy różnego rodzaju własności behawioralne przydatne z punktu widzenia praktyki i badamy relacje między nimi. Ponadto, przedsta- wiamy charakteryzacje (tj. twierdzenia typu „wtedy-i-tylko-wtedy”) czterech najbardziej interesujących nas w tej rozprawie klas funkcji. Do najważniej- szych wyników teoretycznych zaliczyć można:
• twierdzenie 3.3.8 o charakteryzacji S-statystyk,
• twierdzenia 3.4.1–3.4.4 o postaci trójkątów współczynników/funkcji ge- nerujących L-, quasi-L-, S- i quasi-S-statystyki spełniające zadane wła- sności.
Z kolei własności stochastyczne funkcji wpływu rozpatrujemy w roz- dziale 4. W szczególności, najwięcej uwagi poświęcamy badaniu klasy S- statystyk w ciągłym modelu i.i.d. Wśród najbardziej istotnych wyników znaj- dziemy:
• twierdzenie 4.3.4 o postaci dokładnej rozkładu S-statystyk i twierdzenie 4.3.11 o ich asymptotycznej normalności,
• twierdzenie 4.3.9 orzekające, iż S-statystyki są silnie zgodnymi estyma- torami tzw. indeksu ̺ (pewnej charakterystyki rozkładu danych wej- ściowych),
• analizę własności czterech różnych estymatorów punktowych tzw. teo- retycznego indeksu Hirscha w modelu Pareto II rodzaju (rozdz. 4.4),
• omówienie metody konstrukcji przedziałów ufności dla indeksu ̺ i teo- retycznego indeksu Hirscha (rozdz. 4.5),
• konstrukcję i analizę porównawczą testów do weryfikacji hipotezy o rów- ności dwóch rozkładów opartych na różnicy wartości indeksów h (rozdz.
4.6.1).
W rozdziale 5 rozważamy zastosowanie teorii możliwości (posybilistycz- nej) do badania wrażliwości funkcji i ciągów wejściowych w warunkach da- nych niepewnych. Taka sytuacja występuje w praktyce, np. gdy bierze się pod uwagę możliwość wzrostu miary jakości ocenianych jednostek w pew- nym przedziale czasowym (dane prawostronnie cenzorowane).
W rozdziale 6 przeprowadzamy statystyczną analizę danych bibliogra- ficznych pobranych z bazy SciVerse Scopus. Rozpatrujemy próbę złożoną z publikacji w dziedzinie szeroko pojętej naukometrii i webometrii. Na licz- nych przykładach pokazujemy przydatność pakietu CITAN i środowiska R do wspomagania badań empirycznych.
Na zakończenie podsumowujemy uzyskane wyniki i wskazujemy dalsze kierunki możliwych badań.
Treści mogące zaburzyć spójność wykładu zostały zamieszczone w anek- sie. W dodatku A opisujemy i analizujemy zaproponowane przez nas algo- rytmy służące m.in. do wyznaczania wartości niektórych z omawianych klas operatorów agregacji. Natomiast w dodatku B podajemy ogólne informacje na temat stworzonej przez nas biblioteki CITAN oraz listę dostępnych w niej funkcji.
0.4
Uwagi o oprogramowaniu
Do obliczeń numerycznych używaliśmy programu R w wersji 2.13.0 działają- cego w środowisku GNU/Linux x86_64. W szczególności R zawiera imple- mentacje następujących algorytmów, z których korzystaliśmy m.in. w roz- dziale 4:
• runif(): generowanie liczb pseudolosowych z rozkładu jednostajnego, algorytm „Mersenne-Twister” [138],
• optim(): minimalizacja wartości funkcji n-argumentowych z ogranicze- niami, algorytm „L-BFGS-B” [41],
• uniroot(): znajdywanie zer ciągłych funkcji n-argumentowych metodą zaproponowaną przez Brenta [29].
CITAN jest biblioteką napisaną w językach R oraz C. Udostępniliśmy ją publicznie (otwarty kod źródłowy) wraz ze szczegółową dokumentacją użytkownika w repozytorium CRAN na stronie internetowej http://cran.r- project.org/package=CITAN (por. dodatek B).
0.5
Oznaczenia
Skorowidz symboli stosowanych w rozprawie znajduje się na s. 267. W całej pracy przyjmujemy następującą konwencję notacyjną.
Od tej pory niech I = [a, b] oznacza dowolny przedział domknięty, dla
Przedział I
którego a ¬ b są elementami rozszerzonego zbioru liczb rzeczywistych ¯R = [−∞, ∞]. Zakładamy, że 0 · ∞ = 0, ∞ + (−∞) = −∞, c + ∞ = ∞ dla
Zbiór ¯R
c6= −∞ oraz d · ∞ = ∞ dla d > 0.
Jeśli nie zaznaczono inaczej, n, m ∈ N. Zbiór liczb całkowitych nieujem-
Zbiory N0, [n], R0, ¯R0
nych oznaczamy przez N0 = {0, 1, 2, . . . }, a [n] = {1, 2, . . . , n}. Ponadto, R0 = [0,∞) oraz ¯R0 = [0,∞].
Dla dowolnych x = (x1, . . . , xn), y = (y1, . . . , yn) ∈ In, piszemy x ¬ y wtedy i tylko wtedy, gdy (∀i ∈ [n]) xi ¬ yi. Ponadto, x < y jeśli x ¬ y oraz x 6= y. Działania arytmetyczne, np. +, −, ∨ (maksimum), ∧ (minimum) wykonywane są element po elemencie.
Niech x(i) oznacza i-tą najmniejszą wartość w ciągu x = (x1, . . . , xn). Element x(i)
Wektor (x, x, . . . , x) ∈ In będziemy także oznaczać krótko przez (n ∗ x). Co
więcej, dla x, y ∈ In będziemy pisać x ∼= y, jeśli istnieje permutacja σ zbioru Ciąg (n ∗ x)
[n] taka, że x = (yσ(1), . . . , yσ(n)). Relacja ∼=
Operator Lx definiuje ciąg skumulowanych sum uporządkowanych OperatorL nierosnąco elementów danego wektora, tzn. Lx = (x(n), x(n) + x(n−1), . . . ,
x(n)+ x(n−1)+· · · + x(1)).
Zbiór wszystkich wektorów dowolnej długości, składający się z elementów
ze zbioru I, tzn. S∞n=1In, oznaczamy przez I1,2,.... Zbiór I1,2,...
Jeśli f, g : I → I, to piszemy f g (czyt. g dominuje f) wtedy i tylko Relacja wtedy, gdy (∀x) f(x) ¬ g(x). Dla każdego x ∈ In, y ∈ Im i dowolnej funkcji
g określonej na In+m, zapis g(x, y) oznacza g(x1, . . . , xn, y1, . . . , ym).
Operator ◦ oznacza złożenie funkcji, tzn. f ◦g(x) = (f ◦g)(x) = f(g(x)). Operator ◦
A∁ oznacza dopełnienie zbioru A. Operator∁
Nośnik funkcji f określonej na zbiorze X zapisujemy jako supp f ={x ∈ X : f(x)6= 0}. Zbiór wartości oznaczamy przez ran f, a obraz img f.
Jeśli f : X → Y oraz X′ ⊂ X, to funkcja f|X′ : X′ → Y taka, że (∀x ∈ X′) f|X′(x) = f(x) jest nazywana zawężeniem f do X′. Ponadto, jeżeli F jest rodziną odwzorowań zbioru X w zbiór Y , to F|X′ :={f|X′ : f ∈ F}.
Jeśli f jest funkcją stałą, tzn. taką, że (∀x) f(x) = c, to piszemy f = c.
Powiemy, że funkcja f jest (asymptotycznie) co najwyżej rzędu g, jeśli Notacja O(·)
istnieją stałe x0 i c > 0 takie, że (∀x x0) f(x)¬ cg(x). Fakt ten zapisujemy jako f(x) = O(g(x)).
Dalej, funkcja podłoga określona jest wzorem ⌊x⌋ = max{i ∈ Z : i ¬ x}, Funkcje ⌊·⌋ i ⌈·⌉
zaś tzw. funkcja sufit ⌈x⌉ = min{i ∈ Z : i x}.
Funkcję indykatorową związaną ze zbiorem S oznaczmy przez IS, tzn. Funkcja I
IS(x) =
1, x∈ S, 0, x6∈ S.
W pewnych sytuacjach będziemy też pisać I(x ∈ S) na oznaczenie IS(x), np.
I(x¬ c) = I(−∞,c](x).
Symbol id oznacza funkcję identycznościową, tzn. (∀x) id(x) = x. Funkcja id N(µ, σ) oznacza rozkład normalny o wartości oczekiwanej µ i odchyleniu
standardowym σ > 0. Dystrybuantę standardowego rozkładu normalnego
oznaczamy przez Φ, tzn. Φ(x) =R−∞x (2π)−0,5exp(−t2/2) dt. Funkcja Φ
Ponadto,
Γ(x) =
Z ∞
0 tx−1e−tdt oznacza funkcję gamma Eulera (x > 0),
Funkcja Γ
B(a, b) =
Z 1
0 ta−1(1− t)b−1dt = Γ(a)Γ(b)/Γ(a + b) funkcję beta Eulera (a, b > 0),
Funkcja B
Bx(a, b) =
Z x
0 ta−1(1− t)b−1 częściową funkcja beta, zaś
Funkcja Bx
I(p; a, b) = Bx(a, b)/B(a, b) funkcję beta regularyzowaną (p ∈ [0, 1]).
Funkcja I
Niech (ω, F, P) będzie przestrzenią probabilistyczną, na której określona jest zmienna losowa X i ciąg zmiennych losowych (X1, X2, . . . ).
Zbieżność według prawdopodobieństwa, oznaczana jako Xn
→ X,P
zachodzi, gdy (∀ε > 0) limn→∞P(|Xn− X| < ε) = 1.
Zbieżność→P
Z kolei zbieżność z prawdopodobieństwem 1 (prawie wszędzie, silną) oznaczać będziemy przez Xn
p.w.→ X. Zbieżność tego typu zachodzi, gdy
Zbieżnośćp.w.→
P(limn→∞Xn = X) = 1.
Niech F1, F2, . . . będą dystrybuantami zmiennych losowych, odpowiednio, X1, X2, . . .. Mówimy, że ciąg (Xn) zbiega według rozkładu do zmiennej lo- sowej X o dystrybuancie F , ozn. Xn D
→ X, jeśli dla każdego punktu ciągłości
Zbieżność→D
x funkcji F zachodzi limn→∞Fn(x) = F (x). Taką zbieżność dystrybuant nazywamy zbieżnością słabą i oznaczamy Fn⇒ F .
Zbieżność ⇒
Ocena dorobku naukowego na poziomie indywidualnym
Non multa sed multum.
/ Gaius Plinius Cæcilius Secundus /
Jak zauważają niektórzy socjologowie (m.in. Umesao, McLuhan, Harvey), Wyzwania
społeczeństwa informacyjnego
wraz z rozwojem społeczeństw na przestrzeni wieków zmieniały się rodzaje dóbr będących w najwyższym pożądaniu. Tak jak w feudalizmie za miarę pre- stiżu uznawano szerokie połaci ziemi, a w kapitalizmie XIX stulecia pieniądz, tak w dobie społeczeństwa informacyjnego (ponowoczesnego, por. Castells) to informacja stanowi szczególną wartość, której posiadanie gwarantuje po- myślność, sukces i władzę. Transformacja ta bazuje na efektach postępu technologicznego, jaki dokonał się w ostatnich dziesięcioleciach w naukach informacyjnych i jest elementem politycznych strategii rozwojowych państw (por. program Gospodarka oparta na wiedzy wg OECD i UE, np. Strate- gia lizbońska, Program Operacyjny Innowacyjna Gospodarka, czy też japoń- ski Plan utworzenia społeczeństwa informacyjnego jako cel narodowy na rok 2000). Jej owocem jest obserwowany aktualnie lawinowy przyrost ilości da- nych. Jednakże wzrost zdolności gromadzenia i przesyłania informacji okazał się niewspółmiernie duży w porównaniu z postępem w zakresie ich przetwa- rzania i, w konsekwencji, ich rozumienia. Ten stan rzeczy jest obecnie wielkim wyzwaniem dla współczesnej nauki. stymulującym rozwój teorii baz danych, metod eksploracji i analizy danych czy sztucznej inteligencji.
Wśród kluczowych zagadnień mających na celu przeciwdziałanie przecią- żeniu informacyjnemu wyróżnić możemy m.in. rozwój rozumienia procesu znanego jako agregacja danych, odgrywającego istotną rolę w licznych ob- szarach zainteresowań człowieka, np. w statystyce, informatyce, fizyce, po- dejmowaniu decyzji, ekonomii i naukach społecznych. W najbardziej ogólnym sensie, agregowanie polega na przekształcaniu (syntezie) wielu danych licz- bowych do pojedynczej wartości, pod pewnymi względami reprezentatywnej dla wszystkich z nich.
Tego typu sposoby rzutowania wielowymiarowej przestrzeni danych wej-
Operatory
agregacji ściowych do jednego wymiaru nazywać będziemy w ogólności operatorami agregacji. Przykładowo wymienić można wśród nich średnią arytmetyczną, minimum, maksimum, medianę i inne kwantyle próbkowe, operatory OWA, OMA i OWMax itp.
Zagadnienie analizy i konstrukcji operatorów agregacji jest aktualnie żywo rozwijającą się teorią na styku informatyki, rozumianej jako nauka o prze- twarzaniu informacji, oraz matematyki, a w szczególności statystyki, kombi- natoryki i algebry [por. 45, 96, 196].
W tradycyjnym ujęciu teorii agregacji, własności operatorów rozpatry- wane są dla pewnej ustalonej z góry liczby argumentów. Niestety, w niektó- rych zastosowaniach wydaje się to być zbyt ograniczające. Celem niniejszej rozprawy doktorskiej jest formalna analiza pewnej klasy operatorów agre- gacji zdefiniowanych dla ciągów liczbowych dowolnej długości, określającej przestrzeń możliwych rozwiązań tzw. Problemu Oceny Producentów, którego czołowym przykładem jest zagadnienie oceny jakości pracy naukowej.
1.1
Jakość w pracy naukowej
Wspomniany wyżej wzrost roli informacji ma również wpływ na sposób upra- wiania i postrzegania nauki. W szczególności, czynnik ten wpływa między innymi na to, jak dzielimy się dokonaniami z innymi, czy też jak jesteśmy rozliczani z efektów pracy [32, 85].
1.1.1 Pojęcie jakości
Jednym z kluczowych terminów, za pomocą których bywa charakteryzowana działalność człowieka i jej rezultaty, jest pojęcie jakości. Współcześnie uży- wane jest ono nie tylko w stosunku do rozmaitych wytworów materialnych, ale bywa coraz częściej stosowane do analizy usług i innych niematerialnych efektów ludzkiej aktywności. Towarzyszy temu troska o wysoką użyteczność opisywanych dóbr czy też przejawów działania, która jest jednocześnie prze- ciwstawiana produktom lub formom aktywności o jakości uznawanej za niską albo niesatysfakcjonującą.
Czym jest więc jakość? Jakość powszechnie rozumie się jako zgodność
Jakość
z pewnymi wyróżnionymi własnościami referencyjnymi, które powinny cecho- wać interesujący nas obiekt [zob. 99]. Przykładowo, PN-EN ISO 9000:2001 definiuje to pojęcie jako ogół cech produktu lub usługi, które stanowią o jego
lub jej zdolności do zaspokojenia wyraźnie określonych lub przewidywanych potrzeb. Gdzie indziej określa się ją jako zgodność z wymaganiami użytkowni- ków (P.B. Crosby) bądź coś, czego brak oznacza straty dla wszystkich (G. Ta- guchi).
Jak jednak scharakteryzować pojęcie jakości w pracy naukowej? Przede wszystkim, naukowiec nie jest towarem, który może być po prostu sklasyfi- kowany albo jako „cechujący się poprawnymi parametrami” albo „wadliwy”.
Wydaje się, że wartymi podkreślenia przymiotami osób zajmujących się ba-
daniami naukowymi są: Zdolność
i pracowitość
1. szeroko pojęta zdolność twórcza, m.in. matematyczna, pisarska, 2. pracowitość, związana w szczególności z samozaparciem, wytrwałością,
umiejętnością organizacji pracy itd.
Wspomniane cechy nie są dane każdemu po równo. Są uwarunkowane także warunkami zmiennymi w czasie, w tym sytuacją materialną, psychiczną czy społeczną, oraz stałymi predyspozycjami charakterologicznymi. Abstrahując od skrajnych przykładów (tj. naukowców wybitnych bądź osób, u których brak nawet na poziomie elementarnym wyżej wymienionych cech), w więk- szości przypadków nie jest możliwe jednoznaczne wskazanie właściwego po- ziomu wszystkich owych istotnych predyspozycji, które powinien każdy bez wyjątku posiadać.
Z drugiej jednak strony jest ważne, by poziom w nauce cały czas się pod- wyższał. Należy zatem nieco szerzej rozumieć w tym przypadku pojęcie jako- ści. Powinno ono raczej odnosić się do celów, ku którym chcielibyśmy dążyć, o których sądzimy, że ich osiągnięcie byłoby dla nauki korzystne (nauki jako takiej w ogóle, bądź na poziomie np. poszczególnych instytutów badawczych, dyscyplin czy państw). Mówi się czasem nawet o budowaniu tzw. kultury ja- kości, czyli nieustannym określaniu tego, co może oznaczać wyższy poziom niż aktualny, stawianiu coraz to wyższych wymagań w dążeniu do doskona- łości [por. 105].
1.1.2 Sterowanie jakością
Jakość, aby mogła być doskonalona bądź co najmniej zachowywana, powinna być sterowana (ang. controlled). Niech P będzie interesującym nas zbiorem pracowników naukowych. W rozpatrywanej dziedzinie można wyróżnić trzy następujące podejścia do sterowania jakością.
1. Wyróżnianie: znalezienie podzbioru P0 ⊆ P pracowników cechujących się wyższą bądź niższą jakością od pozostałych.
2. Porządkowanie: znalezienie relacji r ⊆ P × P określającej porządek na zbiorze pracowników.
3. Ocenianie: znalezienie funkcji F : P → I, gdzie I jest np. przedzia- łem ¯R0, przyporządkowującej każdemu pracownikowi pewną wartość liczbową.
Warto zwrócić uwagę, że za pomocą relacji porządku r można dokonać wy- różnienia pracowników, zaś wykorzystując metodę oceniającą F — zarówno wyróżnienia jak i uporządkowania.
W przypadku zbioru P o relatywnie niewielkiej liczności można posłużyć
Recenzje
środowiskowe się metodą recenzji dokonywanych przez specjalnie powoływane komisje (czyli tzw. recenzji środowiskowych, ang. peer review), dokonującej oceny np. 3–5 najważniejszych artykułów w dorobku każdej z osób. Rozwiązanie to krytykowane jest za ryzyko bycia obciążonym np. układami między grupami wpływu, subiektywnością itp. [32, 146].
Jednakże zasygnalizowane wcześniej przeciążenie informacyjne motywuje
Automatyzacja
nas do poszukiwania zautomatyzowanych sposobów sterowania jako- ścią. W dalszej części pracy najbardziej interesować nas będzie zagadnienie oceny. Jako najbardziej ogólne z podejść, ocenianie może służyć m.in. jako kryterium przydzielania stanowisk, awansów zawodowych, nagród, jako po- moc w poszukiwaniu ekspertów, biegłych, a także jako narzędzie pomagające przydzielać finansowanie instytucjom na działalność statutową czy granty badawcze. Sprowadzać się ono będzie do poszukiwania odpowiednich opera- torów agregacji w klasie tzw. funkcji wpływu (patrz rozdz. 2.2) określonych na zbiorze ciągów złożonych np. z ocen poszczególnych publikacji danego naukowca. Ważne jest, by tego typu funkcje spełniały kluczowe w danym kontekście własności. Ich systematyczna analiza, którą my dokonamy w roz- działach 3–6, jest więc niezmiernie istotna w rozpatrywanym przez nas pro- cesie. Celem sterowania jakością jest przecież bezpośrednie oddziaływanie na pracę człowieka. Decydenci mogą więc dokonać właściwego wyboru (albo re- zygnacji z wyboru) dopiero wtedy, gdy będą świadomi słabych i mocnych stron stosowanych narzędzi.
Najważniejszą zaletą zautomatyzowania oceny jest obiektywność kryte- riów. Dzięki temu uzyskujemy możliwość jasnego określenia wymagań, któ- rych spełnienie prowadzi niechybnie do uzyskania lepszej wartości funkcji wpływu niż aktualna. Potrafi też pomóc odnieść się jednostce do wyników innych osób.
Podejście tego typu może wywoływać wiele wątpliwości natury filozo- ficznej. Przede wszystkim, funkcje oceniające generują (słaby) porządek li- niowy na zbiorze autorów. W praktyce jednak, dla wielu możliwych par (pi, pj) ∈ P × P nie jesteśmy w stanie sprawiedliwie i jednoznacznie (tzn.
biorąc pod uwagę wszystkie możliwe kryteria) określić, czy pi jest „lepszy”
albo „gorszy” niż pj, bądź też orzec, że są oni „mniej więcej tak samo do- brzy”. Tym samym nasz porządek z samej swej natury jest tylko częściowy, a nie liniowy. Zachodzi więc sprzeczność.
Ponadto, widzimy, że funkcje oceniające dokonują projekcji wielowymia- rowej, niezmiernie złożonej przestrzeni danych, do jednego wymiaru.
Rozpatrywany sposób sterowania jakością jest jednak najbardziej rozsąd- nym spośród aktualnie znanych. Z tego też powodu będzie on przedmiotem niniejszej rozprawy.
Zanim skupimy się na analizie formalnej funkcji wpływu, powinniśmy zadać sobie pytanie na temat tego, co może być głównym efektem pracy naukowca oraz jak te desygnaty ująć w sposób zdatny do przetworzenia.
1.2
Naukometria i bibliometria
Naukometria (ang. scientometrics), dyscyplina empiryczna będąca gałęzią tzw. naukoznawstwa, narodziła się w latach sześćdziesiątych XX wieku. Ma ona za zadanie badać naukę metodami statystyczno-ilościowymi [110]. Wy- twory tej specyficznej działalności człowieka traktuje się tutaj jako mierzalne, a więc ujmowalne jakościowo (za pomocą wyróżnionych kategorii) bądź ilo- ściowo (za pomocą liczb), składniki procesu informacyjnego. W sensie me- todologicznym więc to charakterystyczne podejście odróżnia naukometrię od dziedzin jej pokrewnych, to jest filozofii, socjologii czy historii nauki.
Bibliometria, główna subdyscyplina naukometrii, bada piśmiennictwo naukowe [30], zakładając, że aktualny stan nauki można opisać rozpatrując różne aspekty informacji związanych z publikacjami. Szersze wprowadzenie do problematyki tej dziedziny znaleźć można chociażby w naszej pracy [85], książce Nowaka [148] czy pracach przeglądowych [10, 110, 153].
Przyjrzyjmy się wpierw, skąd mogą pochodzić informacje bibliograficzne, które można poddawać analizie.
1.3
Bazy danych o publikacjach i cytowaniach
Z powodu, że naukometria jest dyscypliną zajmującą się przetwarzaniem, or- ganizacją i analizą informacji naukowej, powinniśmy zwrócić uwagę na specy- fikę tych informacji. W bibliometrii mamy do czynienia z pewnym podzbio- rem efektów pracy naukowców. Istnieje możliwość dość łatwego pozyskania danych1 na temat publikacji i zależności między nimi.
1.3.1 Udostępniane informacje
Każdej publikacji można przyporządkować m.in. następujące cechy:
Dane o publikacjach
• typ (artykuł, książka, rozdział w monografii, referat konferencyjny, nota redakcyjna itp.),
• źródło (np. nazwa czasopisma wraz z numerem woluminu, tytuł tomu lub serii wydawniczej),
• lista autorów,
• przybliżony czas powstania (np. rok ukazania się drukiem),
• liczba bądź zakres stron,
• tematyka (np. zadana hasłowo za pomocą słów kluczowych),
• lista odnośników bibliograficznych (referencji),
• lista cytowań (zbiór odnośników do innych prac, w których bibliogra- fiach widnieje rozpatrywane dzieło).
Z drugiej strony możliwe jest rozpatrywanie informacji dotyczących insty-
Dane
o pracownikach tutów czy samych pracowników nauki. Ci drudzy są z zasady identyfikowani po nazwisku i imieniu/imionach/inicjałach imion. Dla większości z nich okre- ślić można również:
• afiliacje (miejsca pracy),
• dane kontaktowe,
• kraj pochodzenia,
• wiek, staż naukowy (mierzony np. od czasu opublikowania pierwszej publikacji, obrony rozprawy doktorskiej itp.),
• zdobyte tytuły i stopnie naukowe,
• dziedziny głównej aktywności.
1Zanotujmy, że już w pracy z 1927 r. [98, s. 338] zauważa się: „Publication of research has been at such a pace that the regular channels of publication are overcrowded”.
W przedstawionej perspektywie autorów publikacji można traktować jako Charakterystyki procesu aktywności naukowej
swego rodzaju producentów, uczestniczących w procesie wytwarzania infor- macji. Rozpatrywać można zatem różne charakterystyki owego szeroko poję- tego toku produkcji, m.in.:
• częstotliwość publikowania prac,
• intensywność cytowania publikacji,
• listę współpracowników, sporządzoną np. na podstawie wspólnych pu- blikacji, czy wykazu promowanych prac doktorskich.
Ponadto, choć jest to rzadko stosowane w praktyce, opierając się na danych pozapiśmienniczych można uwzględnić dodatkowo:
• zgłaszane granty,
• pełnione funkcje w różnego rodzaju radach, komisjach bądź na stano- wiskach kierowniczych,
• liczbę przepracowanych godzin dydaktycznych.
Zagadnieniom projektowania schematów bibliometrycznych baz danych poświęcone są m.in. prace [129, 197].
Przyjrzyjmy się komercyjnym serwisom, z których możemy korzystać na co dzień.
1.3.2 Komercyjne bazy danych
Jednym z pierwszych źródeł informacji o piśmiennictwie naukowym był Current Contents, publikowany cotygodniowo przez filadelfijski Institute for Scientific Information (ISI). Ten zbiorowy wykaz (w formie zeszytów) arty- kułów publikowanych w kilkuset recenzowanych czasopismach biologicznych oraz medycznych zawierał także indeks autorów (wraz z danymi adresowymi) i słów kluczowych.
Pionierską komputerową bazą danych z możliwością wyszukiwania był Science
Citation Index
Science Citation Index (SCI ) utworzony w 1961 r. przez ISI. Swe ideowe pod- waliny (jak również gros praktycznego wykonania) zawdzięcza Eugene’owi Garfieldowi. Garfield kilka lat wcześniej zaproponował ideę systemu biblio- graficznego, który miałby zapobiegać bezkrytycznemu cytowaniu fałszywych, niepełnych bądź zdezaktualizowanych informacji przez umożliwienie (. . . ) na- ukowcom zapoznania się z krytyką wcześniejszych publikacji [78]. Zostały w nim umieszczone dane o publikacjach i ich cytowaniach [79] zawartych w najważniejszych angielskojęzycznych źródłach, dzięki czemu jego użytkow- nicy mogli w dogodny sposób skorzystać z bibliograficznych odniesień, jakie tworzyli autorzy w swoich pracach.
SCI został udostępniony szerokiej publiczności w roku 1972. Na jego ba- zie autorzy stworzyli uaktualniany corocznie Journal Citation Reports (JCR), służący do porównywania i oceny czasopism. Dzięki JCR stworzono niewiele później tzw. wskaźnik wpływu, czyli Impact Factor (IF), będący stosunkiem
Impact Factor
łącznej liczby cytowań artykułów w dwu latach poprzednich do liczby publi- kacji ukazanych drukiem w danym roku. Jest to używane do dziś kryterium, na podstawie którego jedne czasopisma miały być dodawane do SCI, a inne zeń usuwane.
To głównie dzięki stworzeniu SCI mogła powstać bibliometria. Wiodące czasopismo w tej dziedzinie, Scientometrics, po raz pierwszy ukazało się dru- kiem w 1978 r.
Baza Science Citation Index ewoluowała wraz z rozwojem technologii in- formatycznych. Warto zauważyć, że w tym czasie ciągle dostosowywano ją do rosnących zapotrzebowań i wymagań, związanych m.in. z obserwowanym na przestrzeni ostatnich kilkudziesięciu lat wykładniczym wzrostem liczby publikowanych artykułów [103]. SCI z biegiem lat zaczął uwzględniać coraz większą liczbę dziedzin. Dał również początek bliźniaczym projektom Social Sciences Citation Index oraz Arts and Humanities Citation Index. Jest do- stępny i dziś, jako wciąż najbardziej popularna wielotematyczna baza danych w ramach systemu Web of Science. W Polsce dostęp do WoS zapewnia ICM UW. Wykupiona licencja dotyczy jednak publikacji po 1996 r. (Thomson SCI Expanded).
Naukowcy uzyskali zatem możliwość łatwiejszego, zautomatyzowanego
Inne bazy
dostępu do interesujących ich aktualnych wyników badań (tytuły prac, li- sta referencji, czasem abstrakty bądź całe artykuły). Obecnie, alternatywami dla SCI są powstałe w 2004 r. SciVerse Scopus Elseviera (por. rozdz. 6.1) i Scholar firmy Google.
Istnieją również inne systemy, zorientowane na poszczególne dziedziny, np.
medyczny MEDLINE, informatyczny DBLP czy CiteSeerX, matematyczny Zentralblatt MATH i MathSciNet albo RePEc w ekonomii.
Jeszcze innego rodzaju informacje mogą być np. pobrane z bazy polskich pracowników nauki Ośrodka Przetwarzania Informacji (OPI), systemu orga- nizacji projektów badawczych SciVal firmy Elsevier, bądź tworzonego przez samych zainteresowanych Index Copernicus (serwis typu social networking).
Znaleźć tam można również dane o innych niż piśmiennictwo przejawach działalności naukowców.
1.4
Liczba cytowań jako miara jakości publikacji
Już w roku 1927 zasugerowano liczbę cytowań jako jeden z najbardziej oczy- wistych sposobów ewaluacji jakości prac naukowych [98]. Ocena naukowca mogłaby być w takim przypadku dokonana na podstawie odpowiednio za- gregowanej liczby odnośników do opublikowanych przez niego tekstów nauko- wych. Narzędzia tego typu znane są w literaturze przedmiotu jako tzw. in- deksy cytowań (ang. citation indices). Właśnie takie podejście jest najczęściej stosowane w bibliometrii.
Temat użycia metod analizy cytowań do oceny jakości pracy badawczej był poruszany wielokrotnie [zob. np. 32, 92, 120, 146, 155, 191]. Jednakże, jak zauważył Glänzel [92], owe indeksy należy uważać przede wszystkim tylko za formalny wskaźnik intensywności użycia informacji. Poniżej omówimy po- krótce kilka innych problemów.
1.4.1 Zależność od dyscypliny naukowej
Należy pamiętać, że porównywanie za pomocą narzędzi bibliometrycznych przedstawicieli różnych dyscyplin naukowych może być wielce ryzykowne, a nawet mylące. W pewnych dziedzinach ukazuje się stosunkowo niewiele prac, podczas gdy w innych literacka płodność jest wręcz oznaką doskonało- ści. Ponadto, gdy w niektórych obszarach nauki dominują prace sygnowane przez jednego autora lub z rzadka dwóch albo trzech (np. matematyka, in- formatyka, historia), w innych mamy do czynienia z reguły z zespołami au- torskimi liczącymi od kilku do kilkunastu osób (np. biologia molekularna, genetyka i fizyka kwantowa). Każda bowiem dyscyplina posiada właściwą sobie specyfikę.
Zwraca się więc często uwagę na:
• lokalny zasięg niektórych dziedzin, np. filologii polskiej,
• tzw. efekt taksonomii, czyli zjawisko polegające na tym, iż niektóre tematy badawcze są przez recenzentów traktowane jako niewarte zain- teresowania [np. 20, 115],
• różny postęp „starzenia” się publikacji, który następuje wolniej w na- ukach matematycznych i społecznych niż w dziedzinach takich jak ge- netyka i medycyna [por. 92].
• różny przebieg proces cytowania, np. w naukach humanistycznych średni czas, jaki minie do uzyskania 50% cytowań jest dłuższy niż w na- ukach „twardych” [por. 12],
• odmiennie pojmowaną rolę publikacji poza recenzowanymi czasopi- smami, np. materiałów konferencyjnych i rozdziałów w monografiach [125].
1.4.2 Teorie motywów cytowań
Kolejny problem dotyczy motywów umieszczania innych dzieł w bibliogra-
Teoria
normatywna fii. Zgodnie z teorią normatywną cytowań (Kaplan, Merton), cytowa- nie jest formą spłaty długu wobec tych, którzy dali impuls rozwojowi danej dziedziny, którzy byli jej twórcami lub też wnieśli w nią na tyle dużo, że kolejne dzieła są jedynie dopowiedzeniami czy też uzupełnieniem ich myśli.
Cytowanie w tym przypadku jest wyrazem uczciwości autora, który nie chce przypisywać sobie wszelkich zasług, ale w sposób klarowny oddziela od wła- snego wkładu w daną dziedzinę to, co jest dorobkiem innych. Cytowania dają również czytelnikowi poczucie bezpieczeństwa, bo wskazują źródła przedsta- wianych poglądów, które wobec dużej liczby odniesień zyskują dodatkowe uwiarygodnienie.
Rzeczywiste powody dla których cytuje się dane prace pewnikiem są bar- dziej złożone. Spróbujmy jednak je usystematyzować. Może to być więc po- nadto [por. 23, 79]:
• wyraz uznania dla twórców,
• wyjaśnienie użytej metodologii bądź narzędzi (np. algorytmów, przy- rządów pomiarowych),
• określenie tła problemu,
• sprostowanie (korekta) innej pracy,
• kontynuacja innej pracy,
• zapowiedź innej pracy,
• krytyka innej pracy,
• wskazanie nieprawdziwości innej pracy, np. zgłoszenie błędu w dowo- dzie twierdzenia czy stwierdzenie pominięcia weryfikacji istotnych za- łożeń.
Aktualny przegląd prac zarówno teoretycznych, jak i wyników badań empi- rycznych nad powodami cytowań znajduje się w [23].
Niestety, pomimo najszczerszych chęci normatywistów, obserwujemy, że relacja cytowania niekoniecznie jest przechodnia. Teoretycznie rzecz biorąc, jeśli praca B oparta jest istotnie na wynikach z pracy A, a praca C na rezul- tatach z B, to C powinna też uwzględnić „dług informacyjny” zaciągnięty u A. Często jednak tak się nie dzieje. Na przykład, licznie cytowana przez kilka lat praca nierzadko wchodzi do „oczywistego” kanonu wiedzy w danej dziedzinie [por. 92].
Teoria konstruktywistyczna (Collins, Latour, Gilbert) z kolei skupia Teoria konstruktywi- styczna
się na wskazywaniu mniej szlachetnych interpretacji tworzenia bibliografii.
Sugeruje jako istotne przede wszystkim cele „polityczne”, które w istocie są jedynie wyrazem dbania o własne interesy, takie jak przekonywanie innych, odpieranie potencjalnych ataków, chęć zyskania przychylności przełożonych, redaktorów pism lub decydentów [por. 115].
Kontrowersje te można podsumować tytułem wydającego się nie mieć końca tematu dyskusji: „Reward or persuasion” [zob. 51].
Rzecz jasna, w najbliższym czasie raczej nie będziemy dysponować moż- liwością automatycznej identyfikacji ww. motywów. W najprostszym przy- padku przyjmuje się zatem, że cytowanie jest po prostu dowodem uznania danej publikacji za wartościową pod względem wybranych kryteriów. Z wy- żej wymienionych przyczyn wszystkie cytowania traktować musimy za rów- noważne pod względem istotności.
Niemniej jednak należy też brać pod uwagę, że fakt, iż praca jest cytowana rzadko lub wcale, nie oznacza braku wpływu na inne artykuły. Problem ten był rozważany chociażby w [128], gdzie jako motyw zaniechania odniesienia się do wyników innych osób wskazuje się czasem zbyt bliskie powiązanie tematyczne, roztargnienie czy wręcz niedbalstwo.
1.4.3 Samocytowania
Warto nadto rozważyć zagadnienie samocytowań (ang. self-citations), czyli umieszczania w bibliografii własnych prac (bądź swoich kolegów). Wśród nie- których naukometrów panuje przekonanie, że wszelkie takie zachowania są niejako obciążone i być może nie powinno się ich brać pod uwagę. Nie da się bowiem aktualnie, dysponując jedynie danymi bibliograficznymi, trafnie rozstrzygnąć, kiedy odnoszenie się do własnej pracy należy traktować jako autopromocję, a kiedy jako odwołanie się do wcześniej zaproponowanej idei celem uniknięcia jej ponownego przedstawiania.
Z drugiej strony, samocytowania są niezbędne w przypadku prowadzenia rozległych, złożonych, długoterminowych badań [por. 92].
1.4.4 Cytowanie jako proces dynamiczny
Należy także wziąć pod uwagę dynamiczny charakter procesu cytowania. Nie istnieje bowiem publikacja taka, że w danej chwili możemy o niej orzec, że na pewno już nie zostanie ona zacytowana. Zatem wszelkie sposoby oceny oparte na analizie cytowań mogą jedynie wyrazić jej aktualnie postrzeganą jakość [87]. Dane te ze swej natury są więc prawostronnie cenzorowane (zob. rozdz. 5). Można jednak dokonywać prób modelowania dalszego prze- biegu procesu cytowania [por. 34], także w przypadku tak zwanych „śpią- cych królewien” (ang. sleeping beauties), czyli prac od pewnego czasu niecy- towanych, co do których zakłada się, że mogą być docenione w przyszłości [35, 179]. Na podstawie danych empirycznych uznaje się jednak, że okres 3 lat (tzw. okno cytowań) jest wystarczający dla większości artykułów, by orzec o ich jakości [92].
Zwróćmy uwagę, że problem ten stawia w gorszym położeniu przede wszystkim młodszych pracowników nauki.
1.4.5 Rzetelność źródeł danych
Jeszcze innym, bardzo istotnym zagadnieniem, jest niedoskonałość źródeł da- nych o publikacjach i cytowaniach. Chodzi tu więc o rzetelność baz danych, stanowiących przecież podstawę dokonywanych badań.
Po pierwsze, tzw. pokrycie baz, czyli liczba subskrybowanych źródeł (cza- sopism, materiałów konferencyjnych itp.), nie jest przeważnie kompletne [104, 111, 142]. Szacuje się, że aktualnie w światowym obiegu jest 200 000 seryjnych wydawnictw naukowych (por. rozdz. 6). Jednak w praktyce nie da się przecież indeksować wszystkich z nich. W szczególności braki mogą wy- nikać z niedostatku informatyzacji zbiorów lub z powodu nie udostępniania pełnych zasobów przez konkurujące ze sobą firmy.
Często więc znaleziona lista publikacji danego autora, zwłaszcza pracują- cego poza Stanami Zjednoczonymi i w dziedzinach takich jak nauki społeczne bądź humanistyczne, bardzo słabo koresponduje z tym, co rzeczywiście sam napisał. Dla przykładu, SCI subskrybuje głównie większe czasopisma angiel- skojęzyczne [145].
Aktualnie uznaje się, że bazą o najwięszym pokryciu źródeł jest SciVerse Scopus. Zawiera ona także np. periodyki w innych językach niż angielski [141], por. także rozdz. 6.1.
