重新设计波兰基于绩效的科研资助体系中的 图书评价模型

重新

设计

波

兰

基于

绩

效的科研

资

助体系中的

图书评

价模型

Emanuel Kulczycki, Przemysław Korytkowski

How to cite: Kulczycki, E., & Korytkowski, P. (2018). 重新

设计波兰基于绩效的科研资助

JDIS

Journal of Data and Information Science

重新设计波兰基于绩效的科研资助体系中的

图书评价模型

Emanuel Kulczycki

†

_{, Przemysław Korytkowski}

波兹南密茨凯维奇大学，波兰 什切青西波美拉尼亚技术大学，波兰 摘要 目的：本研究旨在介绍专注于出版商列表的波兰图书评价模型的关键系统性变化， 该模型受到了挪威模型的启发。 方法：本研究在以绩效为基础的科研资助体系之内重建了波兰2010和2018图书评价 模型。 现实意义：近20年来，波兰的图书评价体系一直以核实各种技术标准（比如图书篇 幅）为基础。2018新模型基于声望继承原则（图书的价值与其出版商等同），这种 做法受到了挪威模型中所使用的出版商列表的启发。本文认为相对于之前的2010模 型，本方案是一个更加平衡的政策工具，在2010模型中，出版商或图书的质量在评 价中没有发挥任何作用。 局限性：本研究从2018图书评价模型框架着手，该模型是2018年7月20日的高等教育 和科学法提出的，具体的实施法案尚未执行。 现实意义：本研究可以为国家层面实施的科研评价模型的结构性改革提供有价值的 参考。决策者、利益相关者以及关注科学政策的科研人员可能会对本研究成果感 兴趣。 原创性/价值：本研究首次展现了波兰科研评价模型的新框架以及学术图书评价的政 策工具。描述了促使决策者改变图书评价模型的动机，并介绍了针对新的方案进行 了哪些讨论。 关键词：图书评价；挪威模型；基于绩效的科研资助体系；波兰；出版商列表

Research Paper

Journal of Data and Information Science

http://www.jdis.org

1 引言

波兰基于绩效的科研资助体系(The performance-based research funding system, PRFS)创建于1990年(Kulczycki, Korzeń, & Korytkowski, 2017)。自 此，波兰科研评价模型发生过数次演变，从以同行评议为主的模式转变为以 计量模型为主的模式。2018年7月，波兰通过了一项新的科学和高等教育领 域的法规。该项法规的目标是针对科学和高等教育的运行建立一套全新、明 确且清晰的规则。新法规重新设计了2010年以来一直在实施的以计量为主的 评价模型(Kulczycki, 2017a)。本文所提出新的2018模型是2010模型的演变版 本而不是全新的解决方案。不过模型中还是包含了一些全新的元素，比如用 于评价学术图书的出版商列表。 2010模型用于在高等教育和研发单位的科研部门之间分配科研经费。科 研评价的结果是影响经费最终分配的关键因素之一，其中最重要的评价参数 就是出版物。评价期刊文章的依据是文献计量排名(Kulczycki & Rozkosz, 2017)；而评价学术图书出版物则依据几个形式化的指标，比如篇幅长度 (Kulczycki, 2018)。

波兰基于绩效的科研资助体系和挪威基于绩效的科研资助体系有一些共 性。例如，都使用在研信息系统（the current research information systems, CRIS)中的数据进行评价，并依据出版机构等级将出版物换算成得分。不同 的是，在波兰，许多出版物受到限制无法纳入计算，而在挪威，所有归于特 定机构的出版物都可以纳入计算。此外，波兰模型和挪威模型都致力于公平 恰当地反映所有科研领域的情况。 在2017年的波兰评价活动中，994个科研单元的86500全职科研人员提交 了2013—2016年间发表的将近一百万份的评价内容（文章、专利、专著等）。 与学术图书出版物相关的评价内容超过157000份，其中的21730本专著由超 过3800家出版商出版。然而，这些专著中的一半仅出自于100家出版商。 2018模型引入了一些系统性变化。模型的主要作用仍是分配科研经费， 出版物也依然是关键参数。并且还是基于文献计量排名评价期刊文章。但 是，波兰政府首次引入了基于出版商列表的图书评价模型。 本文意在分析2010和2018学术图书评价模型的框架，调查关于重新设计 2010模型的相关论点，在该模型中评价主要基于形式化标准。本文的目的还 在于落实更加看重出版商作用的2018模型。 本研究的结构如下：首先，介绍不同的欧洲科研评价模型是如何评价学 术图书的。然后，展示2010模型中的图书评价框架并描述波兰基于绩效的科 研资助体系的改革。第5部分介绍新的波兰PRFS实施的关键系统性变革以及 用于图书评价的出版商列表框架。最后一部分讨论主要发现和结论。

Research Paper

Journal of Data and Information Science

2 欧洲基于绩效的科研资助体系中的图书评价

学术图书出版物（像专著、参与编辑的卷、章节等）在大多数基于绩效 的科研资助体系的评价模型中都扮演着重要角色。然而，评价图书绝非易 事，会遇到各种挑战，而这些挑战在期刊评价中并不存在。特有的挑战包 括：ISBN的各种匹配问题(Zuccala & Cornacchia, 2016)；数据库中收录的图 书范围很小(Torres-Salinas et al., 2013)；缺乏广受认可的学术图书出版商排 名(Giménez Toledo, 2016)；将不同的图书版本和翻译版本归为同一组作品或 者归为同一个体系的数据处理问题(Zuccala, Breum, Bruun, & Wunsch, 2018)。 因此，图书评价主要依据出版商情况(Manana-Rodriguez & Giménez-Toledo, 2018) 、 馆 藏 信 息 ( Biagetti, Iacono, & Trombone, 2018) 、 国 际 化 指 标 (Verleysen & Engels, 2014)、书评(Basili & Lanzillo, 2018)，以及形式化标准 (Kulczycki, 2018)。 Giménez-Toledo等将欧洲的PRFS中的图书评价模型进行分类，发现这些 模型有3个主要特征。首先，最显著的特点是在评价过程中应用各国（或地 区）的CRIS系统，该系统收集了学术图书出版物的数据。因为国际数据库中 的图书覆盖率很少，不足以进行有效评价，所以采用CRIS系统数据很有必 要。CRIS系统广泛应用于克罗地亚、捷克共和国、丹麦、芬兰、挪威和波兰 等国家的科研评价中。 其次，可以根据过程的形式化程度来区分评价模型。换句话说，由于在 丹麦、芬兰、法兰德斯（比利时）、立陶宛、波兰和西班牙，存在着某种明 确可用的出版商分类和质量等级，或者图书的形式化标准，因而这些国家的 评价是有着明确的标准的。在塞尔维亚、法国、意大利、拉脱维亚、以色 列、葡萄牙和瑞士等不明确的体系中，评价主要倚重专家小组或委员会。 第三，这些欧洲模型具有定量或者定性方法的特征。比如，立陶宛和葡 萄牙采用的是定性方法，在评价中，学术图书出版物的内容会被纳入考虑。 相反，在波兰的定性方法评价中，既不考虑图书的内容也不考虑出版商的声 望。发挥作用的仅仅是形式化标准。 用于图书评价最著名的政策工具之一就是出版商列表，即出版渠道的权 威列表，该列表的作用是确定哪些图书在评价中作数。在这种方式中，权威 列表中的所有出版商出版的经过同行评议的图书都可能在评价中得到承认。 挪威使用出版商列表的做法促使丹麦和芬兰也开始实施类似的解决方案 (Sivertsen, 2016)。同样，比利时结合Web of Science数据库以及本地区 社会与人文科学综合数据库，在其评价系统中引入了出版商列表(Verleysen, Ghesquiere, & Engels, 2014)。此外，西班牙采用了出版商信息系统（西班牙 学术出版商指标）(Giménez-Toledo, Mañana-Rodríguez, & Sivertsen, 2017)。

Research Paper

Journal of Data and Information Science http://www.jdis.org 在丹麦、芬兰、比利时和挪威的4个系统中，图书出版商的官方列表由 专家小组确立。依据其声望，将出版商归类到2到3个质量等级。出版商列表 不限特定领域，这意味着在列表中，一家出版商可能仅出版艺术史领域的图 书，而另一家综合出版商则出版几乎所有科学领域的学术图书。 Giménez-Toledo等人(2018)提到，作为一种政策工具，出版商列表对社 会和人文科学来说很重要，因为列表中涵盖了国际数据库中没有收录的出版 商。此外，构建出版商列表的成本很低，并且设计过程是透明、可预测的。 这一方案的负面效应则是，有学者认为以出版商而不是图书本身来衡量图书 质量可能会导致出版行为发生有意无意的改变，还有可能催生对出版商列表 的不当使用。

3 应用2010波兰模型评价出版物

在2010波兰模型的框架内，每个科研单元可以提交的学术图书出版物数 量是有限定的。限定的数量根据公式3N–2N0计算，N表示评估期内全职科研 人员的算术平均值，N0表示评估期内没有参与任何科学出版物写作的科研人 员数量。其中提交的社会科学与人文科学图书占40%，其他科学领域占20%， 期刊文章占剩余的40%。每一待评内容根据其出版类型（期刊文章或是学术 图书）被赋予不同的分数。 一个科研单元发表的一篇期刊文章可以根据波兰期刊排名(Kulczycki & Rozkosz, 2017)得到1～50分不等。专著可以得到25分（一个章节或卷是 5分）。此外，科研单元提交的专著中最多有5%可以被认定为“杰出著作”， 从而得到50分，前提是该专著获得过国内或者国际上的知名奖项。被评估的 专著应符合以下标准： a) 必须是系统连贯的研究文章。 b) 必须呈现原始研究问题。 c) 必须经过同行评议。 d) 必须包含参考文献（或脚注、尾注）。 e) 长度至少为6个著作页（一著作页含有40000个字符或者6000个单词）。 f) 必须可以独立出版。网络发表或者提交副本到图书馆。 g) 必须能够通过ISBN、ISMN、ISSN或DOI号识别。

4 2018波兰科研评价模型的改进

2016年，波兰政府在科研和高等教育系统内启动了为期三个阶段的参与 式系统性改革。第一阶段，政府宣布公开招募3个独立的专家小组，为改革

Research Paper

Journal of Data and Information Science 准备3种方案。第二阶段，波兰国家科学大会组织了11个国家层面的活动，探 讨新想法，同时组织了政府决策者和学术团体之间的讨论。这两个阶段促成 了学术团体之间的互动并允许其加入到模型的设计和操作过程中来。第三阶 段，在2017年9月于克拉科夫举行的科学家和利益攸关方大型全国会议期 间，介绍了新法律的终期项目结果。2018年8月，波兰议会和波兰共和国总 统通过了该项法律。 4.1 2010模型的优势和不足 自改革伊始，科研评价模型一直是探讨和争论的焦点。针对科研评价以 及科研中卓越成果的评价共举行了两项国家层面的活动。第一项活动的议题 是社会科学和人文科学的作用以及评价该领域成果的可行方式。另一项活动 致力于探讨波兰科研评价的原有模型以及可能产生的新模型。 全国科学大会期间，对2010评价模型进行了详细讨论。总体来讲，科研 人员、决策者以及其他利益相关方都认为波兰需要一个科研评价系统。2010 模型被视作基于精英管理的解决方案，即根据科研单位的绩效来分配经费。 此外，该系统适用于评价各类科研机构，并且可以影响到个人和科研单位绩 效表现的改善。尽管如此，2010模型主要基于众多参数和形式化标准，这些 参数和标准可以更简化一些，还有就是模型的主要规则应该再清晰一些。 在图书评价领域，研究者认为，与期刊文章相比，图书被低估了。评价 中所有的图书都被视为等同，而不论其质量或出版商是哪家。社会科学和人 文科学领域的研究者指出，图书是其所在领域最主要的学术交流渠道，这一 点在PRFS中并没有得以充分反映。另一方面，科学和高等教育部认为，在 6个月的时限内，对提交的近22000本图书进行评价不具有可行性。 4.2 2018模型的展望 2018年7月，科学和高等教育部公布了2018模型，其后发布了《科研质 量评价指南》(Ministerstwo Nauki i Szkolnictwa Wyższego, 2018a)，指出科研 评价是其分配科研经费的关键工具。为了让纳税人相信投资科研活动具有合 理性，科研评价过程和结果必须是透明的。《指南》提出，2010模型评价了 大量不同的科学单元，太过官僚化。此外，有人指出，2010模型中的众多参 数收集了太多信息，而这些信息在评价中没有发挥任何重要的作用。 科学和高等教育部注意到，不考虑成果质量的计量导向模型会带来必须 发表更多成果的压力。因此，科学和高等教育部宣称，2018模型只会将每个 学者最好的几项成果纳入评价。按照该部门的说法，这项改变将减缓产出越 来越多出版物的压力。此外，在2018模型中，卓越的科研成果成为波兰科学 政策的核心(Antonowicz et al., 2017)。

Research Paper

Journal of Data and Information Science http://www.jdis.org 2018模型基于3个基本假设：（1）指标和权重适用于不同的学科，尤其 是社会科学、人文科学和艺术领域，在这些领域，学术图书出版物是主要的 学术交流渠道；（2）模型鼓励高质量的跨学科作品；（3）研究成果产生的 影响力权重在最终的评价结果中发挥更重要的作用。

5 波兰2018模型的关键系统性改变

科学和高等教育法案中提出了2018科研评价模型的框架(Ministerstwo Nauki i Szkolnictwa Wyższego, 2018b)。具体细节在科学和高等教育部的法令 中有所规定：其官方项目于2018年8月公布并公开征询意见。 2018模型引入了各种重要的改变。两项最重要的系统性进展与分析单元 相关，同时限制了单个科研人员提交的出版物数量。 波兰PRFS自建立以来，科研单位（对大学来说指的是院系）首次不作为 分析单元。在2021年的下一个评估期，大学或科研机构的学科将作为分析单 元。此外，政府将波兰在用的学科清单从100多个减少到不足50个。波兰的 新分类受到经济合作与发展组织（OECD）的科学与技术领域分类的启发。 因此，新的分析单元会取代旧的。例如，语言学领域的学者将会在同一个分 析单元（语言学领域）中受到评价，而在2010模型中，依据大学的架构来区 分评估单元，这些学者的成果会被算在4~5个院系之内（例如英语研究学 院、现代语言学院）。另外，可以根据科研人员的意愿将其归于一到两个学 科领域，每两年可以变更一次。此方案要求在数据汇总层面进行重要更改。 在2010模型中，将波兰CRIS系统框架设计为在 科学单元的层面整合和使用数 据。从现在起，像挪威的CRIS系统一样，将在单个科研人员的层面整合数 据。值得注意的是，这种改变属于法律框架的变化，而非技术解决方案本 身。即便是在2010模型中，数据也是在科研人员层面汇总的，只不过在评价 过程中，在科研单位层面又进行了重新汇总。 在2010模型中，每个科研单元最多可以提交3N-2N₀份出版物，其中， N是全职科研人员的算术平均值，N0表示评估期内没有参与任何科学出版物 写作的科研人员数量。该方案允许科研单元使用仅由其几个顶尖科研人员发 表的最重要的成果（就波兰模型中得分而言）进行评价，而不是所有工作人 员的成果。由于出版物得分可以拆分，作者署名的分值也可以拆分，因此， 一名科研人员可以提交数十份或者数百份出版物（例如物理学领域会提交有 数千名作者署名的文章）。但是，在新模型中，每个科研单元提交的出版物 数量限定为3N-3N₀。同时，每位科研人员最多只能提交4份已发表的成果。

Research Paper

Journal of Data and Information Science 新模型的指标和参数的数量显著减少的同时，又增加了一个新的指标： 评估社会影响力。2016年，科学和高等教育部宣布将在新的科研评价模型中 实施影响力评价。引入的解决方案受到英国科研评价系统“科研卓越框架” 以及“澳大利亚卓越研究”的启发。

6 波兰2018模型中的出版商列表

评价学术图书出版物的新方法是以声望继承原则为基础的。2018模型中 的这个方案受到挪威模型及其两级官方列表(Aagaard, Bloch, & Schneider, 2015; Sivertsen, 2016)的启发，该方案是在国家科学大会期间提出的，作为 参照纳入

2018年2月22日发布的科研评价部级监管项目。

在2010模型中，图书评价主要是核实科研单位申报的图书是否符合各种 技术方面的标准（比如一部专著的长度至少为6个著作页）。但是，评价中 并不会收集图书的纸质版本或者电子版。因此，评审小组的专家甚至都难以 核实这些信息的真伪。 旧模型没有给在最好的出版社出版图书的行为提供任何激励。从评价的 角度来说，一本剑桥大学出版社出版的图书和一本波兰语的自出版图书可以 得到相同的分值，自出版的图书还可能只印了10本而且并没有真的发行。因 此，从科研人员的角度来看，花费大量精力，由享有盛名、广受认可的出版社 出版一本专著，却没有得到相应的回报。正如Korytkowski 和Kulczycki所说， 期刊文章评价领域中明确而清晰的激励措施影响了波兰的出版物评价模式。 此外，2010模型中的图书评价可能会产生各种不良出版行为并使其合法化。 例如，在上一次也就是2013—2016阶段的评价中，一名科研人员提交了50部 作者只有自己一人的专著。 2010模型最大的缺点之一是分配给专著和期刊文章的分数的比例问题。 每本专著可以得到25分（不超过5%的最佳专著可以得到50分），在最好的期 刊上发表一篇文章可以得到50分。专著是许多社会科学和人文科学领域学科 的关键学术交流渠道。在一个只关注图书本身的形式化标准的系统中，区分 图书好坏的唯一方法可能就是增加新的标准，比如“篇幅越长，分数越高”。 Kulczycki(2017b)强调，波兰的图书评价模型没有采用和期刊文章评价模型 相同的原则，在期刊评价模型中，文章继承所在期刊的声誉，用文献计量指 标来表示。在这种方法中，一篇文章的价值与其所在的期刊等同。因此，声 望继承原则也可以用在图书评价中，图书可以继承出版商的声望，声望由专 家确定的出版商的级别来表示。对期刊文章和学术图书这两种主要的学术交 流渠道一视同仁是平衡科研评价模型的重要因素。

Research Paper

Journal of Data and Information Science http://www.jdis.org 新的图书评价模型避免使用各种技术类标准及测量图书篇幅。在经历了 近20年的旧的参数化的评价方案之后，新的图书评价模型对波兰学者来说是 一个全新的解决方案。因此，对决策者来说，最大的挑战之一是建立起大家 对这个评价体系的信任。

7 结论

实施新的政策工具是一项艰巨的任务，所有的影响都无法预见，但是大 部分的影响已经在挪威模型中有所显现。通过对政策工具的分析和对出版商 列表的持续讨论，我们得以指明决策者应该解决哪些问题。首先，出版商列 表应当能够将最好的和次等的学术图书区分开来。其次，出版商列表应该成 为一种明确的激励，促使科研人员改变其发表行为并在最好的出版商那里发 表成果。寻找或考虑一家好的出版商可以激励科研人员完善其科研成果以达 到出版商的要求。第三，由于出版商列表的存在，并非所有符合形式化标准 的图书都能纳入评价。在新的方案中，出版商进行同行评议，评价一本书是 否值得出版。最后，通过将出版商视为图书质量的代表，相对于期刊文章来 说，出版商列表使得2018模型中分配给专著的分数比在2010模型中更高。 决策者和利益相关者在参与改革期间意图明确：作为政策工具，出版商 列表的作用是关注学术图书的科学质量，将出版商作为学术交流的关键“守 门人”(Ministerstwo Nauki i Szkolnictwa Wyższego, 2017, 2018a)。此外，使 用出版商列表可能实现的目标还包括提高波兰出版商的同行评议质量，因为 出版低质量图书的出版商有可能会被剔除列表。 因此，可以从两个角度来看待出版商列表。一方面，重视好书并为其分 配比期刊文章更高的分数；另一方面，该政策工具区分出版物质量的效果还 有待观察，在目前的评价方法下，这些出版物的价值没有得到区分。 下一次评价实践之后，可以检视出版商列表是如何设计和应用的。同 时，波兰的学术界也会试图弄清楚这些工具及其潜在影响。我们早期的分析 结果(Korytkowski & Kulczycki, n.d.)表明，针对学术图书的政策工具只能在 一定程度上影响出版模式的塑造：计划和写作图书的时间比期刊文章的时间 更长，因而，本工具的实际效果至少要等两次评价活动（8年）之后才能 评估。

Research Paper

Journal of Data and Information Science

8 相关文献

新一轮评价将由科学和高等教育部新成立的咨询委员会执行，这个咨询 委员会就是将于2019年3月正式建立的科研评价委员会。新的高等教育和科 学法案界定了新波兰模式的主要框架，发布网址如下：

http://www.dziennikustaw.gov.pl/du/2018/1668/1, data access: 31 August 2018. 关于2010模型最全面描述的英文版本可在以下出版物中找到：

• Kulczycki, E., Korzeń, M., Korytkowski, P., 2017. Toward an excellence- based research funding system: Evidence from Poland. Journal of Informetrics. 11, 282–298. https://doi.org/10.1016/j.joi.2017.01.001.

• Kulczycki, E., 2017. Assessing publications through a bibliometric indicator: The case of comprehensive evaluation of scientific units in Poland. Research Evaluation. 45, 41–52. https://doi.org/10.1093/reseval/rvw023.

• Kulczycki, E., Rozkosz, E.A., 2017. Does an expert-based evaluation allow us to go beyond the Impact Factor? Experiences from building a ranking of national journals in Poland. Scientometrics 111, 417–442. https://doi.org/ 10.1007/s11192-017-2261-x.

• Kulczycki, E. (2018). The diversity of monographs: Changing landscape of book evaluation in Poland. Aslib Journal of Information Management. http:// doi.org/10.1108/AJIM-03-2018-0062.

致谢

本研究得到DIALOG项目的支持（授权名称：科学和艺术卓越模式研 究），该项目受到了波兰科学和高等教育部的资助。

作者贡献

Emanuel Kulczycki 和 Przemysław Korytkowski在构思和写作本文的过程 中做出了同等贡献。

参考文献

Aagaard, K., Bloch, C., & Schneider, J. W. (2015). Impacts of performance-based research funding systems: The case of the Norwegian Publication Indicator. Research Evaluation, 24(2), 106–117. Retrieved from http://doi.org/10.1093/reseval/rvv003.

Antonowicz, D., Kohoutek, J., Pinheiro, R., & Hladchenko, M. (2017). The roads of ‘excellence’ in Central and Eastern Europe. European Educational Research Journal, 16(5), 547–567. Retrieved from http://doi.org/10.1177/1474904116683186.

Research Paper

Journal of Data and Information Science

http://www.jdis.org

Basili, C., & Lanzillo, L. (2018). Research Quality Criteria in the Evaluation of Books. In A. Bonaccorsi (Ed.), The evaluation of research in Social Sciences and Humanities: Lessons from the Italian Experience (pp. 159–184). Cham: Springer International Publishing. Biagetti, M. T., Iacono, A., & Trombone, A. (2018). Is the Diffusion of Books in Library Holdings

a Reliable Indicator in Research Assessment? In A. Bonaccorsi (Ed.), The Evaluation of Research in Social Sciences and Humanities: Lessons from the Italian Experience (pp. 321–343). Cham: Springer International Publishing.

Giménez-Toledo, E., Mañana-Rodríguez, J., Engels, T. C. E., Guns, R., Kulczycki, E., Ochsner, M., … Zuccala, A. A. (2018). Taking scholarly books into account, part II: A comparison of 19 European countries in evaluation and funding. Submitted to Scientometrics.

Giménez-Toledo, E., Mañana-Rodríguez, J., Engels, T. C. E., Ingwersen, P., Pölönen, J., Sivertsen, G., … Zuccala, A. A. (2016). Taking scholarly books into account: Current developments in five European countries. Scientometrics, 107(2), 685–699. Retrieved from http://doi. org/10.1007/s11192-016-1886-5.

Giménez-Toledo, E., Mañana-Rodríguez, J., & Sivertsen, G. (2017). Scholarly book publishing: Its information sources for evaluation in the social sciences and humanities. Research Evaluation, 26(2), 91–101. Retrieved from http://doi.org/10.1093/reseval/rvx007.

Giménez Toledo, E. (2016). Assessment of journal & book publishers in the Humanities and Social Sciences in Spain. In M. Ochsner, S. E. Hug, & D. Hans-Dieter (Eds.), Research Assessment in the Humanities: Towards Criteria and Procedures (pp. 91–102). Cham: Springer Interna-tional Publishing. Retrieved from http://doi.org/10.1007/978-3-319-29016-4_8.

Korytkowski, P., & Kulczycki, E. (n.d.). Examining how country-level science policy shapes publication patterns: The case of Poland. Submitted to Scientometrics.

Kulczycki, E. (2017a). Assessing publications through a bibliometric indicator: The case of comprehensive evaluation of scientific units in Poland. Research Evaluation, 45(1), 41–52. Retrieved from http://doi.org/10.1093/reseval/rvw023.

Kulczycki, E. (2017b). Punktoza jako strategia w grze parametrycznej w Polsce. Nauka I Szkolnictwo Wyższe, 1(49), 63–78.

Kulczycki, E. (2018). The diversity of monographs: Changing landscape of book evaluation in Poland. Aslib Journal of Information Management. Retrieved from http://doi.org/10.1108/ AJIM-03-2018-0062.

Kulczycki, E., Korzeń, M., & Korytkowski, P. (2017). Toward an excellence-based research funding system: Evidence from Poland. Journal of Informetrics, 11(1), 282–298. Retrieved from http://doi.org/10.1016/j.joi.2017.01.001.

Kulczycki, E., & Rozkosz, E. A. (2017). Does an expert-based evaluation allow us to go beyond the Impact Factor? Experiences from building a ranking of national journals in Poland. Scientometrics, 111(1), 417–442. Retrieved from http://doi.org/10.1007/s11192-017-2261-x. Mannana-Rodriguez, J., & Giménez-Toledo, E. (2018). Specialization and multidisciplinarity of

scholarly book publishers: Differences between Spanish University Presses and other schol-arly publishers. Scientometrics, 114(1), 19–30. Retrieved from http://doi.org/10.1007/s11192-017-2563-z.

Ministerstwo Nauki i Szkolnictwa Wyższego. (2017). Narodowy Kongres Nauki. 19–20 września 2017 r. Ministerstwo Nauki i Szkolnictwa Wyższego. (2018a). Ewaluacja jakości działalności

Research Paper

Journal of Data and Information Science

naukowej– przewodnik. Retrieved from https://www.nauka.gov.pl/g2/oryginal/2018_08/6e4 8e5dd4e469616354f861c105e25f6.pdf.

Ministerstwo Nauki i Szkolnictwa Wyższego. Ustawa z 20 lipca 2018 r. Prawo o szkolnictwie wyższym i nauce (2018).

Sivertsen, G. (2016). Publication-Based Funding: The Norwegian Model. In M. Ochsner, S. E. Hug, & D. Hans-Dieter (Eds.), Research assessment in the humanities: Towards criteria and procedures (pp. 79–90). Cham: Springer International Publishing. Retrieved from http://doi. org/10.1007/978-3-319-29016-4_7.

Torres-Salinas, D., Robinson-García, N., Cabezas-Clavijo, Á., & Jiménez-Contreras, E. (2013). Analyzing the citation characteristics of books: Edited books, book series and publisher types in the Book Citation Index. Scientometrics, 98(3), 2113–2127. Retrieved from http://doi. org/10.1007/s11192-013-1168-4.

Verleysen, F. T., & Engels, T. C. E. (2014). Barycenter representation of book publishing interna-tionalization in the Social Sciences and Humanities. Journal of Informetrics, 8(1), 234–240. Retrieved from http://doi.org/10.1016/j.joi.2013.11.008.

Verleysen, F. T., Ghesquiere, P., & Engels, T. C. E. (2014). The objectives, design and selection process of the Flemish Academic Bibliographic Database for the Social Sciences and Human-ities (VABB-SHW). In W. Blockmans, L. Engwall, & D. Weaire (Eds.), Bibliometrics Use and Retrieved from http://www.portlandpress.com/pp/books/online/wg87/087/0117/0870117. pdf.

Zuccala, A., Breum, M., Bruun, K., & Wunsch, B. T. (2018). Metric assessments of books as families of works. Journal of the Association for Information Science and Technology, 69(1), 146–157. Retrieved from http://doi.org/10.1002/asi.23921.

Zuccala, A., & Cornacchia, R. (2016). Data matching, integration, and interoperability for a metric assessment of monographs. Scientometrics, 108(1), 465–484. Retrieved from http://doi. org/10.1007/s11192-016-1911-8.