首页 >> 社科评价
基础理论视角下的科研评价思考
2020年07月29日 10:00 来源:《情报资料工作》2020年第2期 作者:付慧真 张琳 胡志刚 侯剑华 李 字号
关键词:科学计量学/科学学开放科学/同行评议/代表作评价/文献评价系统

内容摘要:科研评价是科研管理的有效手段,但科研评价的具体实施常常备受争议。

关键词:科学计量学/科学学开放科学/同行评议/代表作评价/文献评价系统

作者简介:

  内容提要:[目的意义]科研评价是科研管理的有效手段,但科研评价的具体实施常常备受争议。明晰科研评价的基础理论,有利于评价者与被评价者在实际应用中透彻理解与正确采用恰当的工具与方法,促进科研评价的良性循环。[方法/过程]本文将结合科学计量学、科学学等研究领域的基础理论,从科学的发展、同行评议制度、代表作评价制度、定量评价的常见误区、传统文献检索系统的转型五个方面阐述对科研评价的思考。[结果/结论]事实证明,科学计量学、科学学等领域的基础理论已经并将继续为科研评价体系的完善与落实发挥重要支撑作用。

  关 键 词:科学计量学/科学学开放科学/同行评议/代表作评价/文献评价系统  

  作者简介:付慧真,女,1987年生,浙江大学公共管理学院助理研究员,硕士生导师,杭州 310058;张琳,女,1980年生,武汉大学信息管理学院教授,博士生导师,湖北 430072;胡志刚,男,1984年生,大连理工大学副教授,硕士生导师,辽宁 116024;侯剑华,男,1980年生,中山大学资讯管理学院教授,博士生导师,广州 510006;李江,男,1982年生,南京大学信息管理学院教授,博士生导师(通讯作者),江苏 210023。

  科研评价的本质是通过评价者和被评价者共同认可的理论、工具和方法尽可能真实地表征科学本身价值。科学计量学、科学学正是为科研评价提供理论、工具和方法支撑的研究领域。目前,科学计量学界倡导“负责任的科学计量”[1],其重要原则之一就是针对不同维度的被评价对象采用不同的评价方法。科研评价的方法主要可分为定量评价和同行评议制度两类。在宏观层面上,如国家或机构的评价,科学计量指标评价能发挥很好的作用;在微观层面上,如科学家个人的评价,同行评议制度更为重要[2]。

  结合全球范围内关于科研评价理论的讨论,本文将从五个方面阐述科研评价的理论基础:(1)介绍当今科学的发展方向、特征、内涵,以及在此背景下的科研评价所面临的转型与挑战;(2)阐述同行评议制度的起源、发展、优势与不足,及其在科研评价中的角色;(3)分析代表作评价制度的本质内容和基本属性;(4)追溯科学计量学的起源及其与科研评价的渊源,从根本上厘清科学计量学指标在科研评价应用中的一些常见误区;(5)以“SCI”为例,探索在开放科学时代下传统文献检索系统转型的可能方向。

  1.开放科学时代的科研评价

  当今,处于转型期的科学正从一个以学科和专业为基础的相对封闭体系转向一个全开放和跨学科的结构。在2016年,欧盟发布《欧洲愿景:开放创新、开放科学、开放世界》专题报告支持开放科学(Open Science)。欧盟对开放科学的定义为通过数字技术、网络和媒体等新的协作工具,传播并转变科学研究的新方式,为科学合作提供新的工具,促进科学研究过程更加高效和透明[3]。开放科学号召从在科学出版物上发表研究成果的传统方式,转向为在研究早期阶段分享和使用知识,从“尽早发表论文”向“尽早分享知识”转变[3],回归科学意义之本源。开放获取、开放数据、开放同行评审、开放教育资源、开放科学工具等多项开放科学运动正在蓬勃开展[4]。

  科研评价不仅应包括科学价值本身,还应包括研究的社会和经济价值等[5-6]。开放科学涵盖构思、数据收集、数据分析、出版和审稿整个研究生命周期;研究数据、期刊文章、演示幻灯片等所有类型的科学知识;研究人员、资助者、决策者、公民、企业和出版商等各种利益相关者[7],为科研评价提供了更丰富、多元、全面的素材与工具方法。为促使科研评价同归科研工作本身,2012年《旧金山科研评价宣言》(DORA)呼吁根据科学研究本身的价值来进行科学评价,并号召停止在资助、招聘和晋升决策中使用期刊及其影响因子[6]。2015年,Nature上发表《莱顿宣言》,明确了在研究评估中使用定量指标的十项原则[5]。

  SCI是国际权威检索数据库,由于其涵盖学科广泛,数据质量较高,在过去多年为我国科研评价体系所采用。从开放科学角度而言,SCI仅涉及研究生命周期中“出版”环节、科学知识类型中的“期刊文章”、各种利益相关者中的“研究人员”和“出版商”。基于有限维度的科研评价带来某种程度的失真,扩大数据源对于促进开放科学时代中的科研评价发挥重要作用[8]。近年来,更全面的开放存取数据库涌现,如2018年的Dimensions。Dimensions从创建初始,就不以创建另一个文摘和引文数据库为目标,而是致力于提供包括资助、会议、数据集、出版物、引用、社交媒体、专利、临床试验、政策等开放和全面的基础数据平台。

  开放科学打破传统学术界壁垒,参与、传播、深化与转化科研成果的成本降低,更多公众可以加入科学交流与活动中。将开放科学及其影响引入科研评价体系引起了许多学者的重视与探索,替代计量学(Altmetrics)正是其中之一。2010年,Priem等[9]联合发表了宣言“Altmetrics:A Manifesto”,正式提出“替代计量学”术语,它涵盖了在社交网络中的科研交流,为科研成果影响力的评估补充了新的维度。2013年,Piwowar[10]在Nature发文阐述由于几乎所有类型的科研产出都可以在网络中分享与交流,替代计量学将能更全面的测度科研成果的影响力。

  破除“SCI至上”是顺应开放科学时代需求,让科研评价不局限于论文及其学术影响力为主的传统评价体系,可以转向更多元的科研产出与其更广泛影响力的开放式多元评价框架体系,更接近当今科学真实状态。当然,开放式多元评价体系也给相应的理论与技术支撑提出了更高的要求与挑战,需要科学共同体与科研管理部门共同努力。

  2.重新审视同行评议制度

  同行评议制度可以追溯到1665年全世界第一本学术期刊《哲学汇刊》创刊[11]。英国皇家学会创办该期刊时就采用了同行评议来把控论文质量,只不过在当时评议人仅限于很小的熟人圈。如今,同行评议制度在论文发表、基金分配、人才评选、学科评估等活动中都有广泛应用。在中国的各项科研评价活动中,同行评议的角色至关重要。

  1985年,中国启动科技体制改革。之后,在缺乏统一标准的科研评价活动中,SCI因客观、国际化等特征而逐渐受到重视。30多年过去了,中国的SCI论文的年发文量目前已经仅次于美国,位居全球第二。我们应该认可SCI在中国科技发展中的贡献,同时我们也应该注意到SCI在使用过程中被异化并催生了一系列问题,例如,同行评议制度未充分发挥作用、本土期刊地位普遍不高、学术不端等。

  在破除“SCI至上”的背景下,我们应该重新审视我们的同行评议制度。国内同行评议制度未充分发挥作用主要表现在两个方面:一是同行评议过程过度关注数量、影响因子等外在指标,弱化了对质量和创新程度的把控;二是在人情社会中同行评议过程容易受到非学术因素的干扰[12],以至于有些人把同行评议与“关系”等同,否认同行评议制度。

  科研评价的目标是揭示被评价对象的真实状态。1978年,FrancisNarin对科研评价中各种指标的作用做了详细描述。图1中的横纵坐标分别是“更客观”和“更接近科学进展的真实状态”),很明显,非结构化的同行评议是最能衡量被评价对象的真实状态的指标,但并不客观;而数论文数量尽管最客观,但跟被评价对象的真实状态几乎不相关,在这两个指标之间是一道频谱,它们能在一定程度上平衡二者[13]。

  同行评议制度虽然在揭示被评价对象的真实状态上有其他指标难以企及的优势,但其自身至少存在两个缺陷:(1)人类认知的局限难以逾越。在论文发表过程中,同行评议人通常是科学守门人,他们在多数情况下可以做出正确的决策,但有时候会拒绝开创性贡献[14];(2)科学家精力不足。全球发表的论文数量在大幅上升,但优秀的审稿人数量并没有大幅上升,导致审稿质量下降。在科研经费分配的评审中,同样的问题也存在,以至于有30%的诺贝尔物理、化学、生理医学奖成果并没有受到直接资助,因此,Ioannidis[15]在Nature上撰文倡议科研经费的分配或许可以改为人均分配、随机分配或者按业绩分配(前两种不需要同行评议,第三种需要同行评议,但依赖程度较低)。

  既然同行评议有缺陷,那么可以用定量指标取代同行评议吗?答案是否定的。图1显示,定量指标均难以揭示被评价对象的真实状态,难以达到科研评价的目标。因此,《莱顿宣言》明确提出:定量指标可以辅助同行评议,但不能取代同行评议[5]。因此,从理论上看,“以定量指标辅助的同行评议”比“定性定量相结合”的表述更符合科学计量学界对科研评价的认知。

  完善同行评议制度并非一件易事,这个过程对学术环境、科学家的职业精神、规则框架的透明度等条件要求非常高,但不会有人希望再过30年我们还要靠数论文数量、被引次数和影响因子来判断学者的学术贡献。

  

  3.科学学视角下的代表作评价制度

  代表作评价在根本上是对研究成果最高价值和创新贡献的客观判断。代表作评价既反映了科学成果的知识创新本质,也是破除唯数量评价的重要手段。从科学学视角来看,代表作评价制度符合科学发展的客观规律,体现了科学生产力的功能属性。

  知识单元假设是我国著名科学计量学家赵红洲先生提出的用于表征科学发展规律的重要理论。知识单元是科学知识的最小单位,代表作是知识单元载体的具体形式。科学知识的价值取决于知识系统内容的创新性和贡献度,并不取决于知识载体的形式,不能依据知识载体的类型和影响力进行评判。首先,科学知识的创造过程是知识单元的游离与重组,进而产生新的知识系统和知识单元的过程[16]。知识载体是知识单元游离与重组的成果形式,代表作评价就是对能够代表最新知识系统和知识单元载体进行评价的过程,也是推动科技评价成为不断接近于对最新知识的价值进行评价的基本手段。其次,创新性和贡献度是科学知识单元的评价准则,不应以刊评文。代表作不是论著或专利的代名词,不同形式载体的本质内容都是知识单元系统,可以包括学术论著(不限语言)、专利、标准、报告、建议、服务满意度和第三方评价等各类成果。再次,代表作评价是对研究成果的知识单元系统的评价活动,既不能数论文数量,更不能数代表作和引文数量。以成果的创新度和知识结构为基础的评价仍然是代表作评价的重要手段。

  科学生产力功能是代表作评价的基本属性。首先,绩效评价是衡量科学生产力功能的重要手段。代表作评价的内容是产出指标。基于代表作的绩效评价就是要切实扭转“轻投入重产出”和“重投入轻产出”的局面,科研项目、经费、人才荣誉等投入指标及其权重是绩效评价的分母指标,不能作为产出贡献和价值进行评价,不能成为代表作评价内容。科学投入-产出绩效是科学生产力的重要体现。其次,代表作评价体现了科学生产中的最省力法则。即通过最少的、最有效的知识单元代表最强的科学生产功能。不仅能有效遏制追求数量的科学产出导向,还能大大提升科学的生产效率。再次,代表作评价体现了科学自治。科学生产力功能的裁判权和决策权交给科学共同体,代表作评价是对科学评价的专业性和科学性回归的必然要求,同行评议是科学共同体进行科学自治的权利诉求[17],充分体现科学成果所蕴含的生产力功能和价值贡献。

  代表作评价是一项系统工程,从代表作的选取到评价方法再到评价结果的使用,都应建立科学规范的标准与程序,以彻底扭转“以刊评文”“人情评价”“非学术评价”等不良风气。代表作评价与分类评价、同行评议相结合,将成为新时代科技评价制度改革的基本原则。将创新价值和贡献度作为代表作评价的根本准则,从根本上破除“唯数量”评价的思维惯性,真正让科技评价回归价值评估、回归科学。

  4.被误解的科学计量学

  首先,什么是科学计量学?简而言之,科学计量学是一门对科学本身进行定量研究的学科。对科学的定量研究最早可以追溯到一百多年前[18],而有影响的理论先驱出现在20世纪初,如在1926年证明了科学家生产率差异定律的美国生物数学家和统计学家洛特卡(Alfred J.Lotka)[19];在1934年提出核心期刊概念基础的英国化学家和文献学家布拉福德(Samuel C.Bradford)[20];基于文献统计方法证明科学共同体中存在“马太效应”(积累优势)[21]的美国社会学家默顿(Robert K.Merton)等。20世纪中叶,被誉为科学计量学之父的美国科学学家普赖斯(Derek John de Solla Price)在继承先驱人物优秀理论和成果的基础上,出版了经典著作《巴比伦以来的科学》[22]和《小科学,大科学》[23],为科学计量研究正式构建了学科结构框架,开辟了一个新的学科领域:科学计量学。1969年,Nalimov和Mulchenko[24]首次将科学计量学(Scientometrics)定义为“基于定量方法,对科学的信息交流过程和特征进行分析”的学科。

  从科学计量学的起源和学科定义可以看到,科学计量学作为一门新兴学科,其核心问题是通过定量方法寻找科学活动的内在规律和特征,是与科学学和信息科学(情报学)密切相关的分支学科,其学科本源并未与科研评价直接相关。但随着科学计量学的创建和发展,到了20世纪70年代和80年代,面对“小科学时代”到“大科学时代”的全面转变、科学文献的海量增长、应对和处理科学信息过载的实际需求、学术交流复杂性的增加、获取科学基金与其它学术资源的竞争加剧和同行评议制度的固有局限等问题,科学计量学有了一个新的时代发展动力和应用需求,即科学计量如何支撑与服务于科研评价。

  因此,虽然并非科学计量学的学科初衷和内生需求,但由于科研评价和科技管理的社会应用需求,科学计量学在发展过程中与科研评价和科技政策紧密相连,在“探求科学活动内在规律”的学科核心问题基础上,尝试呼应科研评价和科技政策的现实问题,思考如何基于客观的定量数据与分析方法,为科研管理工作和科技政策制定提供有效参考。

  多年来,科学计量学在世界各国的科研评价和科研资金分配中被广泛应用。其中,最主要的应用体现在科学计量的数据、指标和分析结果为同行评议专家提供重要信息参考。也有一些国家将科学计量的数据结果直接应用于国家的科研资金分配,如欧洲的比利时和挪威。以比利时为例,BijzonderOnderzoeksfonds(BOF)是比利时政府为比利时高校提供重要资金资源的分配机制。自2003年以来,基于科学计量的学术成果和引文数据统计被正式加入BOF评价体系,且相关权重从2003年的10%持续增长到2016年的40%[25]。

  由于科学计量在科研评价甚至是科技资源分配中的广泛应用,科学计量学受到了来自不同领域的诸多关注,同时也背负了其本不该承受的压力、责难和非议。为了理解这种“压力、责难和非议”的产生来源,我们首先将科学计量学和科研评价应用的相关主体作以区分,具体包括以下四类:(1)科学计量学的专业研究者;(2)科学计量数据(和指标)的提供者;(3)将科学计量指标应用于科研评价的科研管理者;(4)作为评价对象的普通科研工作者或团体。其中,第二类主要指提供文献和引文数据的专业数据库公司,如科睿唯安的Web of Science,爱思唯尔的Scopus,以及其它一些开源、免费的数据平台,如谷歌学术、微软学术、Digital Science的Dimensions综合数据平台等。以上四类主体对科学计量的基本认知和其在科研评价活动中发挥的功能存在较大差异,而其中第三类主体,即科研管理者在理解和应用科学计量相关指标时常常存在一定误区,也间接导致了各主体之间以及科研评价实施过程中的诸多矛盾。

  那么,科学计量学指标在科研评价过程中是如何被“误用”,进而产生评价矛盾的呢?这里首先以科学计量学领域最为广泛应用的指标之一——“引文”为例进行说明。在科学计量学领域,“零被引论文”和“高被引论文”分别对应的概念是:研究中的相关信息尚未被传播或使用,研究中的相关信息被传播或使用较多。研究结果是否被广泛传播或使用有很多影响因素,比如研究主题是否是热点问题等,而具有高度创新性和科学价值的论文并不一定是高被引论文,科学文献中的“睡美人”现象也屡见不鲜。然而,在科研评价中,“零被引论文”常常被解读为低质量论文,甚至是“垃圾论文”,而“高被引论文”则被普遍认为等同于“高质量论文”。正是由于在科研评价实践中的这种误用,导致被评价的对象(科研人员)可能为了迎合和追求评价结果,而产生不符合科学活动客观规律的行为(如刻意增加不必要的自引,或“友情互引”等)。

  期刊影响因子是另一个被科研评价系统所误用的例子。虽然影响因子的创建者加菲尔德博士本人多次强调和倡导“影响因子是测度期刊影响力的一项重要指标,不要将这个评价期刊的指标,直接应用于任何有关论文和个人的评价实践中”[26],科学计量学界的学者也在诸多场合呼吁应避免影响因子的误用[27],但在实际的科研评价活动和科技政策导向中,很多国家仍然将期刊影响因子作为不恰当的指标广泛应用。需要特别说明的是,论文的引文频次和期刊影响因子是科学计量学领域内具有重要价值的计量指标,可以很好地服务于研究科学传播规律以及遴选核心期刊等原初的学术和实践目标,其设计初衷也并非要作为科研评价的直接工具,因此,这些指标的设计者(如加菲尔德博士)、相关数据的提供者(如科睿唯安的Web of Science)与研究者(如科学计量学领域的相关学者)并不该承受由于指标在评价实践中的误用而带来的所有责难。

  科学界在批判科学计量指标和倡导同行评议制度应用于科研评价时,实际通常是将“简单粗糙的,甚至被误用滥用的”的计量指标和方法与“理想化的、完美公正的”同行评议进行比较,在这种假设前提下做出的倾向性选择是完全可以理解的。然而,在现实情况中,同行评议往往由于诸多复杂问题(如人情关系、个人主观偏好、大同行而非小同行、专家的时间和精力限制等)而导致评价结果的偏差,而科学计量学界倡导的“负责任的计量评价”(responsible metrics)[1]在相当程度上可以规避计量指标的误用及其后果。针对科研评价,国际科学计量学界已达成普遍的共识:使用科学计量学指标与方法并不是为了取代同行评议制度,但两者的结合使用,无疑将使科研管理决策更为有效。

  事实上,近年来国际科学计量学界的学者一直致力于倡导计量指标在科研评价中的正确和合理使用,发表了一系列的相关宣言和报告,包括著名的《莱顿宣言》等。虽然来自计量学界的这些科普工作和倡导宣言起到了一定的正面引导作用,但科研评价的四类相关主体在未来展开更广泛、深入的交流,以增进互相之间的基本理解和需求认知,仍然十分必要。

作者简介

姓名:付慧真 张琳 胡志刚 侯剑华 李江 工作单位:浙江大学 武汉大学 大连理工大学 中山大学 南京大学

转载请注明来源:中国社会科学网 (责编:赛音)
W020180116412817190956.jpg
用户昵称:  (您填写的昵称将出现在评论列表中)  匿名
 验证码 
所有评论仅代表网友意见
最新发表的评论0条,总共0 查看全部评论

回到频道首页
QQ图片20180105134100.jpg
jrtt.jpg
wxgzh.jpg
777.jpg
内文页广告3(手机版).jpg
u=3801036075,2641038869&fm=27&gp=0.jpg
中国社会科学院概况|中国社会科学杂志社简介|关于我们|法律顾问|广告服务|网站声明|联系我们