科技评价方法与应用

**章 科技评价的含义 **节 科技评价的对象复杂性及问题分析 一、科技评价的“初心”和“使命” 只有正确认识科技评价的初衷，才能使科技评价回归到正确的轨道，才能开展科学的科技评价工作。科技评价工作的重点可以随着时代的变化和发展，特别是随着我国的科技发展而不断进行适应性调整，在不同阶段各有侧重，但科技评价工作的“初心”和“使命”是不变的，即科技评价的根本目的是促进科学技术发展，强化原始创新，提升创新能力和水平，提高人才队伍能力，推动技术创新和产业发展，*终促进经济社会发展。因此，科技评价工作必须要回归科学研究本身来寻求理性的、科学的、有效的评价方案，通过真正科学的评价方案去发现和培养优秀的科学家，催生真正高水平的科技成果，培育真正前沿的科研项目，建设真正领先的科研机构。评价的导向应当是引导相应被评价的创新主体更好地发挥其科技创新生力军的作用，而不是把科研机构、科研人员进行大排名。 二、科技评价的对象体系具有复杂性 科技评价的对象涉及科技创新活动的方方面面，典型的评价对象主要包括国家评价、区域评价、机构评价、项目评价与人才评价等，是对科技活动不同主体的评价。不同的评价主体，表现出独特的特点和评价问题，没有万能的评价方法和模式可以轻松应用。面对高度复杂的科技活动整体场景，科技评价工作具有复杂性，不能简单化，要考量评价方法的有效性、适用性；面对具体的科技活动过程、科技活动人物、科技活动成果，科技评价工作是非常具体的、相对简单的，不能过于复杂化，要考虑评价方法的可行性。可见，科技评价是一个既复杂又简单的科技活动，是针对人和事的“审计活动”，而且在“复杂”和“简单”之间没有明显的界线。因此，组织开展科学有效的科技评价工作是一项复杂的工程。 首先，创新主体维度存在层次性。针对复杂多样的评价对象需要开展分层次的评价，没有一个从上到下的通用评价标准来开展全部科技活动的评价，也不存在“一刀切”的、囊括一切的评价指标体系，更不能盲目地套用现有指标体系。 其次，领域维度存在特异性。一方面，不同领域的科研范式不尽相同，反映科研水平的可观测指标也存在差异，例如，在数学、理论物理等基础科学领域，其成果主要可以通过研究人员发表的论文来观察；在应用研究或工程技术开发领域，科研能力和水平则更多地通过新技术、新工艺、新产品、新材料等来反映。另一方面，领域本身也存在学科层次性，从一级学科、二级学科到三级学科，具体到相应问题的评价指标体系也需要区别设计。 *后，科研类型维度存在多样性。从基础研究到应用研究，再到产品开发的科研全价值链中涉及多种类型的研究工作，这种研究类型的划分没有刚性的规定，很难用国家统一标准来进行准确的切分。因此，分类评价也面临如何对评价主体进行分类的挑战，如果归类不准确或太武断，或者为了开展分类评价而强行分类，即使是有效的指标也可能会带来严重的错误或误导。 在如此复杂的问题面前，影响研究质量或科研表现的因素是多维度的，涉及研究过程、认知（如研究的前沿性、颠覆性等）、成果应用（社会和实际价值）等诸多方面。事实上，无论是管理者还是科研人员均深知论文只是科研活动的一个方面，只是研究发现或成果发布和传播的一种形式与手段，对基础研究类科研活动来说相对重要一些。然而，还有大量的应用研究、技术开发与创新研究、临床研究及各种服务平台等基础支撑与条件保障类基地，它们的功能和作用发挥各有各的特点，论文不是主要的贡献和影响，更不能完整地体现成果或支撑保障论文的质量。但是，这种不论是带来经济效益的技术和产品，还是带来社会效益与服务价值的中心和平台，都很难对其贡献和价值进行量化评估，特别是涉及对这些机构里的研究人员的评价时，挑战则更大。 三、科技评价的问题分析及面临的“破”与“立”困局 我们在开展科技评价工作过程中需要时刻注意，当前的各类科技评价方法和指标都不是万能的，评价结果的应用也要控制边界条件，很难出台一套或一揽子客观可行的科技评价实操方案。科技评价和科学体系的复杂性是构成现行评价体系不足的客观原因，在科技评价工作实践中需要尽量坚持公平性、可操作性、达成共识性、简单易行性等，这些基本诉求都在不断地催生看似客观的评价体系、基于各类定量指标的形式上的公平性（侯剑华，李旭彦，2020）。因此，在项目评审、职称评审、职务职级晋升等对评价指标的现实需要面前，在没有更好的评价方案可选的情况下，*简单、*容易、相对客观的论文相关定量指标就成了首选，也更容易计算出所谓的质量优劣和能力高低。 正是这种困局导致备受诟病的“唯论文”“唯职称”“唯学历”“唯奖项”等简单易行的科技评价方法的运用在过去20多年间愈演愈烈，众多高校围绕SCI论文、高被引论文、基本科学指标数据库（ESI）、各种人才项目“帽子”设置了富有“创造性的”甚至“复杂的”、看似“精准的”定量指标，直接作为相关项目评审、人才项目推荐甚至奖金测算的依据，进而直接将SCI推上了所谓的“神坛”。 从学术研究角度来说，评价指标总体上可分为定量指标和定性指标两大类，在实际操作中通常这两大类指标会在一起使用。评价组织者在选取指标时通常坚持的基本原则是，针对宏观对象（如国家、地区或机构）开展评价工作时，定量指标的权重可大一些；针对微观对象（如科学家、工程师等个人）开展评价工作时，定量指标的权重要小一些，或者说更多的是作为同行评议的一种数据支撑。当前，这些指标备受诟病的原因在于，这些丰富的指标常常被错误地、无约束地作为权威指标、全能指标加以使用。事实上，即使同行评议也不能被赋予权威的地位，否则科技评价工作很容易会从“唯论文”的极端走向“唯同行评议”的极端。 第二节 客观看待科技评价指标及指标体系 科技评价工作贯穿科研活动全过程，为了不断优化和改良各类评价指标和模型，改善评价的公正性和客观性，学术界开发了丰富的评价指标，这些指标在一定边界范围内通常是能作为有效评价工具的，可以从某个角度揭示或反映科学家的影响力或科研能力，可以表征项目的水平以及科研机构的创新表现。但是，难点和挑战在于在评价实践工作中如何合理地、有限制地利用基于这些评价指标所获得的评价结果，在这个过程中很难做到对评价指标的合理使用，评价指标常常被错误使用甚至无约束地滥用。 一、科学、理性认识各类评价指标（体系）的问题 科技评价指标总体上可划分为定性指标和定量指标两大类。 定性评价方法以同行评议为主，借助特定领域专家的专业知识对所在领域的机构、项目或人才进行定性判断（Zuckerman，Merton，1971）。理想状态的同行评议应仅以人才的能力或项目的水平为依据，要求同行专家对相应领域都有准确的把握，对机构和人才的发展路径与科研表现有准确的判断，对参与的评议工作负责。然而，即便是在普遍采用同行评议的美国和欧洲等国家与地区，传统的同行评议依旧会受到主观性、马太效应、人情关系和利益关联的影响，也很难保障每位评议专家对特定领域具有同等的认知水平，甚至同行评议专家还会在对科技创新前沿方向、科技突破的重要性、学术成果的价值、人才的发展潜力等的判断上存在截然相反的观点。 定量指标虽然不能作为科技评价的唯一依靠，但其在支撑定性评价方面的作用也是不可或缺的，定性评价需要定量指标的数据支撑，这样定性评价才有更充分的依据。定量指标以可计量或可计算的指数、算法或模型为主，常见的指标包括传统的基于论文、专利和引文数量的指标，基于网络链接的指标、替代计量学指标，以及多种指标综合在一起的复合类指标等（刘强，陈云伟，2019）。需要注意的是，即便这些都有客观数据支持的定量指标，有时也会得到不同的评价结论。例如，Wainer等对论文和专利数量、引用数量、h指数等常用计量评价指标与同行评议结果进行相关性研究发现，每个单一指标间的相关性分布区间为0.29～0.95，且还存在学科差异，甚至结果截然相反（Wainer，Vieira，2013），说明了采用单一评价指标开展评价工作的不确定性、不客观性与风险性。 随着社会网络分析方法在科学计量学领域应用的不断深化，利用基于链接的指标开展科技评价特别是科学家评价的工作越来越多，其理论基础是科学家的合作结构与其科研表现间存在正相关关系（Lin et al.，2013）。例如，Whitfield早在2008年就指出科研合作行为对一个团队的成功起到正面的促进作用（Whitfield，2008）；Abbasi等指出，科学家的社会网络可用于预测他们未来的科研表现（Abbasi et al.，2011）；McCarty等发现作者要想获得更高的h指数就需要拥有更多的合作者（McCarty et al.，2013）。 综合近年来针对科技评价指标的研究来看，没有任何一个单一指标或方法足以有效地支撑评价工作，科学计量学领域的学者也在不断讨论和寻找有效的指标。*近10年，替代计量学（Priem et al.，2010）指标引起学术界较多关注，但是替代计量学本质上依旧是定量指标，主要是利用科学家在线开展学术交流、获取与分享科研材料等行为所产生的记录性数据，当前在科学学领域利用该方法开展的探究多一些，而在科技评价实践工作中的应用还较少。 二、论文评价指标的合理使用问题 在破除“唯论文”“SCI至上”的进程中，首要的是客观看待论文在科技评价工作中的作用，破除“唯论文”，并非不看论文（王志刚，2020），不能从一个极端走到另一个极端。这需要从基于论文开展定量评价产生的历史来分析。 美国科学计量学家尤金 加菲尔德（Eugene Garfield）在1963年创立了SCI数据库，其初衷是作为一个文献检索系统，以促进学术交流。加菲尔德一直强调，基于SCI的评价应用仅是其衍生功能，且只是作为评价科研影响力的一个方面，并不能代表全部。经过近半个世纪的发展，SCI数据库已经发展出期刊影响因子、论文被引频次、高被引论文、高被引科学家等多种定量统计指标，这些指标也被广泛用于论文、科学家乃至机构和国家的评价工作中。有大量科学计量学领域的学者基于SCI数据库的各种定量统计指标不断设计和优化各类评价指标，如h指数等（Hirsch，2005）；也有大量学者将社会网络分析方法（Otte，Rousseau，2002）、PageRank（Yan，Ding，2011）等用于分析论文数据，以期从更多角度开展基于论文数量及伴随论文的作者、机构、国家等的合作或引用关系的评价。 20世纪80年代末，我国有高校开始奖励SCI论文，直接激发了其SCI论文数量的增长，为此国内高校纷纷效仿，很快就使SCI论文成为衡量我国高校、科研院所、科学家科研表现的*关键指标之一，与之相随的是我国SCI论文数量持续快速增长，显著提升了我国科研的国际影响力，科研人员在此过程中与国际同行开展广泛的科技合作，我国科研工作的国际参与度和国际地位因此日益提升。通过检索Web of Science（WOS）数据库发现，截至2021年6月，过去10年间，中国SCI论文总数约374.8万篇，位居全球第二，约为排在**位的美国论文总数的3/5，同时也约为排在第三位的英国论文总数的2.4倍。中国与美国SCI论文总数的差距在不断缩小，2020年我国发表SCI论文约58.9万篇，位居全球第二，约为位居首位的美国SCI论文总数（67.7万篇）的87%。同时，除了SCI论文数量，基于SCI论文的引用频次、期刊分区、影响因子、ESI高被引论文及高被引科学家等指标均被我国科技评价及相关活动广泛采用。在这样一种逐利背景下，在我国形成了“SCI至上”的评价体系。